CANN/hixl性能基准测试

目录【免费下载链接】hixlHIXLHuawei Xfer Library是一个灵活、高效的昇腾单边通信库面向集群场景提供简单、可靠、高效的点对点数据传输能力。项目地址: https://gitcode.com/cann/hixl目录Benchmarks目录结构环境要求程序编译执行前准备Benchmark运行FabricMem KV benchmark推荐使用脚本启动并汇总日志性能数据Benchmarks该目录提供了HIXL的benchmark性能用例支持用户根据需要传输的数据大小对benchmark进行改造以快速进行性能测试和评估。目录结构├── benchmarks | ├── common // 公共函数目录 | ├── benchmark.cpp // HIXL的数据传输benchmark用例 | ├── fabric_mem_kv_benchmark.cpp // FabricMem KV 块传输 benchmarkAdxlEngine | ├── fabric_mem_kv_benchmark_summary.awk // 与运行脚本配套的日志汇总脚本 | ├── run_fabric_mem_kv_benchmark.sh // 多进程启动与日志合并脚本 | ├── CMakeLists.txt // 编译脚本环境要求1. 硬件和软件准备芯片Atlas A3 训练/推理系列产品、Atlas 800I A2 推理产品/A200I A2 Box 异构组件、Ascend 950PR/Ascend 950DT参考 环境准备 完成昇腾AI软件栈在运行环境上的部署2. Device连通性检查在执行样例前请先使用驱动包提供的 hccn_tool工具 检查两个device之间的连通性。以A2场景为例检查示例如下若hccn_tool命令找不到可在CANN驱动包安装目录下搜索hccn_tool可执行文件(默认路径为/usr/local/Ascend/driver/tools/hccn_tool)并通过ln -s /usr/local/Ascend/driver/tools/hccn_tool /usr/bin/hccn_tool手动建立软链。step1查询所需device的ip信息以8卡为例for i in {0..7}; do hccn_tool -i $i -ip -g; donestep2检查两个device之间的连通性以设备a和b连通性检查为例# 检查设备a是否能ping通设备b hccn_tool -i ${device_id_a} -ping -g address ${ip_address_b} # 检查设备b是否能ping通设备a hccn_tool -i ${device_id_b} -ping -g address ${ip_address_a}其中device_id为设备id可通过npu-smi info查询ip_address为上一步查询的设备ip地址如hccn_tool -i 0 -ping -g address 10.10.10.1 hccn_tool -i 1 -ping -g address 10.10.10.0若返回recv time out seq字样说明两个设备之间不连通请尝试其他设备。注意A3环境为一卡双die架构两个die共用一个os即dev-os-0包含了device-0和device-1。单卡双die之间不互通如device-0和device-1不通device-2和device-3不通以此类推在A3环境执行样例时请注意传入的device id是否满足连通要求。step3检查设备之间TLS证书配置的一致性# 检查设备的TLS状态 for i in {0..7}; do hccn_tool -i $i -tls -g; done | grep switch打印的结果中tls switch[0](https://link.gitcode.com/i/3dbd730fd3ce28f489840f2619738502)表示TLS证书使能情况请确保需要连通的设备的TLS证书配置一致。TLS使能的设备和TLS不使能的设备无法建链建议使用如下命令统一保持TLS关闭# 关闭TLS证书 for i in {0..7}; do hccn_tool -i $i -tls -s enable 0; done注意如果执行上述命令出现hccn_tool is busy, please try again请确保没有其他进行并发执行该命令然后重试。程序编译参考构建里的编译执行章节利用build.sh附加指定--examples参数进行编译。编译结束后在build/benchmarks目录下生成可执行文件benchmark。Benchmark运行说明所有benchmark需要成对执行client侧和server侧启动执行间隔时间不要过长代码中默认设置kWaitTransTime为20s用户可根据实际情况自行修改此变量的值以保证用例成功运行。默认总传输缓冲--total_size134217728字节约 128MiB。未指定--block_size时第一档块大小与total_size相同整块一次传完--block_steps默认为1只跑第一档--loops默认为1。可用--block_size、--block_steps、--loops调整块阶梯与重复次数。当loops1时程序会提示第一次传输多为预热稳定吞吐建议看第二次及以后的日志输出或将loops设为大于 1-n/--loops。执行成功后会打印类似如下的日志其中 block size 表示每次传输的内存块大小transfer num 表示传输次数time cost 表示总的传输耗时throughput 表示传输的吞吐带宽。[INFO] Transfer success, loop 1/1, block size: 134217728 Bytes, transfer num: 1, time cost: 1044 us, throughput: 119.732 GB/s异步传输模式--use_asynctrue批量下发async_batch_num个异步请求地址连续划分每个请求传输total_size/async_batch_num大小的数据统一等待完成后统计性能。输出包含submit time下发阶段耗时和wait time等待阶段耗时[INFO] Async transfer success, loop 1/1, step 0, block size: 4194304 Bytes, trans_num: 32, async_batch_num: 4, total time: 1044 us (submit: 200 us, wait: 844 us), throughput: 119.732 GB/s配置环境变量若运行环境上安装的“Ascend-cann-toolkit”包环境变量设置如下source ${HOME}/Ascend/cann/set_env.sh“$HOME/Ascend”请替换相关软件包的实际安装路径。若运行环境上安装的“CANN-XXX.run”包环境变量设置如下source ${HOME}/Ascend/latest/bin/setenv.bash“$HOME/Ascend”请替换相关软件包的实际安装路径。在运行环境执行可执行文件。执行 benchmarkclient-server 模式使用参数名值形式传参除--hixl_option/-H的选项键名外其余参数名均为小写支持长名--xxx与短名-x见下表。必选--roleclient或--roleserver或-rclient/-rserver。推荐启动顺序先启动server进程在--tcp_port上监听并接受 TCP再启动client作为 TCP 客户端连接remote_engine中主机名/IP与--tcp_port。多 client可并行启动多个 client 进程连同一tcp_portserver 在独立线程内 accept对每个连接下发同一内存地址建连阶段在达到--tcp_client_count个 TCP 握手完成或墙钟超出--tcp_accept_wait_s时结束先满足者为准未满tcp_client_count且超时则失败。未指定的项使用默认值client 默认device_id0、local_engine127.0.0.1:16000、remote_engine127.0.0.1:16001server 默认device_id1、local_engine127.0.0.1:16001、remote_engine127.0.0.1公共默认transfer_moded2d、transfer_opread、use_buffer_poolfalse、use_asyncfalse、async_batch_num1、connect_timeout60000、tcp_port20000、tcp_accept_wait_s30、tcp_client_count1total_size134217728未指定-k/--block_size时block_size与total_size相同block_steps1loops1。可选--hixl_optionKEYVALUE或-HKEYVALUE可重复传入合并为Hixl::Initialize的 options若未指定BufferPool/adxl.BufferPool且--use_buffer_poolfalse程序会自动补BufferPool0:0与历史行为一致。client/server 若使用自定义 HIXL 选项两端需保持一致。运行./benchmark --help可查看帮助。参数说明 |参数名|短名|可选/必选|描述| |:-----------|:--------|:------------:|:------------| |--role|-r| 必选 |client或server| |--device_id|-d| 可选 | 单个整数或逗号分隔列表如0,1与local_engine/remote_engine列表长度对齐单值自动广播到max(n_d,n_l,n_r) | |--local_engine|-l| 可选 | 本端 HIXL endpoint单个或逗号分隔IPv6 用[ip]:port。多值时 client 为每 lane 独立Hixl与线程server 仅支持单值 | |--remote_engine|-e| 可选 | client单个或多个host:hixl_port逗号分隔HIXL 用完整串TCP 协调用host 对应下标的--tcp_port见下。单local_engine 多remote_engine时共用一个Hixl多路 TCP/HIXL/传输并发client 缓冲按 remote 数分段。server单值即可 | |--tcp_port|-p| 可选 | TCP 协调端口默认 20000由 server 进程监听。多对多 client 时可为逗号列表长度与展开后的 endpoint 数一致或填 1 表示广播与device_id规则相同。两台 server 在同一 IP 上须使用不同协调端口例如-p20000,20001| |--tcp_accept_wait_s|-a| 可选 |仅 serverTCP建连阶段从 listen 就绪起的最长墙钟时间秒默认 30达到--tcp_client_count个连接时可提前结束 | |--tcp_client_count|-c| 可选 |仅 server建连阶段需完成的 TCP client 数默认 1最大 65535。完成后对每个连接下发同一内存地址随后等待这N个 client 各发一次完成通知 | |--transfer_mode|-m| 可选 |d2d、h2d、d2h、h2h| |--transfer_op|-o| 可选 |read或write仅 client 侧传输使用该配置 | |--use_buffer_pool|-b| 可选 |true/false或1/0| |--total_size|-t| 可选 | 总缓冲大小十进制字节默认 134217728即 128MiB | |--block_size|-k| 可选 | 第一档块大小十进制字节未指定时与total_size相同 | |--block_steps|-s| 可选 | 块大小档位数第 i 档为block_size * 2^i默认 1 | |--loops|-n| 可选 | 整档阶梯重复次数默认 1仅 1 次时首传多为预热可看第二次输出或加大loops | |--use_async|-x| 可选 |true/false或1/0默认 false。启用异步传输模式批量下发多个异步请求后统一等待完成 | |--async_batch_num|-y| 可选 | 每批异步请求数量默认 1。启用异步模式时total_size必须能被async_batch_num整除且每请求大小(total_size/async_batch_num)必须能被各档block_size整除 | |--connect_timeout|-C| 可选 | 建链超时时间毫秒默认 60000即 60 秒 | |--hixl_option|-H| 可选可重复 | 传入Hixl::Initialize(local_engine, options)的一项--hixl_optionKEYVALUEKEY为完整选项名区分大小写如LocalCommRes、BufferPool、RdmaTrafficClass、RdmaServiceLevel或adxl.*等同键多次出现时以后者为准 |测试HIXL引擎通过HCCS链路进行传输的带宽, 以d2d场景写操作不开启中转内存池为例执行client benchmark./benchmark --roleclient --device_id0 --local_engine10.10.10.0 --remote_engine10.10.10.0:16000 --transfer_moded2d --transfer_opwrite执行server benchmark./benchmark --roleserver --device_id1 --local_engine10.10.10.0:16000测试HIXL引擎通过RDMA链路进行传输的带宽, 以d2d场景写操作不开启中转内存池为例执行client benchmarkHCCL_INTRA_ROCE_ENABLE1 /benchmark --roleclient --device_id0 --local_engine10.10.10.0 --remote_engine10.10.10.0:16000 --transfer_moded2d --transfer_opwrite执行server benchmarkHCCL_INTRA_ROCE_ENABLE1 ./benchmark --roleserver --device_id1 --local_engine10.10.10.0:16000注HCCL_INTRA_ROCE_ENABLE1表示使用RDMA进行传输约束说明Atlas 800I A2 推理产品/A200I A2 Box 异构组件该场景下Server内采用HCCS传输协议时仅支持d2d。Atlas A3 训练/推理系列产品该场景下采用HCCS传输协议时不支持Host内存作为远端Cache。FabricMem KV benchmark推荐使用脚本启动并汇总日志cd build/benchmarks # path_of_benchmark需替换为具体benchmarks所在目录 # 默认 16 进程、日志 fabric_mem_kv_benchmark.log ${path_of_benchmark}/run_fabric_mem_kv_benchmark.sh 127.0.0.1 22000 ./fabric_mem_kv_benchmark # 指定 world_size2、日志文件 ${path_of_benchmark}/run_fabric_mem_kv_benchmark.sh 127.0.0.1 22000 ./fabric_mem_kv_benchmark 2 ./kv_bench.log参数顺序host_ipbase_port可执行文件路径[world_size][合并日志文件]。脚本行为为每个 rank 落盘独立日志再按 rank 顺序合并到指定文件并在文末追加SUMMARY对各 rank 的 Get 时间与带宽做平均rank 0 的 Put / Get-max 行从原始日志解析。性能数据HIXL在昇腾A2/A3芯片上部分场景传输数据的实测性能,可参见A2性能数据/A3性能数据。【免费下载链接】hixlHIXLHuawei Xfer Library是一个灵活、高效的昇腾单边通信库面向集群场景提供简单、可靠、高效的点对点数据传输能力。项目地址: https://gitcode.com/cann/hixl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考