CPU 亲和性

CPU 亲和性本质CPU 亲和性 让进程 / 线程只在指定的 CPU 核心上运行的调度约束。内核里叫sched_affinity调度亲和性作用提高L1/L2/L3 缓存命中率减少上下文切换context switch避免跨 NUMA 节点访问关键任务独占核心、降低抖动低延迟系统必备数据库、网关、实时业务内核核心结构cpu_set_t所有亲和性 API 都围绕这个结构typedef struct { unsigned long __bits[CPU_SETSIZE / sizeof(long)]; } cpu_set_t;本质bitmask位掩码每一位代表一个 CPU 核心位 1 → 允许运行在该核心位 0 → 禁止运行标准宏CPU_ZERO(set); // 清空所有位 CPU_SET(cpu, set); // 将 cpu 号对应的位置1 CPU_CLR(cpu, set); // 清位 CPU_ISSET(cpu, set); // 判断是否允许该CPU关键硬件常识1. 物理核心 vs 超线程HT一个物理核心 一套 L1/L2超线程只是共享执行单元两个超线程如 0 和 8共享 L1/L2结论不要把不同业务线程绑到同一个物理核心的超线程上会互相污染缓存互相拖慢。2. NUMA 节点每个 NUMA 节点有自己的内存控制器 L3 分区线程跨 NUMA 节点 → 访问远端内存 → 延迟暴增→绑核必须 绑内存节点两个最核心系统调用1. 进程亲和性int sched_setaffinity(pid_t pid, size_t cpusetsize, const cpu_set_t *mask); int sched_getaffinity(pid_t pid, size_t cpusetsize, cpu_set_t *mask);pid 0→ 调用自身进程sched_setaffinity 只限制 “能在哪些 CPU 上跑”不限制 “在这些 CPU 之间切换”固定在一个 CPU永不迁移亲和性 mask 只给 1 个 CPU极少数场景绑单核也会迁移CPU 热插拔内核负载均衡强制迁移极少SCHED_IDLE、rt 任务压挤终极方案isolcpus 内核隔离2. 线程亲和性Linux 专有int pthread_setaffinity_np(pthread_t thread, size_t cpusetsize, const cpu_set_t *cpuset); int pthread_getaffinity_np(pthread_t thread, size_t cpusetsize, cpu_set_t *cpuset);区别进程亲和性子进程会继承线程亲和性只对当前线程生效更精细最标准可直接用的 C 代码绑定当前线程到单个 CPU#include pthread.h #include sched.h int bind_thread_to_cpu(int cpu) { cpu_set_t cpuset; CPU_ZERO(cpuset); CPU_SET(cpu, cpuset); return pthread_setaffinity_np(pthread_self(), sizeof(cpu_set_t), cpuset); }绑定当前进程到 CPU 0,1,2int bind_process_to_cpus(int cpu_cnt, int *cpus) { cpu_set_t cpuset; CPU_ZERO(cpuset); for (int i 0; i cpu_cnt; i) CPU_SET(cpus[i], cpuset); return sched_setaffinity(0, sizeof(cpu_set_t), cpuset); }命令行工具taskset查看进程亲和性十六进制掩码taskset -p 1234查看友好格式核心列表taskset -cp 1234绑定进程到 CPU 1taskset -c 1 -p 1234启动时绑定taskset -c 0-3 ./app-cCPU 列表模式人类友好不加-c十六进制位掩码内核原生软亲和性 vs 硬亲和性软亲和性默认内核尽量让进程在同一个 CPU 运行但不强制。无法手动设置内核自动管理你只能观察。硬亲和性affinity mask强制只能在 mask 内的 CPU 运行我们平时说的 “绑核” 就是这个。可以手动设置通过sched_setaffinity/taskset强制绑定。sched_setaffinity / pthread_setaffinity_np / taskset / isolcpus原理用户提供cpu_mask 位掩码内核严格遵守线程永远只能在 mask 标记的 CPU 上运行任何情况不允许跨出 mask除非内核 BUG特点强制约束hard constraint用户完全控制CPU 集合内核无权违反线程不会被自动迁移这才是真正的CPU 绑核作用彻底杜绝线程迁移L1/L2 缓存长期有效 → 命中率大幅提升降低延迟、消除抖动实现核心独占、资源隔离内核默认行为Linux 调度器CFS天生自带不需要任何配置。原理线程运行完一次时间片后内核优先选择上次的 CPU重新调度目标提高缓存命中率特点非强制负载不均衡时内核会主动迁移线程完全由调度器决定用户无法控制对应用透明只能算优化策略不是约束内核里的专业叫法cache-hot scheduling、cache affinity优点自动负载均衡简单、无需配置缺点高负载下线程频繁迁移L1/L2 缓存频繁失效延迟不稳定、抖动大内核源码层面的本质区别软亲和性内核在select_task_rq()里优先选上次 CPU但不是必须。硬亲和性内核在pick_next_task()/migrate_task()里严格检查 p-cpus_mask 只允许在 mask 内选择 CPU。硬亲和性是硬件级限制软亲和性只是调度偏好。NUMA 与亲和性CPU 访问本地节点内存最快跨节点访问延迟高 30%~300%绑核必须配合绑内存numactl --cpunodebind0 --membind0 ./app内核级隔离isolcpus最强隔离grub 中添加 isolcpus1,2,3效果这些 CPU完全不参与普通调度只有显式taskset/pthread_setaffinity才能使用无任何系统线程、中断、内核线程干扰提高缓存命中率现代 CPU 结构核心 → L1/L2核心私有 → L3共享 → 内存关键点L1、L2 是每个核心私有的进程 / 线程从 CPU0 跑到 CPU1L1/L2 全部失效必须重新从内存 / LLC 加载数据→cache miss 暴增速度下降几倍几十倍操作系统默认行为为了负载均衡会主动把线程在核心间迁移→ 这就是缓存命中率低的元凶。把线程固定在一个核心不迁移 → L1/L2 数据一直保留 → 命中率大幅提升。效果缓存 miss 下降30%–90%平均指令延迟下降 20%–50%波动jitter几乎消失如何绑才能最大化缓存方法 1单线程 → 绑死 1 个核心最强缓存收益taskset -c 0 ./app原理线程永远在 CPU0L1/L2 数据永远不失效缓存命中率接近理论上限这是缓存最优结构。方法 2多线程 → 每个线程绑独立物理核心线程 A → CPU0线程 B → CPU1线程 C → CPU2线程 D → CPU3每个线程独占一个物理核心的 L1/L2互不污染缓存效率最高。方法 3进程内多线程 → 代码级绑核最有效int bind_thread_to_cpu(int cpu) { cpu_set_t cs; CPU_ZERO(cs); CPU_SET(cpu, cs); return pthread_setaffinity_np(pthread_self(), sizeof(cs), cs); }每个工作线程启动时绑定自己的核心。方法 4NUMA 下必须核心 内存 一起绑numactl --cpunodebind0 --membind0 ./app线程在 node0 核心内存也从 node0 分配L3 本地内存最优方法 5内核隔离 isolcpus无任何污染isolcpus1-4这些核心不跑任何系统线程、中断、内核线程→ 缓存完全给你的业务用→缓存命中率最高、最稳定核心要点线程绑核 进程绑核多线程必须每个线程独立绑核才能最大化缓存收益。不要绑超线程兄弟核心物理核 0 → 逻辑 0、8绑 0 就够了不要绑 0,8会争抢执行单元。亲和性是继承的fork 子进程继承父进程亲和性pthread 创建的线程不继承必须自己绑中断亲和性 irq affinity网卡 / 磁盘中断也能绑核/proc/irq/xxx/smp_affinity绑一个物理核心的两个超线程08→ L1/L2 共享互相污染绑一堆核心0-7等于没绑→ 内核依然会迁移缓存依然失效只绑核不绑 NUMA 内存→ 跨节点访问延迟高进程绑核但线程不绑→ 线程依然乱跑CPU 亲和性就是用 bitmask 限制进程 / 线程只能跑在哪些核心让缓存不失效、切换变少、延迟最低。