Tessera：内核级异构GPU分解技术解析与应用

1. Tessera内核级异构GPU分解技术解析现代GPU数据中心正变得越来越异构化不同型号的GPU在计算能力、内存带宽和成本效率上存在显著差异。这种异构性源于GPU发布周期与退役时间表的不匹配以及高昂的成本和有限的供应。例如Google Cloud提供了多种类型的GPU包括高端GPU如A100、H100和通用GPU如L4、RTX Pro 6000AWS等其他平台也呈现类似趋势。与此同时AI的快速发展极大地增加了对GPU资源的需求这种需求在代理式AI应用单个用户请求可能触发多个顺序模型调用的推动下进一步放大。在这种背景下云提供商面临的主要挑战是如何最大化异构GPU集群的服务性能并提高成本效率Perf/$。然而现有的调度机制未能充分利用异构GPU的架构多样性留下了大量未开发的性能和成本效率提升空间。1.1 传统粗粒度分解的局限性现有分解方法如阶段级或块级存在两个根本性局限粒度太粗即使在单个FFN块内不同内核也可能表现出明显不同的资源需求而粗粒度分解无法捕捉这些差异。例如在GPT-oss 20B推理中45%的prefill内核和57%的decode内核在L40s上运行更快任何阶段级分解都不可避免地会错放大量内核。应用特定这些方法通常与特定模型架构紧密耦合限制了它们的通用性难以扩展到各种模型类型。以prefill-decode分解为例它将整个prefill阶段分配给一个GPUdecode阶段分配给另一个GPU。然而如图3(a)所示同一阶段内的内核表现出不同的GPU偏好。类似地Attention-FFN块级分解中71%的attention内核和33%的FFN内核在L40s上运行更快导致块级分解仍然错放大量内核。1.2 内核级分解的关键洞察Tessera的核心洞察是GPU内核作为基本用户级调度单元为分解提供了最合适的粒度。在内核内部更细的粒度如线程块基本上是同质的无法从进一步分区中受益而更粗的粒度如执行阶段无法捕捉资源需求的重要变化。通过分析五种代表性模型包括LLM、MLLM和扩散模型在内核级别的执行性能我们发现平均67%的内核在L40s上执行更快基于内核计数这些内核占A100上总执行时间的36%时间加权在扩散模型中高达53%这表明通过细粒度内核分解在异构GPU上加速大模型推理存在巨大机会。2. Tessera系统设计与实现2.1 整体架构Tessera是首个通过细粒度内核分解利用异构GPU的系统其设计目标是确保内核分解的正确性和高效性。如图4所示Tessera包含四个主要组件内核分析器离线分析内核捕获内存访问模式提取内核间数据依赖关系并测量异构GPU上的内核延迟策略规划器基于分析结果生成考虑内核特性、通信开销和负载平衡的负载感知内核调度策略GPU工作器运行时执行分解后的内核在线监控器持续收集运行时统计信息支持动态策略调整2.2 内核分析器的关键技术内存访问分析Tessera面临的主要挑战是现代AI框架中的内核分为两类标准库内核如cublasSgemm语义和内存访问模式明确不透明计算内核通常是开发者定义或JIT编译的内存访问模式难以观察对于不透明内核Tessera开发了PTX级别的内核分析器采用类似eBPF的PTX注入技术来跟踪内存访问。如Listing 1所示每个全局内存指令如st.global、ld.global都被插桩以记录其访问的虚拟地址。由于缓冲区的虚拟地址是连续的Tessera仅维护每个指令的最小和最大访问地址并使用原子操作如atom.global安全地聚合这些值。数据依赖分析在解析每个访问缓冲区的精确读写语义后Tessera构建数据依赖图DDG来捕获内核间数据依赖关系。分析器维护一个全局缓冲区注册表跟踪每个缓冲区的最后写入者。当内核读取缓冲区时分析器查询注册表以识别最近的写入者如果写入者与当前内核不同则添加从写入者到读取者的依赖边。对于跨迭代RAW模式如Transformer模型中的KV缓存分析器通过分析多个迭代来自动检测它们并在运行时通过每GPU缓冲区复制和异步增量传输处理。2.3 策略规划器的优化方法Tessera支持两种调度策略吞吐量导向策略针对离线推理工作负载目标是最大化系统吞吐量。Tessera将其建模为混合整数线性规划MILP问题关键术语如表II所示。该策略引入二进制放置变量xk,g表示内核k是否分配给GPU g。每个GPU的计算时间Tg是分配给它的所有内核的执行延迟总和通信开销Mg捕获所有目标为GPU g的跨GPU依赖边的总传输成本。在流水线异步执行下每个GPU的每请求阶段时间受其较慢组件限制Wg max(Tg, Mg)。系统稳态吞吐量由最慢阶段决定因此最大化整体吞吐量等同于最小化最大阶段时间。延迟导向策略针对在线服务场景目标是最小化每请求端到端延迟。在低负载下目标函数为min(∑∑ tk,g·xk,g ∑∑∑ cu,g_ij yu,g_ij)MILP可以使用Gurobi等标准求解器高效解决。在典型设置如我们的评估中GPT-oss 20B在A100L40s节点上Gurobi解决每个DDG约需20ms枚举所有执行模式总共约需5秒。这种开销可以忽略不计因为MILP优化是离线执行的不会产生运行时开销。2.4 GPU工作器的执行模型分解内核执行基于调度策略每个GPU工作器只执行分配给它的内核。Tessera采用GPU发起的通信通过InfiniBand GPUDirect Async消除CPU-GPU同步的控制路径开销。这种CPU旁路机制允许发送和接收操作作为GPU端内核发布。对于具有传入切割依赖边的内核k工作器在启动k之前发布相应的recv内核k完成后如果有传出切割边则发布相应的send内核。为了重叠通信与计算每个工作器在专用流上发布通信使用轻量级CUDA事件进行流间同步。流水线请求处理简单的分解内核执行会因通信开销导致大量GPU气泡。Tessera采用流水线请求处理机制通过多流在异构GPU上并发执行多个独立请求。每个请求被分配给专用计算流当一个计算流因数据依赖通信而阻塞时GPU硬件调度器会从其他流分派就绪内核。为避免多个请求的通信阶段对齐导致GPU空闲Tessera采用优先级感知流调度机制为后到达的请求分配较低的CUDA流优先级使GPU硬件调度器优先将SM分配给较早的请求保持GPU持续工作。2.5 在线监控器的动态适应在线监控器针对请求到达率随时间波动的服务场景。与固定负载的离线工作负载不同在线服务必须处理动态排队压力使得任何静态决策策略都不是最优的。监控器跟踪每请求延迟、每内核组延迟和通信时间基于这些信号在固定时间窗口W执行排队感知策略切换。在每个窗口边界监控器计算平均请求延迟Lreq和纯执行延迟Lexec聚合计算和通信时间排除排队延迟。比率Lreq/Lexec作为排队压力的指标低比率意味着可忽略的排队延迟有利于延迟导向策略高比率表明排队主导端到端延迟触发切换到吞吐量导向策略以提高系统处理能力3. Tessera的实际应用与性能评估3.1 实现细节Tessera当前实现针对NVIDIA GPU包含约3K行C/CUDA代码GPU工作器运行时和约2K行Python代码内核分析器包括PTX插桩和数据依赖分析。Tessera与vLLM和PyTorch集成。PTX分析器基于NEUTRINO的探针引擎实现PTX级别的内核分析器。为插桩内存访问跟踪我们使用插入的ld.param指令扩展内核参数列表然后在每个全局内存访问周围注入atom.global指令。修改后的PTX通过ptxas编译回机器代码。已知限制是无法处理间接访问。但全面研究表明最流行的ML框架如PyTorch、vLLM不包含此类内核。CUDA Graph适配Tessera拦截CUDA Graph创建API构建DDG并按拓扑顺序将图节点分区为每GPU子图。跨GPU通信完全通过IBGDACPU旁路GPU发起send/recv操作可以直接作为GPU端内核嵌入到子图中。3.2 与模型并行的组合性Tessera与模型并行正交自然组合。例如当模型在均匀GPU组上通过张量并行TP提供服务时Tessera可以将每个GPU与异构GPU配对并在每对中应用内核分解。集体操作固定到原始均匀GPU组Tessera仅在配对GPU之间调度计算内核。3.3 性能评估结果在两种硬件配置上评估Tessera本地设置三个异构GPU对1 A100 1 L40s1 H100 1 RTX Pro 60001 B200 1 H100每个配备200 Gbps RDMA NIC集群设置两个分布式配置2 A100节点与1 L40s节点8 B200节点与8 H100节点评估四种模型系列LLMLlama-3 8B和GPT-oss 20B、SSMMamba-Codestral 7B等。结果显示与现有分解方法相比Tessera在服务吞吐量和成本效率上分别提高了2.3倍和1.6倍。令人惊讶的是在Tessera下的异构GPU对甚至可以在更低成本下超过两个同质高端GPU的吞吐量。4. 内核级分解的实际应用建议4.1 适用场景判断内核级分解技术特别适合以下场景异构GPU集群当数据中心包含不同代际或型号的GPU时内核行为差异大工作负载包含明显不同的计算模式如计算密集与内存密集长期运行任务如AI模型推理服务能分摊分析开销4.2 实施路径建议分析阶段使用PTX分析器对目标工作负载进行内核级剖析识别具有明显性能差异的内核组评估潜在的性能提升空间部署阶段对稳定工作负载采用离线MILP策略对动态负载启用在线监控器逐步扩大部署范围从非关键业务开始优化阶段根据实际运行数据调整策略参数优化通信模式减少跨GPU数据传输平衡吞吐量与延迟需求4.3 性能调优技巧通信优化尽可能使用GPU直接通信如NVLink、GPUDirect RDMA对小数据量传输使用批处理分离不同优先级的通信流资源管理监控各GPU利用率避免单一GPU成为瓶颈动态调整内核分配权重考虑功耗因素在性能与能效间取得平衡异常处理为无法分析的内核设置回退机制实现自动恢复策略处理GPU故障建立性能下降预警系统内核级分解代表了异构计算资源利用的新范式它突破了传统粗粒度分配的限制为GPU集群的性能优化和成本控制提供了全新思路。随着AI工作负载的多样化和硬件异构性的持续增长这类细粒度调度技术将变得越来越重要。