HOI研究入门：如何利用HICO/HICO-Det的600类行为列表设计你的第一个模型

HOI研究实战从HICO/HICO-Det数据集到模型设计的完整路径当面对HICO/HICO-Det这样包含600种人-物交互行为的数据集时许多研究者会陷入数据丰富但无从下手的困境。本文将带你跨越从原始标注到可训练模型的关键步骤重点解决三个核心问题如何定义模型任务框架、如何处理特殊标注情况、如何设计高效的样本构造策略。1. 任务定义与模型架构选择HICO数据集提供的600类HOI标注117个动词80个名词组合本质上是一个多标签分类问题而HICO-Det则进一步要求同时完成检测和交互识别。这两种不同的任务需求直接决定了模型架构的设计方向。1.1 纯分类任务架构对于仅使用HICO分类标签的情况典型的模型结构包含class HOIClassifier(nn.Module): def __init__(self, backboneresnet50): super().__init__() self.backbone timm.create_model(backbone, pretrainedTrue) self.head nn.Linear(2048, 600) # 600维输出对应600个HOI类别 def forward(self, x): features self.backbone.forward_features(x) return torch.sigmoid(self.head(features)) # 多标签分类使用sigmoid关键设计要点输出层维度必须匹配list_action中的600个类别损失函数建议使用BCEWithLogitsLoss处理多标签场景样本权重可根据anno_train中的正负样本比例动态调整1.2 检测交互的联合任务HICO-Det需要同时处理人体检测框bboxhuman物体检测框bboxobject交互关系判定connection一个可行的双分支架构设计如下模块功能描述输出维度检测分支预测人体/物体框及类别4×K C×K交互分支预测人-物对的交互概率600×M匹配模块关联检测结果与交互预测-def build_positive_pairs(bbox_human, bbox_object, connections): 根据connection字段构造正样本对 pos_pairs [] for conn in connections: # 每个conn是(h_idx, o_idx)元组 human_box bbox_human[conn[0]] obj_box bbox_object[conn[1]] pos_pairs.append((human_box, obj_box)) return pos_pairs2. 特殊标注处理策略HICO标注中的ambiguous(0)和no_annotation(NaN)标签需要特别处理2.1 模糊样本处理方案处理方式优点缺点直接忽略训练简单损失部分信息降权训练平衡样本影响需调整超参数多模型集成提高鲁棒性计算成本高推荐实现代码# 在损失函数中处理ambiguous标签 def adjusted_bce_loss(pred, target): ambiguous_mask (target 0) pos_neg_mask (target ! 0) # 常规样本使用标准BCE loss F.binary_cross_entropy_with_logits( pred[pos_neg_mask], (target[pos_neg_mask] 0).float() ) # ambiguous样本使用软化标签 if ambiguous_mask.any(): loss 0.3 * F.binary_cross_entropy_with_logits( pred[ambiguous_mask], torch.sigmoid(pred[ambiguous_mask].detach()) # 自监督信号 ) return loss2.2 未标注样本的利用技巧虽然no_annotation样本没有明确标注但可以通过以下方式利用负样本挖掘对非目标物体类别可视为负样本半监督学习用模型预测生成伪标签对比学习构建相似样本对3. 样本构造与数据增强3.1 正负样本平衡策略HICO-Det的connection字段明确指出了有效的人-物交互对但需要主动构造负样本def generate_negative_pairs(bbox_human, bbox_object, connections): 生成负样本对同一图片中未连接的h-o对 all_pairs itertools.product(range(len(bbox_human)), range(len(bbox_object))) connected set(connections) return [pair for pair in all_pairs if pair not in connected]建议的负样本采样比例正样本数负样本数采样策略101:1全部保留10-501:2随机采样501:3困难负样本挖掘3.2 针对HOI的特殊数据增强除常规图像变换外HOI任务特有的增强方式交互保持变换同步平移人-物对同比例缩放交互双方保持相对位置的旋转语义一致合成def synthesize_hoi(image, human_boxes, obj_boxes): 将其他图片中的有效h-o对移植到当前背景 # 实现细节省略 return augmented_image, new_connections动词-名词解耦增强保持动词不变替换物体如ride horse → ride bicycle保持物体不变替换动词如hold cup → drink_from cup4. 评估与优化技巧4.1 指标选择与解读HICO标准评估协议包含场景分类评估常规mAP计算交互检测评估需同时满足人体检测IoU 0.5物体检测IoU 0.5交互分类正确关键指标解读陷阱某些类别如no_interaction的准确率虚高动词泛化性如hold影响多类别表现4.2 实际训练中的技巧从项目实践中总结的有效经验渐进式训练策略阶段一仅训练检测分支阶段二冻结检测训练交互头阶段三联合微调全部参数基于语义的关系先验# 构建动词-名词共现矩阵作为先验知识 co_occurrence torch.zeros(117, 80) for hoi in list_action: verb_idx hoi.verb_id noun_idx hoi.noun_id co_occurrence[verb_idx, noun_idx] 1困难样本重加权对罕见HOI组合如hose elephant增加权重对易混淆动词如hold/carry增加惩罚项在具体实现时建议先用小规模数据验证管道可行性。例如检查anno_train与bbox_train的标注一致性时可以可视化随机样本def visualize_hoi(image, human_boxes, obj_boxes, connections): fig plt.figure(figsize(12,6)) plt.imshow(image) ax plt.gca() for h_box in human_boxes: ax.add_patch(plt.Rectangle((h_box[0],h_box[1]), h_box[2]-h_box[0], h_box[3]-h_box[1], fillFalse, edgecolorred, linewidth2)) for o_box in obj_boxes: ax.add_patch(plt.Rectangle((o_box[0],o_box[1]), o_box[2]-o_box[0], o_box[3]-o_box[1], fillFalse, edgecolorblue, linewidth2)) for (h_idx, o_idx) in connections: h_center [(human_boxes[h_idx][0]human_boxes[h_idx][2])/2, (human_boxes[h_idx][1]human_boxes[h_idx][3])/2] o_center [(obj_boxes[o_idx][0]obj_boxes[o_idx][2])/2, (obj_boxes[o_idx][1]obj_boxes[o_idx][3])/2] plt.plot([h_center[0], o_center[0]], [h_center[1], o_center[1]], colorgreen, linestyle-, linewidth1) plt.axis(off) return fig