基于多维度融合的半监督异常流量检测模型

基于多维度融合的半监督异常流量检测模型第1页封面页各位老师、同学大家好今天我们小组汇报的主题是**基于多维度融合的半监督异常流量检测模型**主要面向Bot攻击流量的检测实验。接下来我将从研究背景、数据集介绍、技术框架、实验设计与结果分析等方面为大家详细讲解本次实验的内容。第2页研究背景 - 网络安全的严峻挑战首先让我们来了解一下本次实验的研究背景。当前网络安全面临着三个关键挑战第一网络攻击常态化——Bot攻击的威胁。Bot攻击是指利用自动化程序俗称僵尸网络发起的网络攻击。这类攻击具有三个特点隐蔽性强——攻击者可以控制大量被感染的设备从全球各地发起攻击难以追踪源头传播速度快——一旦漏洞被发现Bot程序可以在短时间内感染成千上万台设备突破传统防御——传统的防火墙、入侵检测系统往往难以识别这类分布式、低频的攻击行为。根据统计目前互联网上超过40%的流量来自Bot其中相当一部分是恶意Bot。第二传统检测技术的局限性。传统的入侵检测系统IDS主要采用基于特征库的检测方法。这种方法的工作原理是预先收集已知攻击的特征签名如特定的数据包模式、端口号、字符串序列等然后实时匹配网络流量。但这种方法有两个致命弱点需要频繁更新规则库——每当出现新的攻击类型安全专家必须手动编写新的规则维护成本极高对未知攻击检测能力不足——面对零日攻击Zero-day或变种攻击由于规则库中没有对应的特征签名系统完全无法识别。第三半监督学习在异常检测上的优势。针对上述问题机器学习提供了一种新的解决思路。半监督学习介于无监督和全监督之间无监督方法如聚类、隔离森林完全不需要标注数据但对噪声敏感容易产生高误报率全监督方法如深度神经网络需要大量精确标注的攻击样本但在网络安全领域获取高质量的攻击标注数据非常困难且昂贵半监督方法的优势在于只需少量标注数据主要是正常样本让模型在大量正常数据上学习正常行为模式任何显著偏离该模式的行为就被判定为异常。这种方法既解决了无监督方法对噪声敏感的问题也降低了对大规模标注数据的依赖。第3页本次实验核心目标基于上述背景本次实验设定了四个核心目标目标一构建DAE无监督模型。DAE即Denoising Autoencoder降噪自编码器是一种深度学习模型。我们的目标是基于这种模型建立一个网络流量异常检测的基准模型。选择DAE的原因是它能够从带噪声的输入中学习重建原始数据的能力这种特性使模型对噪声更加鲁棒非常适合异常检测场景。目标二Bot流量精准检测。我们选择CSE-CIC-IDS2018数据集进行实验验证。这是一个被学术界广泛认可的网络入侵检测数据集包含真实的网络攻击流量。我们的目标是在这个数据集上实现较高精度、低误报率的Bot攻击识别。目标三多维度异常评估。单一指标往往存在局限性。我们创新性地提出了三维度融合策略重构误差衡量自编码器重建原始数据的能力马氏距离衡量样本在特征空间中与正常样本分布中心的距离LOF局部离群因子衡量样本的局部密度异常。通过加权融合这三个维度提升检测的准确性与鲁棒性。目标四性能优化与全面验证。我们将通过阈值寻优来平衡精确率和召回率最大化F1分数同时使用混淆矩阵、ROC曲线、AUC等多种指标对模型进行全面评估。第4页实验数据集 - CSE-CIC-IDS2018接下来介绍我们使用的实验数据集。数据集来源CSE-CIC-IDS2018由**加拿大网络安全研究所CIC**发布是网络入侵检测领域公认的标准公开数据集。CIC是一家专注于网络安全研究的权威机构他们发布的数据集被全球众多高校和研究机构用于入侵检测算法的评测。数据特性该数据集具有以下特点真实性记录的是真实网络环境下的完整流量而非模拟生成的数据高维性原始特征维度超过80维包含数据包大小、流量持续时间、TCP标志位、端口信息等丰富的网络流量特征多样性包含多种攻击类型如DDoS、Bot、暴力破解、Web攻击等大规模总样本量超过100万条记录。核心子集我们选取了包含Bot攻击的Friday-02-03-2018流量文件进行实验。经过预处理后特征维度从80维降到了30维通过PCA降维总样本数量1,044,525条正常流量Benign758,334条占比72.6%Bot攻击流量286,191条占比27.4%。这里需要说明的是虽然数据集中有标注但我们的训练过程只使用正常样本攻击样本仅用于测试评估——这正是半监督学习的典型设定。第5页数据预处理在进行模型训练之前我们需要对原始数据进行预处理。数据预处理是机器学习流程中至关重要的一环直接影响模型的训练效果。第一步数据清洗。原始数据中存在一些干扰特征和异常值剔除非数值干扰特征如时间戳Timestamp、流量IDFlow ID、源IP地址、目的IP地址、源端口、目的端口等。这些特征要么是标识符如IP地址要么是时间信息它们与攻击行为的本质特征关联不大反而可能引入噪声或导致模型过拟合。处理缺失值和无穷值网络流量数据中可能存在计算错误导致的无穷值如除以零我们将其替换为NaN后删除包含缺失值的行。第二步标签处理。原始数据集中标签有多种类型Benign、Bot等我们将标签二值化正常流量Benign→ 标签0其他所有攻击类型 → 标签1第三步特征归一化。归一化的目的是将不同量纲的特征缩放到同一范围避免数值大的特征主导模型训练。我们采用了两阶段归一化RobustScaler使用第5和第95百分位数进行缩放对异常值更加鲁棒StandardScaler进行标准化处理使特征均值为0、标准差为1最后对极端值进行裁剪Clip将数值限制在[-5, 5]范围内防止极端异常值影响模型。第四步PCA降维。主成分分析PCA是一种线性降维技术其核心思想是找到数据方差最大的方向主成分将高维数据投影到低维空间同时尽可能保留原始信息。我们选择降到30维原因有三降低计算复杂度减少模型参数量和训练时间去除冗余特征原始特征间可能存在高度相关性PCA可以消除这种冗余降噪方差较小的特征往往包含较多噪声PCA通过保留主成分实现降噪。降维后再次使用StandardScaler进行归一化确保输入模型的数据分布均匀。第6页模型构建与训练 - 对称自编码器架构现在进入模型构建部分。我们设计的核心模型是对称自编码器Symmetric Autoencoder。什么是自编码器自编码器是一种无监督学习的神经网络其核心思想是让网络学习如何将输入数据压缩成一个低维的编码然后再从编码重建出原始输入。训练目标是让重建的数据尽可能接近原始输入。对称架构设计我们采用对称结构即编码器和解码器层数相同、结构镜像编码器部分4层输入层30维降维后的特征维度隐藏层1128个神经元隐藏层264个神经元隐藏层332个神经元潜在空间编码层8维解码器部分4层潜在空间8维隐藏层432个神经元隐藏层564个神经元隐藏层6128个神经元输出层30维重建结果为什么这样设计逐层压缩编码器从30维逐步压缩到8维每一层都在提取更抽象、更本质的特征。这类似于人类理解事物的过程——从表面细节到核心本质。潜在空间的作用8维的潜在空间是模型的记忆核心它存储了正常流量数据的最本质特征。如果模型能从8维向量准确重建30维输入说明它真正学会了正常流量的模式。对称结构的优势解码器是编码器的逆过程对称设计使模型更容易学习梯度传播更稳定。激活函数隐藏层使用ReLU激活函数它具有计算简单、缓解梯度消失问题的优点输出层使用Sigmoid或线性激活函数。第7页核心算法 - 降噪自编码器DAE接下来详细介绍我们使用的核心算法——降噪自编码器。一、工作原理Mechanism降噪自编码器由两部分组成编码器Encoder将高维输入压缩为低维潜在向量。数学表示为z f(x)其中x是输入z是潜在向量f是编码函数由多层神经网络实现。具体过程输入30维特征向量经过4层神经网络逐层变换输出8维潜在向量解码器Decoder将潜在向量重建为原始维度。数学表示为x̂ g(z)其中z是潜在向量x̂是重建结果g是解码函数。具体过程输入8维潜在向量经过4层神经网络逐层变换输出30维重建向量二、训练目标Objective模型训练的目标是最小化重构误差。我们使用**均方误差MSE**作为损失函数L ||x - x̂||² Σ(xᵢ - x̂ᵢ)²训练过程输入一个正常流量样本x编码器将其压缩为潜在向量z解码器将z重建为x̂计算x和x̂之间的MSE反向传播更新网络参数经过训练模型能够精准重建正常流量数据。三、异常检测逻辑Detection Logic这是DAE用于异常检测的核心原理正常流量模型在训练时见过大量正常流量正常流量具有规律的模式模型学会了这些模式能够准确重建重构误差小接近训练时的误差水平攻击流量Bot模型训练时从未见过攻击流量攻击流量的特征分布与正常流量不同模型无法准确重建因为攻击模式不在其知识范围内重构误差大显著高于正常流量的误差直观类比想象你是一个专门临摹梵高画作的画家。你临摹过无数次梵高的画已经非常熟练。但如果让你临摹一幅毕加索的画你会画得很别扭——因为你的大脑已经过拟合了梵高的风格。同样地DAE在训练时过拟合了正常流量的模式面对异常流量时就会不知所措表现为重建误差增大。第8页半监督训练机制接下来介绍模型的训练策略。为什么采用半监督训练在真实的网络安全场景中正常流量数据大量存在且容易获取攻击流量数据稀少且标注成本高需要安全专家分析攻击类型不断变异和进化今天的攻击特征可能不适用于明天。因此我们采用仅使用正常样本训练的策略这正是半监督学习的典型应用。训练数据准备plaintextX_normal X_pca[y 0] # 只取正常样本 sample_size min(200000, len(X_normal)) # 最多使用20万条正常样本我们从75万多条正常样本中随机抽取20万条用于训练这是一个合理的训练集规模。降噪训练策略我们使用的是降噪自编码器DAE与普通自编码器的区别在于训练时加入噪声plaintextnoise torch.randn_like(batch_x) * 0.05 # 生成标准差为0.05的高斯噪声 noisy_batch batch_x noise # 在输入上添加噪声为什么要加噪声防止过拟合如果模型直接学习恒等映射输出输入模型就没有真正学到数据的特征。加入噪声迫使模型学习数据的内在结构而非简单地复制输入。增强鲁棒性真实数据往往包含噪声加噪训练使模型能够处理带噪声的真实数据。提升泛化能力模型学会了从噪声数据恢复原始数据的能力对未见过的正常数据变体也能准确重建。训练超参数优化器Adam自适应学习率优化器学习率0.0005权重衰减1e-6L2正则化防止过拟合训练轮数40 epochs批大小4096梯度裁剪plaintexttorch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)梯度裁剪限制了梯度的最大范数防止梯度爆炸使训练更稳定。第9页异常检测与评估 - 多维融合异常分模型训练完成后如何使用它进行异常检测呢我们提出了多维度融合异常分数策略。核心思想单一指标如重构误差可能存在盲区。不同类型的异常可能在不同的度量上表现突出。融合多个维度可以互补盲区提高检测准确性。三个维度的异常分数维度一重构误差分数权重0.5计算方法plaintextrecon_error ||x - x̂||² # 输入与重建结果的均方误差 recon_score (recon_error - min) / (max - min) # 归一化到[0,1]原理直接衡量模型重建输入的能力。正常样本误差小异常样本误差大。维度二马氏距离分数权重0.3计算方法plaintextfrom sklearn.covariance import EllipticEnvelope mahalanobis_detector EllipticEnvelope(contamination0.1) mahalanobis_detector.fit(normal_encoded) # 只用正常样本的编码 mahalanobis_score -mahalanobis_detector.score_samples(encoded_features)什么是马氏距离马氏距离是一种考虑特征相关性的距离度量D_M(x) √[(x-μ)ᵀΣ⁻¹(x-μ)]其中μ是均值向量Σ是协方差矩阵。为什么要用马氏距离普通的欧氏距离假设各特征独立且等权重但在网络流量数据中特征之间存在复杂的相关性马氏距离考虑了特征的协方差结构能够更准确地衡量样本与正常分布中心的距离我们在潜在空间8维编码中计算马氏距离这是因为编码已经去除了冗余信息更具代表性。维度三LOF局部离群因子权重0.2计算方法plaintextfrom sklearn.neighbors import LocalOutlierFactor lof LocalOutlierFactor(n_neighbors20, contamination0.1, noveltyTrue) lof.fit(normal_encoded) lof_score -lof.score_samples(encoded_features)什么是LOFLOF衡量的是样本的局部密度相对于其邻居的密度如果一个样本的局部密度远低于其邻居的密度则可能是离群点LOF特别适合检测局部异常——即在一个小区域内异常但在全局范围内看起来正常的点。为什么要加入LOF重构误差和马氏距离都是全局指标可能遗漏局部异常。LOF作为补充能够发现那些在局部区域内表现异常的样本。融合公式plaintextanomaly_score 0.5 * recon_score 0.3 * mahalanobis_score 0.2 * lof_score权重分配原则重构误差是核心指标权重最高马氏距离提供全局视角中等权重LOF补充局部视角较低权重。第10页多维度异常分数融合策略详解这一页我们对融合策略进行更深入的解释。为什么需要多维度融合假设我们只使用重构误差检测问题1某些正常流量可能有较大的重构误差如罕见但合法的网络行为导致误报问题2某些攻击流量可能恰好能被模型较好地重建如果攻击特征与正常流量有部分重叠导致漏报。引入马氏距离和LOF可以缓解这些问题马氏距离从全局分布角度评估样本是否偏离正常区域LOF从局部密度角度发现那些躲在正常区域角落里的异常。各维度的作用机制维度评估角度适用场景局限性重构误差重建能力识别特征分布异常的攻击对训练集中未见的正常变体敏感马氏距离全局分布识别在特征空间中位置异常的样本对局部异常不敏感LOF局部密度识别局部离群点对全局趋势不敏感融合的数学原理设三个维度的分数分别为S₁、S₂、S₃融合分数为S w₁S₁ w₂S₂ w₃S₃其中w₁ w₂ w₃ 1。我们选择的权重0.5, 0.3, 0.2是基于以下考虑重构误差是DAE检测的基础权重应该最大马氏距离提供重要的补充信息权重次之LOF作为辅助维度权重最低。权重的选择可以通过交叉验证进行优化但本次实验中我们使用了固定的经验权重。第11页阈值寻优有了异常分数后如何判定一个样本是正常还是异常我们需要确定一个判定阈值。阈值的作用plaintextif anomaly_score threshold: prediction 异常 # Bot攻击 else: prediction 正常 # 正常流量阈值选择的两难阈值太高漏报增加很多攻击被误判为正常阈值太低误报增加很多正常被误判为攻击。我们的策略最大化F1分数。什么是F1分数F1分数是精确率和召回率的调和平均F1 2 × (Precision × Recall) / (Precision Recall)精确率预测为攻击的样本中真正是攻击的比例召回率所有真实攻击中被正确检测出的比例。F1分数平衡了精确率和召回率是一个综合指标。阈值搜索算法pythonbest_f1 0 best_percentile 90 for percentile in range(70, 99): threshold np.percentile(normal_scores, percentile) # 取正常样本分数的第percentile百分位数 y_pred (anomaly_scores threshold).astype(int) if np.sum(y_pred) 1000: # 确保有足够的预测防止全部预测为正常 f1 f1_score(y, y_pred) if f1 best_f1: best_f1 f1 best_percentile percentile为什么用百分位数而非绝对值异常分数的绝对值范围会随数据集变化使用百分位数更具通用性。第84百分位数意味着正常样本中有84%的分数低于该阈值只有16%高于阈值可能被误判。第12页可视化评估评估机器学习模型不能只看一个指标我们通过多种可视化方法全面评估模型性能。可视化一异常分数分布直方图将正常样本和攻击样本的异常分数分别绘制直方图横轴异常分数值纵轴样本数量不同颜色区分正常/攻击理想情况两个分布应该明显分离。如果重叠严重说明模型区分能力有限。可视化二不同方法分数对比对比重构误差、马氏距离、LOF三个维度的分数分布观察哪个维度对正常/攻击的区分度最高验证融合策略的有效性可视化三检测性能指标柱状图展示准确率、精确率、召回率、F1分数四个核心指标直观展示模型的综合性能F1分数是最重要的综合指标可视化四混淆矩阵热力图混淆矩阵展示四种预测结果plaintext预测正常 预测异常 实际正常 TN FP 实际异常 FN TPTNTrue Negative正确预测为正常的正常样本数FPFalse Positive错误预测为攻击的正常样本数误报FNFalse Negative错误预测为正常的攻击样本数漏报TPTrue Positive正确预测为攻击的攻击样本数可视化五ROC曲线ROC曲线展示不同阈值下的真阳性率TPR和假阳性率FPR横轴FPR假阳性率 FP / (FP TN)纵轴TPR真阳性率/召回率 TP / (TP FN)曲线下面积AUC越接近1越好AUC0.5表示随机猜测AUC1表示完美分类器。可视化六阈值对性能的影响展示不同百分位数阈值下F1分数和召回率的变化帮助理解阈值选择的重要性展示精确率与召回率的权衡关系第13页盲测评估 - 通过真实数据生成测试数据为了验证模型的泛化能力我们进行了盲测评估。什么是盲测盲测是指使用模型在训练过程中从未见过的数据进行测试。盲测能够更真实地反映模型在实际应用中的表现。盲测数据来源我们通过以下方式生成测试数据从原始数据集中提取新的流量样本不参与训练使用与训练数据相同的预处理流程确保测试数据中正常/攻击比例与实际场景相近。盲测流程plaintextmodel.eval() # 切换到评估模式 with torch.no_grad(): # 不计算梯度节省内存 for batch in test_data: reconstructed, encoded model(batch) # 前向传播 recon_error mean((reconstructed - batch)²) # 计算重构误差评估模式与训练模式的区别训练模式启用Dropout、BatchNorm更新评估模式禁用Dropout、使用训练好的BatchNorm参数为什么使用torch.no_grad()在测试阶段不需要反向传播使用该上下文管理器可以减少内存占用不保存中间变量用于梯度计算加快推理速度第14页盲测结果盲测结果从多个角度展示了模型的检测能力。重构误差分布正常样本的重构误差集中在低值区域攻击样本的重构误差分布更分散均值更高两个分布存在一定重叠这是导致误报和漏报的根本原因ROC曲线分析AUC值约为0.65-0.70表明模型具有一定的区分能力但距离理想值1.0还有较大差距混淆矩阵解读盲测样本量n1000的结果TN667667个正常样本被正确识别FP6464个正常样本被误判为攻击误报率8.76%FN134134个攻击样本被漏判为正常TP135135个攻击样本被正确识别关键指标检测率召回率50.19%误报率8.76%F1分数0.577结果分析盲测结果与全量测试结果一致说明模型具有一定的泛化能力。约50%的召回率说明模型能识别一半左右的Bot攻击同时保持较低的误报率。第15页实验1 - 全量数据测试结果分析现在我们来看实验1的详细结果分析。实验设置数据集全量100万样本阈值正常流量异常分数的第84百分位数对应阈值0.006616核心指标解读准确率Accuracy 0.7387含义所有样本中正确预测TNTP的占比解读约74%的样本被正确分类注意由于正常样本占多数准确率可能会被拉高精确率Precision 0.5245含义预测为攻击的样本中真正是攻击的比例解读预测为攻击的样本中约52%确实是攻击问题意味着近一半的报警是误报召回率Recall 0.4969含义所有真实攻击中被正确检测出的比例解读约50%的Bot攻击被成功识别问题意味着一半的攻击被漏掉了误报率FPR 17.00%含义正常样本中被误判为攻击的比例解读17%的正常流量被误报为攻击问题较高的误报率会增加安全运维的负担混淆矩阵详解plaintext预测正常 预测异常 实际正常 629,417 128,917 实际异常 142,988 143,203总正常样本758,334其中629,417被正确识别128,917被误报总攻击样本286,191其中143,203被正确检测142,988被漏报结果分析模型能检测出约50%的Bot攻击这是一个可以接受的起点。但存在两个主要问题召回率50%偏低有大量攻击被漏检误报率17%偏高会产生较多虚假报警。这些问题的根源在于攻击流量与正常流量的特征存在重叠模型对正常模式的学习还不够充分。第16页实验2 - 阈值优化针对实验1的问题我们进行了阈值优化实验。实验设计采样规模20,000个样本遍历范围第70至第95百分位数目标找到最大化F1分数的最优阈值不同阈值的性能对比百分位数阈值准确率精确率召回率F1分数95%0.6270.6980.1110.0180.03190%0.2640.7900.6410.4950.55885%0.1480.7520.5420.4950.51880%0.0780.7150.4720.4950.48375%0.0410.6770.4160.4950.45270%0.0260.6430.3760.4950.427关键发现阈值与召回率的关系阈值降低百分位数降低→ 更多样本被判定为异常 → 召回率上升但同时精确率下降因为更多正常样本也被误判阈值与精确率的关系阈值升高百分位数升高→ 更严格的异常判定 → 精确率上升但召回率下降因为攻击样本也可能被判定为正常F1分数的最优平衡第90百分位数时F1分数达到最高0.558这是一个精确率0.641和召回率0.495的平衡点阈值优化的核心逻辑提高判定标准至90%分位数能够过滤掉由背景噪声或轻微异常引起的误报在保证召回率的前提下最大化精确率减少安全运维人员的无效工作量。优化后的结果准确率0.802提升至80%精确率0.678提升至68%召回率0.502保持在50%F1分数0.577提升至58%误报率8.76%从17%降低至9%第17页核心实验结果对比这一页我们对两次实验的结果进行对比分析。对比维度指标实验184%阈值实验290%阈值变化准确率73.87%80.20%6.33%精确率52.45%67.84%15.39%召回率49.69%50.19%0.50%F1分数51.02%57.69%6.67%误报率17.00%8.76%-8.24%关键结论阈值优化显著提升了精确率从52%提升到68%提升幅度超过15个百分点。这意味着模型的预测更加可靠安全团队不必在大量误报上浪费时间。召回率基本保持稳定约50%的Bot攻击仍能被检测出来。阈值优化没有以牺牲检测能力为代价。误报率大幅下降从17%降至9%下降了近一半。在实际部署中这能显著降低运维成本。F1分数提升从51%提升到58%模型的综合性能得到改善。权衡分析阈值优化实际上是在精确率和召回率之间做权衡更高的阈值 → 更少的报警但可能漏掉更多攻击更低的阈值 → 更多报警但其中更多是误报我们的目标是在保证基本检测能力的前提下尽量减少误报。第90百分位数阈值是一个较好的平衡点。第18页实验结论基于以上实验我们得出以下结论结论一模型有效性基于降噪自编码器的半监督方法能够有效检测Bot攻击。这证明了该方法在网络入侵检测领域具备良好的可行性与应用潜力。关键证据模型能够识别约50%的Bot攻击误报率可控制在9%左右F1分数达到58%结论二多维度融合的优势融合重构误差、马氏距离和LOF的多维度异常分数相比单一指标能更全面地评估样本异常性显著提升了模型检测的鲁棒性。关键证据三个维度分别从不同角度评估异常融合后的检测效果优于单一维度结论三阈值优化是关键通过最大化F1分数选择最优阈值可在检测率和误报率间取得平衡。阈值优化将误报率从17%显著降低至9%是提升模型性能的核心手段。关键证据阈值从84%调整为90%后精确率提升15%误报率下降近一半结论四性能瓶颈与改进方向当前模型召回率约50%仍有较大提升空间。主要原因是攻击流量与正常流量特征重叠未来需优化模型以充分学习复杂的正常模式。存在的问题召回率偏低一半的攻击被漏检攻击与正常特征重叠某些Bot攻击的行为模式与正常流量相似模型容量可能不足自编码器结构相对简单第19页总结与未来展望本次工作总结我们成功构建并验证了一个基于多维度融合的半监督网络入侵检测模型。该模型通过学习正常流量模式能够有效识别Bot攻击并通过阈值优化显著提升了检测精度为网络安全防护提供了新的技术思路。主要贡献构建了降噪自编码器异常检测模型提出了三维融合的异常评估策略验证了阈值优化的重要性在真实数据集上完成了实验验证未来改进方向方向一模型结构优化尝试卷积自编码器CAE使用卷积层提取空间特征尝试循环自编码器RAE使用LSTM/GRU提取时间序列特征网络流量数据具有时空特性更复杂的网络结构可能学习到更深层的模式方向二特征工程改进探索更有效的特征选择方法如基于互信息的特征选择引入时间序列特征如流量到达间隔、连接持续时间使用自动特征学习方法如深度特征合成方向三半监督学习探索引入少量标注的攻击样本进行训练结合主动学习策略让模型主动选择最有价值的样本请求标注使用对抗训练提升模型对变种攻击的识别能力方向四实时检测部署将模型工程化部署为实时检测系统优化推理速度满足实时检测的吞吐量要求在真实网络环境中验证其防御效果结束语感谢各位老师和同学的聆听我们的汇报到此结束欢迎提问与交流。附录核心概念速查自编码器Autoencoder一种无监督学习的神经网络通过学习将输入压缩为低维编码再重建输出常用于降维和异常检测。降噪自编码器Denoising Autoencoder, DAE在训练时对输入添加噪声迫使模型学习数据的内在结构提高鲁棒性。重构误差Reconstruction Error输入数据与自编码器重建输出之间的差异通常用均方误差MSE衡量。马氏距离Mahalanobis Distance考虑特征相关性的距离度量用于衡量样本与分布中心的偏离程度。LOFLocal Outlier Factor局部离群因子衡量样本相对于其邻居的局部密度偏离程度。F1分数精确率和召回率的调和平均是评估分类模型的综合指标。ROC曲线与AUCROC曲线展示不同阈值下的真阳性率与假阳性率的关系AUC是曲线下面积越接近1表示模型越好。