AI 术语通俗词典：标准化

标准化是统计学、数据分析、机器学习和人工智能中非常常见的一个术语。它用来描述一种数据处理方法按照一定规则把原本分布尺度不同的数据转换到一个更便于比较和建模的统一统计尺度上。如果说原始数据回答的是“这个值本身有多大”那么标准化回答的就是“这个值相对于整体平均水平偏离了多少”。因此标准化常用于消除不同特征之间的尺度差异使数据更适合统计分析和模型训练。一、基本概念什么是标准化标准化Standardization是指按照一定规则将数据转换为均值为 0、标准差为 1 的过程。最常见的方法是 Z-score 标准化Z-score Standardization。其公式可写为其中• x 表示原始值• μ 表示均值• σ 表示标准差• z 表示标准化后的值这个公式的含义可以分成三步理解1先计算当前数据与均值相差多少2再用标准差衡量这种偏离在整体波动中处于什么水平3最后得到一个新的数值用来表示该数据相对于整体平均水平的偏离程度。也就是说标准化本质上是在回答某个数据比平均水平高多少或低多少而且这种高低是按整体波动尺度来衡量的。例如若一组成绩的平均分是 70标准差是 10某位学生得了 85 分那么这说明这位学生的成绩比平均水平高出 1.5 个标准差。从通俗角度看标准化可以理解为把原本带有不同单位、不同尺度的数据转换为“离平均水平有多远”的统一表达方式。例如假设有两个指标身高单位是厘米月阅读量单位是本数。这两个指标原本不能直接比较因为单位和数值范围都不同。但若先做标准化那么它们都可以被表达为“高于平均水平多少”或“低于平均水平多少”这时就更容易放到同一统计尺度上分析。标准化与归一化Normalization很容易混淆。二者都属于数据预处理方法但关注点不同归一化更强调把数据压缩到固定区间例如 [0, 1]标准化更强调把数据转换到统一的统计分布尺度上。因此归一化关注“范围”标准化关注“分布”。二、标准化的重要性与常见应用场景1、标准化的重要性标准化之所以重要是因为现实中的很多数据虽然都可以参与建模但它们的均值、波动大小和数值范围往往差别很大。如果不先处理这些差异就可能影响模型对数据的理解和利用。首先标准化可以帮助我们减弱不同特征尺度差异带来的影响。例如一个特征的取值范围大致是 150 到 190另一个特征的取值范围大致是 0 到 10。如果直接参与同一种计算前者往往更容易影响结果。标准化后这些特征会被调整到更接近的统计尺度上。其次标准化有助于提高模型训练的稳定性。很多模型尤其是依赖梯度下降Gradient Descent等优化方法的模型对输入数据的尺度和分布较为敏感。标准化后训练过程通常更平稳也更容易收敛。再次标准化可以帮助我们更直观地理解数据在整体中的位置。标准化结果为正说明数据高于平均水平标准化结果为负说明数据低于平均水平绝对值越大说明偏离平均水平越明显。2、常见应用场景1在机器学习中标准化常用于数值特征预处理在机器学习中多个数值特征往往同时参与建模。若这些特征的均值和波动尺度差异较大就常常需要先进行标准化处理。例如标准化常见于以下场景• 逻辑回归Logistic Regression• 线性回归Linear Regression• 支持向量机Support Vector MachineSVM• 神经网络Neural Network• 主成分分析Principal Component AnalysisPCA• 聚类Clustering中的部分方法2在统计分析中标准化常用于比较相对位置不同数据即使单位不同只要经过标准化就可以比较它们相对于各自平均水平的偏离程度。这使标准化在考试分析、体测评价、经营指标比较等场景中都很有用。3在正态分布与异常检测中标准化具有重要作用如果数据近似服从正态分布那么标准化后的结果就更容易解释。例如一个数据若明显高于或低于平均水平若干个标准差就可能需要重点关注。因此在异常检测Anomaly Detection中标准化也非常常见。4数据建模与特征统一在数据建模中不同特征常常来自不同来源具有不同单位和不同波动范围。标准化可以把这些特征统一到“以均值为中心、以标准差为尺度”的表达方式中从而使模型更容易综合利用它们。可以概括地说原始数据说明“值本身有多大”标准化结果说明“它相对平均水平偏了多少”。三、使用标准化时需要注意的问题标准化虽然常用但在理解和使用时也要注意几个问题。1、标准化对极端值Outlier比较敏感因为均值和标准差都会受到极端值影响所以如果数据中存在明显异常值标准化结果也可能被拉偏。这时往往需要先检查异常值再决定是否直接使用标准化。2、标准化后的结果不一定落在固定区间内标准化与归一化不同。归一化常把数据压到 [0, 1] 区间而标准化后的结果可能是负数、0 或正数也可能大于 1 或小于 -1。因此标准化的重点不是“限制范围”而是“统一统计尺度”。3、训练集和测试集要使用同一套标准化规则在机器学习中通常应先在训练集上计算均值和标准差再用同样的参数去处理测试集。如果训练集和测试集各自单独标准化就会破坏两者之间的一致性。4、不是所有模型都同样依赖标准化标准化很重要但也不是所有模型都强依赖它。例如决策树Decision Tree、随机森林Random Forest等树模型通常不像线性模型、SVM、神经网络那样对特征尺度特别敏感。因此在实际应用中应根据模型特点决定是否使用标准化。四、Python 示例下面给出两个简单示例用来说明标准化的基本计算过程以及它如何帮助我们把不同尺度的数据转换到统一统计尺度上。示例 1对一组成绩做标准化# 一组原始数据例如某班学生的成绩data [60, 70, 75, 85, 90] # 计算均值mean_value sum(data) / len(data) # 计算总体标准差variance 0for x in data: variance (x - mean_value) ** 2variance variance / len(data)std_value variance ** 0.5 # 保存标准化结果standardized_data [] # 按 Z-score 标准化公式逐个计算for x in data: z (x - mean_value) / std_value standardized_data.append(z) # 输出结果print(原始数据, data)print(标准化后, standardized_data)这个例子展示了标准化的基本过程先计算均值和标准差再把每个数据改写为“偏离平均水平多少个标准差”的形式。示例 2比较两个量纲不同的特征# 两组原始数据# 第一组表示身高单位厘米heights [160, 165, 170, 175, 180] # 第二组表示月阅读量单位本books [2, 3, 5, 7, 8] # 定义一个标准化函数def standardize(data): mean_value sum(data) / len(data) variance 0 for x in data: variance (x - mean_value) ** 2 variance variance / len(data) std_value variance ** 0.5 result [] for x in data: z (x - mean_value) / std_value result.append(z) return result # 分别标准化heights_z standardize(heights)books_z standardize(books) # 输出结果print(原始身高, heights)print(标准化后的身高, heights_z) print(原始阅读量, books)print(标准化后的阅读量, books_z)这个例子展示了标准化的一个重要用途即使两个特征的单位和取值范围完全不同经过标准化后它们也可以放到更接近的统计尺度上进行比较。 小结标准化Standardization是一种把数据转换到统一统计尺度上的方法。它不是简单地压缩数据范围而是把数据改写为“相对于平均水平偏离多少”的形式。在机器学习、统计分析、异常检测和特征预处理中标准化都非常常见。对初学者而言可以把它理解为原始值告诉我们“它有多大”标准化值告诉我们“它比平均水平偏了多少”。“点赞有美意赞赏是鼓励”