统计距离（Statistical Distance）在统计学和机器学习中是一个衡量两个概率分布之间差异的度量。它反映了两个概率分布的相似程度，即一个分布可以如何变化以匹配另一个分布。
统计距离主要有以下几种类型：
1. Kullback-Leibler 距离（KL 距离）：也称为相对熵，是一种非对称的距离度量，表示从一种分布转换到另一种分布所需的信息量。KL 距离是非负的，并且当两个分布相同时为0。
2. JS 距离（Jensen-Shannon 距离）：是KL距离的平滑版本，它通过对两个分布的中间分布（它们的平均值）使用KL距离来减少极端值的影响。
3. Wasserstein 距离：也称为地球度量，是衡量两个概率分布之间差异的一种方法，它考虑了分布之间的实际移动距离。
4. Hellinger 距离：是一种基于两个概率分布的二次型距离度量，它适用于离散和连续概率分布。
统计距离在许多领域都有应用，例如：
机器学习：在聚类、分类和降维等任务中，统计距离可以用来衡量样本或特征之间的相似性。
数据挖掘：在模式识别和异常检测中，统计距离可以帮助识别数据中的相似模式和异常值。
信息论：在信道编码和传输中，统计距离可以用来衡量两个概率分布之间的差异。
使用统计距离可以帮助我们更好地理解数据，并在各种应用中做出更准确的决策。
