香农数(Shannon number),也称为香农熵(Shannon entropy),是信息论中的一个基本概念,由数学家克劳德·香农(Claude Shannon)提出。它用来衡量信息的不确定性或信息量。
具体来说,香农数是衡量一个随机变量在给定概率分布下平均信息量的度量。对于一个离散随机变量X,其香农熵H(X)定义为:
[ H(X) = -sum_{i=1
香农数(Shannon number),也称为香农熵(Shannon entropy),是信息论中的一个基本概念,由数学家克劳德·香农(Claude Shannon)提出。它用来衡量信息的不确定性或信息量。
具体来说,香农数是衡量一个随机变量在给定概率分布下平均信息量的度量。对于一个离散随机变量X,其香农熵H(X)定义为:
[ H(X) = -sum_{i=1