熵的含义

指的是多种成分均匀分布的情况，如果成分分布越均匀，则熵越高，相反则熵越低

物理学

比如某个物体由多个事物组成，如果各事物所占质量比重均匀，则质量熵就高

概率学

比如掷色子有6种结果，如果各结果的概率是一样的，则概率熵就高

自然语言

比如一个term和多个term都有搭配在一起出现的记录，如果各term出现的次数都比较接近，则这个term的搭配熵就高