什么是信息(什么是信息量?信息熵又是什么?)

  信息信息是用来消除随机不确定性的东西。也就是说,衡量信息量的大小就看这个信息消除不确定性的程度。克劳德.香农(ClaudeShannon)被称为“信息论之父”。他一生中也许是最有名的一篇论文:《通讯的数学理论》(Amathematicaltheoryofcommunications,1948),引入

  信息是用来消除随机不确定性的东西。也就是说,衡量信息量的大小就看这个信息消除不确定性的程度。

  克劳德.香农(Claude Shannon)被称为“信息论之父”。他一生中也许是最有名的一篇论文:《通讯的数学理论》(A mathematical theory of communications,1948),引入了一条全新的思路,震撼了整个科学技术界,开启了现代信息论研究的先河。在这一伟大的贡献中,他引进的“信息熵”之一般概念举足轻重:它在数学上量化了通讯过程中“信息漏失”的统计本质,具有划时代的意义。

  信息量的大小和事件发生的概率成反比。

  信息量的表示:

  x 表示一个发生的事件;

  p 表示这个事件发生的先验概率;先验概率指这个事件按照常理,按照一般性规律发生的概率。

  可以认为是信息的杂乱程度的量化描述。

  信息熵公式如下:

  其中,x 可以当成一个向量,就是若干个 x 产生的概率p(x)乘以该可能性的信息量-logp(x),然后各项做加和。

  信息量度量的是一个具体事件发生所带来的信息,而熵则是在结果出来之前对可能产生的信息量的期望—考虑该随机变量的所有可能取值,即所有可能发生事件所带来的信息量的期望。

  信息熵还可以作为一个系统复杂程度的度量,如果系统越复杂,出现不同情况的种类越多,那么他的信息熵是比较大的。

  如果一个系统越简单,出现情况种类很少(极端情况为1种情况,那么对应概率为1,那么对应的信息熵为0),此时的信息熵较小。

  小结

  简而言之,

  本文地址:

匿名

发表评论

匿名网友