聊聊香农的信息熵
36 浏览量
2021-01-20
11:55:35
上传
评论
收藏 265KB PDF 举报
聊聊香农的信息熵聊聊香农的信息熵
复杂的世界复杂的世界
我们生活在一个极其复杂的世界，不管是小到分子原子亦或是大到整个宇宙，其复杂程度都是超乎想象。或许你不曾深入去思考过身边事物的复杂性，那是因
为你已经对你日常所见习以为常。所有在你出生之前发明的事物都是这个世界的自然组成部分，所以很多事物给人的感觉都是这个世界本来的样子。
复杂世界
像人类这样复杂的事物时如何出现的？像电脑这般复杂的事物是如何出现的？像大河山川那样复杂的事物又是怎样出现的呢？某些事物和另外某些事物是否有
什么联系？周围的很多复杂事物也许并没有什么明显的规律，而且很多事物联系都并非是确定性的关系。
信息是什么信息是什么
信息这个词让我们感到熟悉而又陌生。熟悉是因为我们所处在一个信息时代，跟生活密切相关的就有大量的各种信息，比如书籍、手机、电脑等。而陌生是因
为很难精确说明信息是什么并且如何量化信息，比如“地球是圆的”一句话包含了多少信息呢，在古代和现代这句话包含的信息量是不是就不一样了呢。
image
万物都包含着信息，信息可被处理并使用（从广义上称为计算），从广义的信息和信息处理角度看，我们看到的事物变化其实是宇宙的计算。也许可以说世界
的本质就是信息+计算。很多科学家认为最有希望统一广义相对论和量子力学的就是信息理论。
image
丈量信息丈量信息
将信息量化是信息革命的基础，在香农发表《通信的数学理论》之前，信息是一个很抽象而且无法具体确切定义的东西，比如一个人说某公司拥有大量的信
息，它有一亿封邮件，那一亿封邮件包含了多少信息？而在物理和化学等领域都已经有各类量纲可以用于丈量各类物体特性，为了让信息可以测量，香农独自
提出了比特(bit)概念，使用比特来丈量信息，比特也成为了量纲成员。
评论0
最新资源