"信息理论基础周荫清答案" 信息理论基础是计算机科学和通信工程中的一门重要课程,本文档旨在帮助学生更好地学习信息论基础,并对该门课有更深层次的理解。下面是基于提供的文件内容生成的相关知识点: 2.1 试问:四进制、八进制脉冲所含信息量是二进制脉冲的多少倍? 知识点: * information theory 信 息论基础:信息论是研究信息的处理、传输、存储和保护的数学理论。 * pulse 编码:脉冲编码是将信息转换为脉冲信号的过程。 * information quantity 信息量:信息量是衡量信息的基本单位,通常用比特(bit)表示。 2.2 试问:居住某地区的女孩子有 25% 是大学生,在女大学生中有 75% 是身高 160 厘米以上的,而女孩子中身高 160 厘米以上的占总数的一半。 知识点: * conditional probability 条件概率:条件概率是指在某个事件已知发生的情况下,另一个事件发生的概率。 * information entropy 信息熵:信息熵是衡量信息的不确定性的量度。 2.3 试问:一副充分洗乱了的牌(含 52 张牌),试问(1)任一特定排列所给出的信息量是多少?(2)若从中抽取 13 张牌,所给出的点数都不相同能得到多少信息量? 知识点: * permutation 排列:排列是指将一个集合中的元素按某种顺序排列的结果。 * combination 组合:组合是指从一个集合中选取一定数量的元素的结果。 2.4 试问:设离散无记忆信源 [XP (X)]=¿ ¿,其发出的信息为(202120130213001203210110321010021032011223210),求(1)此消息的自信息量是多少?(2)此消息中平均每符号携带的信息量是多少? 知识点: * discrete memoryless source 离散无记忆信源:离散无记忆信源是指一个信源,它的输出符号是独立同分布的。 * self-information 自信息量:自信息量是衡量一个事件或消息的信息量的量度。 2.5 试问:从大量统计资料知道,男性中红绿色盲的发病率为 7%,女性发病率为 0.5%,如果你问一位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少? 知识点: * probability 概率:概率是指某个事件发生的可能性。 * entropy 熵:熵是衡量信息的不确定性的量度。 2.6 试问:设信源 [XP (X)]=¿ ¿,求这个信源的熵,并解释为什么 H(X)· 2 ·> log6 不满足信源熵的极值性。 知识点: * entropy 熵:熵是衡量信息的不确定性的量度。 * extreme value 极值:极值是指某个函数或量的最大或最小值。 2.7 证明:H(X3/X1X2) ≤ H(X3/X1),并说明当 X1, X2, X3 是马氏链时等式成立。 知识点: * conditional entropy 条件熵:条件熵是指在某个事件已知发生的情况下,另一个事件的熵。 * Markov chain 马氏链:马氏链是指一个离散时间的随机过程,它的未来状态仅取决于当前状态。 本文档涵盖了信息理论基础的多个方面,如信息量、熵、条件概率、排列、组合等,是一个系统的信息理论基础知识点汇编。
![application/x-rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/release/download_crawler_static/4137994/bg1.jpg)
![](https://csdnimg.cn/release/download_crawler_static/4137994/bg2.jpg)
![](https://csdnimg.cn/release/download_crawler_static/4137994/bg3.jpg)
![](https://csdnimg.cn/release/download_crawler_static/4137994/bg4.jpg)
![](https://csdnimg.cn/release/download_crawler_static/4137994/bg5.jpg)
剩余45页未读,继续阅读
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/default.jpg!1)
- 粉丝: 0
- 资源: 2
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
最新资源
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback-tip](https://img-home.csdnimg.cn/images/20220527035111.png)
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)