没有合适的资源?快使用搜索试试~ 我知道了~
信息论概述-大作业.docx
需积分: 5 0 下载量 138 浏览量
2022-06-19
15:41:39
上传
评论
收藏 760KB DOCX 举报
温馨提示
试读
18页
信息论概述-大作业.docx
资源推荐
资源详情
资源评论
信息就是指以声音、语言、文字、图像、动画、气味等方式所表示的实际
内容,其基本作用是减少人们对事物的不确定性。信息论主要研究信息的传
递、处理、提取和利用。通信的内涵是指人与人或人与自然之间通过某种行为
或媒介进行的信息交流与传递,广义上指需要信息的双方或多方在不违背各自
意愿的情况下采用任意方法、任意媒质,将信息从某方准确安全地传送到另一
方。其目标为使人与人,人与自然以及物与物相互之间信息传递高效迅速,且
具有一定保密性。
信息的可度量性是建立信息论的基础,信息论创立的核心思想是对一个信
号包含的信息的多少进行量化。信息论是在信息可以度量的前提下,研究有效
地、可靠地、安全地传递信息的科学。信息熵的提出解决了对信息量化的度量
问题。
通信系统模型主要有如下五大模块,其主要作用和实现目标如下表所示:
模块 介绍 主要作用和实现目标
信源 信源是产生消息和消息序列的
源,即信息的提供者。信源输
出的消息是随机的、不确定
的、但又有一定的规律性。
信源发出信息时,它一般以符号的形
式表现出来,这些符号称为消息。其
核心是它包含的信息到底有多少,要
作定量的描述,这就是信源发出的信
息量。
编码器 编码器的作用是把消息变换成 编码器可分为信源编码器和信道编码
信号,并将信源和信道进行匹
配。以提高信息传输的可靠
性。
器。信源编码器对信源输出的消息进
行适当的变换和处理,以提高信息传
输的效率和可靠性。
信道 信道是传输信号的通道。在通
信系统中,实际信道可以有线
也可以是无线的,并有多种传
输媒介。
信道的目标是以信号的形式传输和存
储信息。
译码器 译码器把信道传输的编码信号
进行反变换,将信息转换成信
宿能接受的信号。
分为信源译码器和信道译码器。把编
码状态的特定含义“翻译”出来的过程
叫做译码,译码器可以将输入二进制
代码的状态翻译成输出信号,以表示
其原来含义。
信宿 是消息传送的对象,即接收消
息的人或机器等。
其作用是接收情报信息,并选择对自
身有用的信息加以利用,直接或间接
地为某一目的服务。
上述模块构成通信系统的基本模型如图 1 所示:
简单通信系统模型如图 2 所示:
信源的核心问题的是对信息进行度量,常用的方法是统计度量。它用事件
统计发生概率的对数来描述事物的不确定性,得到消息的信息量,进而建立熵的
概念。熵概念是香农信息论最基本最重要的概念。不同形式的信源有不同的信
源熵。关于信源熵有如下概念与性质。
自信息:随机事件发生某结果后所带来的信息量称为自信息量。定义其为
发生概率对数的负值。
例:某地二月份天气的概率分布统计如下:
[
X
P ( X )
]
=
{
x
1
(晴) x
2
(阴 ) x
3
(雨 ) x
4
(雪 )
1 /2 1/ 4 1 /8 1 /8
}
则各自信息为:
联合自信息:两个消息 x
i
,
y
j
同时出现的联合自信息量:用联合概率 P(x
i
,
y
j
)来表示,联
合自信息量为
I( x
i
y
j
)=−log p( x
i
y
j
)
条件自信息:当 x
i
和 y
j
相互联系时,在事件 y
j
出现的条件下,x
i
的自信息量称为条件自
信息量,定义为:
)/(log)/(
jiji
yxpyxI
信源熵 H(X):信源熵是信源平均不确定性的度量,表示信源发出一个符
号平均能够带来多少信息量。
例:某地二月份天气的概率分布统计如下:
剩余17页未读,继续阅读
资源评论
猛男技术控
- 粉丝: 5w+
- 资源: 85
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功