(word完整版)信息熵的matlab程序实例.doc

信息熵的 MATLAB 程序实例 信息熵是信息论中的一个基本概念，衡量的是一个随机变量的不确定性或随机性。在 MATLAB 中，信息熵可以通过编写相应的程序来计算。本文将介绍如何使用 MATLAB 计算一维序列的信息熵，并提供了一个完整的 MATLAB 程序实例。 一、信息熵的概念 信息熵是信息论中衡量随机变量不确定性的一个度量。对于一个离散随机变量 X，其信息熵定义为： H(X) = - ∑ P(x) log2 P(x) 其中，P(x) 是 X 的概率密度函数。 二、计算一维序列的信息熵 对于一维序列，计算信息熵可以按照以下步骤进行： 1. 对序列进行归一化处理，使其值域在 [0, 1] 之间。 2. 将序列分割成多个块，每个块的宽度相同。 3. 统计每个块中的数据个数，并计算相应的概率。 4. 使用信息熵公式计算信息熵。 三、MATLAB 程序实例 以下是一个完整的 MATLAB 程序实例，用于计算一维序列的信息熵： ```matlab function Hx = yyshang(y, duan) % 不以原信号为参考的时间域的信号熵 % 输入：maxf：原信号的能量谱中能量最大的点 % y：待求信息熵的序列 % duan：待求信息熵的序列要被分块的块数 % Hx：y 的信息熵 duan = 10; % 将序列按 duan 数等分 x_min = min(y); x_max = max(y); maxf(1) = abs(x_max - x_min); maxf(2) = x_min; duan_t = 1.0 / duan; jiange = maxf(1) * duan_t; pnum = zeros(1, duan); for i = 1:10 pnum(i) = length(find((y >= (i-1)*jiange) & (y < i*jiange))); end pnum(1) = length(find(y < maxf(2) + jiange)); for i = 2:duan-1 pnum(i) = length(find((y >= maxf(2) + (i-1)*jiange) & (y < maxf(2) + i*jiange))); end pnum(duan) = length(find(y >= maxf(2) + (duan-1)*jiange)); sum_pnum = sum(pnum); ppnum = pnum / sum_pnum; Hx = 0; for i = 1:duan if ppnum(i) == 0 Hi = 0; else Hi = -ppnum(i) * log2(ppnum(i)); end Hx = Hx + Hi; end end ``` 四、实验报告要求 本实验的目的是熟悉离散信源的特点、学习仿真离散信源的方法、学习离散信源平均信息量的计算方法和熟悉 MATLAB 编程。实验报告需要简要总结离散信源的特点及离散信源平均信息量的计算，并写出习题的 MATLAB 实现语句。 五、习题 1. 甲地天气预报构成的信源空间为：乙地信源空间为：求此两个信源的熵。求各种天气的自信息量。 答案： p1 = [1/2, 1/4, 1/8, 1/8]; % p1 代表甲信源对应的概率 p2 = [7/8, 1/8]; % p2 代表乙信源对应的概率 H1 = 0; H2 = 0; I = []; J = []; for i = 1:4 H1 = H1 + p1(i) * log2(1/p1(i)); I(i) = log2(1/p1(i)); end disp('自信息量分别为：'); disp(I); disp('H1 信源熵为：'); H1