【实验一：信息熵与图像熵计算】
信息熵是信息理论中的一个重要概念，它衡量了信息的不确定性。在本实验中，我们将使用MATLAB来计算信息熵和图像熵。MATLAB是一种强大的数值计算和可视化软件，非常适合进行此类计算。
1. **信息熵的基本定义**：
信息熵H是描述随机变量不确定性的度量，对于一个离散随机变量X，其熵定义为：
\( H(X) = -\sum_{i} p(x_i) \log_2(p(x_i)) \)
其中，\( p(x_i) \) 是随机变量X取第i个值的概率，log是以2为底的对数，保证熵的单位是比特。
2. **图像熵**：
图像熵是对图像信息内容复杂度的度量，反映了图像像素分布的均匀性。如果图像中各像素值分布均匀，则熵较大，表示图像信息丰富；反之，如果图像大部分区域颜色单一，熵较小，表示图像信息简单。
3. **实验内容**：
- 使用MATLAB编写源代码，计算给定信源的信息熵。
- 根据图像熵的定义，设计MATLAB程序，读取图像文件，计算图像的熵。
4. **实验流程**：
- 熟悉MATLAB的基本操作和函数，包括数据类型、矩阵运算以及图像的输入输出。
- 分析图像，获取像素的频率分布，这通常通过直方图实现。
- 计算每个像素值的概率，并应用信息熵的公式计算图像熵。
5. **MATLAB编程技巧**：
- 强调模块化编程，将功能划分为独立的函数，提高代码复用性和可读性。
- 理解图像熵与联合熵的关系，联合熵考虑了像素之间的相互依赖。
6. **实验数据与结果分析**：
实验完成后，要对计算得到的信息熵和图像熵进行分析，理解它们与图像内容的关系，以及它们在实际应用中的意义。
7. **思考题**：
应思考信息熵和图像熵在现实中的应用，例如在图像压缩、数据传输效率优化等领域的作用。
【实验二：香农编码】
香农编码是一种基于概率的无损数据编码方法，旨在减少码字的平均长度，同时保证码字的唯一性。
1. **香农编码原理**：
它基于信源符号出现概率的大小来分配码字，概率高的符号分配较短的码字，概率低的符号分配较长的码字。
2. **编码步骤**：
- 对信源符号按概率大小排序。
- 确定码字长度满足不等式 \( \log_2(p(X_i)) \leq K_i < \log_2(p(X_{i+1})) \)，其中 \( K_i \) 是第i个符号的码字长度。
- 计算累计概率，并转化为二进制码字。
3. **实验步骤**：
- 在MATLAB中实现香农编码，需对符号概率进行排序，并生成对应的码字。
- 注意，为了保证编码唯一性，可能需要使用`ceil`函数来取码字长度的上界。
4. **思考题**：
可以探讨香农编码在实际中的应用，例如数据压缩和通信中的作用，以及其如何提高效率。
通过这两个实验，学生不仅能加深对信息熵和香农编码的理解，还能提升MATLAB编程技能，为后续的计算机科学和互联网领域学习打下坚实基础。
