离散无记忆序列信源的序列熵是信息理论中的一个重要概念，它用于度量一个离散信源在输出一系列符号时的信息不确定性。无记忆意味着信源的下一个输出符号不依赖于之前任何输出过的符号，仅依赖于自身的概率分布。这种特性使得我们可以单独考虑每个符号的熵，而不必考虑它们之间的相互依赖。
对于一个离散无记忆序列信源，其序列熵可以被定义为信源输出的所有可能符号序列的联合熵。如果信源是无记忆的，那么序列熵可以分解为各个符号的熵之和。公式表示为：
\[ H(X_1X_2\ldots X_n) = H(X_1) + H(X_2|X_1) + \ldots + H(X_n|X_1X_2\ldots X_{n-1}) \]
这里的 \( H(X_i) \) 表示第 \( i \) 个符号的熵，而 \( H(X_i|X_1X_2\ldots X_{i-1}) \) 表示在已知前面 \( i-1 \) 个符号的情况下第 \( i \) 个符号的条件熵。由于信源无记忆，所以 \( H(X_i|X_1X_2\ldots X_{i-1}) \) 实际上等于 \( H(X_i) \)，因此序列熵可以简化为：
\[ H(X_1X_2\ldots X_n) = nH(X) \]
其中 \( H(X) \) 是单个符号的熵。
扩展信源是将一个离散信源的输出进行组合，形成更长的符号序列，例如二次扩展或三次扩展。二次扩展将每个原始符号扩展成两个符号，三次扩展则扩展为三个。无记忆二进制信源的 \( L \) 次扩展信源的熵性质表明，扩展后的信源熵 \( H(X_L) \) 等于 \( L \) 倍的原始信源熵 \( H(X) \)，即 \( H(X_L) = LH(X) \)。
对于有记忆的离散序列信源，尤其是平稳序列和齐次遍历马尔可夫链信源，描述它们的序列熵需要考虑符号间的相关性。在这种情况下，信源的联合熵不再可以简单地分解为各个符号的熵之和。我们需用到信源发送符号序列的联合概率或状态转移概率（马尔可夫链的性质）来描述信源的序列熵。例如，二维有记忆信源 \( X_1X_2 \) 的序列熵不仅包含每个符号的独立熵，还包含了它们之间的条件熵。
总结来说，离散无记忆序列信源的序列熵可以通过单个符号熵的累加来计算，而对于有记忆序列信源，我们需要考虑符号间的依赖关系，这通常涉及联合概率和条件熵的计算。马尔可夫链提供了描述这类信源的有力工具，通过状态转移概率来刻画符号之间的关联性。
