信息论:Shannon-McMillan-Breiman定理

日期: 2013-01-04 分类: 信息科学标签: publish
=== === === ===

强渐近等分性

设 $X_1,X_2,\dots$ 为独立同分布随机过程,其分布为p(x),则
$-\frac1 n \log P_r (X_1,\dots,X_n)$
依赖率收到单个随机变量的公共熵 H(X_1)=H(P)

设 $X_1,X_2,\dots$ 为取值于有限字母集 $\mathcal{X}$
的平稳马氏链,则
$\lim_{n \to \infty} -\frac1 n \log P_r (X_1,\dots,X_n) =H(X_2|X_1)$
依概率1成立.

设 $X_1,X_2,\dots$ 为取值于有限字母集 $\mathcal{X}$
的平稳遍历过程,其熵率为 $H_{\infty}(X)$ ,则有
$\lim_{n \to \infty} -\frac1 n \log P_r (X_1,\dots,X_n)= H_{\infty}(X)$
依概率1成立.
随机过程的信息度量

信源编码定理
设 $X_1,X_2,\dots$ 为平稳遍历信源,其熵率为 $H_{\infty}$ ,
对任意的 $\varepsilon > 0$ ,当n充分大时,存在码字集
$C_n = \{1,2,\dots,M \}$ 和一对编译码函数(f,g),其中
$f:\mathcal{X}^n \to C^n, g: C^n \to \mathcal{X}^n$
使得
$P_r \{X^n \not= g(f(X^n)) \} < \varepsilon$
且
$\frac1 n \log M < H_{\infty}+\varepsilon$ .