《信息论基础》第2章 离散信息的度量 |2.4~2.6 学习笔记

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后，紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}

1. 引言

本章围绕离散信源的熵、联合熵、条件熵与互信息展开，是信息论的核心度量体系。2.4~2.6 节在 2.1~2.3 节定义熵的基础上，进一步引入联合熵、条件熵、互信息及其链式法则，并讨论熵函数的性质与典型序列。本节笔记以概念梳理 + 公式推导 + 例题解析的方式呈现，帮助读者建立从"单个符号的熵"到"多个符号联合度量"的完整认知。

2. 2.4 联合熵与条件熵

2.4.1 联合熵的定义

设离散随机变量 $X$ 与 $Y$ 的联合概率分布为 $p(x,y)$，则联合熵定义为：

$$H(X,Y)=-\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}p(x,y)\log p(x,y)$$

联合熵度量的是同时观测 $X$ 与 $Y$ 时所需的平均信息量。当 $X$ 与 $Y$ 独立时，$H(X,Y)=H(X)+H(Y)$；否则联合熵小于二者之和。

2.4.2 条件熵的定义

已知 $Y$ 的条件下，$X$ 的条件熵定义为：

$$H(X|Y)=\sum _{y\in \mathcal{Y}}p(y)H(X|Y=y)=-\sum _{x,y}p(x,y)\log p(x|y)$$

条件熵度量的是在已知 $Y$ 之后，$X$ 仍剩余的不确定性。直观理解：观测到 $Y$ 会消除一部分关于 $X$ 的不确定性，剩余部分即为 $H(X|Y)$。

2.4.3 链式法则

联合熵与条件熵之间满足链式法则：

$$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$$

推广到 $n$ 个变量：

$$H(X_1,X_2,\dots ,X_n)=\sum _{i=1}^{n}H(X_i|X_{i-1},\dots ,X_1)$$

例题：设 $X$ 与 $Y$ 的联合分布为 $p(0,0)=1/2$，$p(0,1)=1/4$，$p(1,0)=0$，$p(1,1)=1/4$。求 $H(X)$、$H(Y)$、$H(X|Y)$ 与 $H(X,Y)$。

解：先求边缘分布：

$$p_X(0)=1/2+1/4=3/4,p_X(1)=1/4$$

$$p_Y(0)=1/2+0=1/2,p_Y(1)=1/4+1/4=1/2$$

于是：

$$H(X)=-\frac{3}{4}\log \frac{3}{4}-\frac{1}{4}\log \frac{1}{4}\approx 0.811\text{ bit}$$

$$H(Y)=-\frac{1}{2}\log \frac{1}{2}-\frac{1}{2}\log \frac{1}{2}=1\text{ bit}$$

联合熵：

$$H(X,Y)=-\frac{1}{2}\log \frac{1}{2}-\frac{1}{4}\log \frac{1}{4}-\frac{1}{4}\log \frac{1}{4}=1.5\text{ bit}$$

由链式法则：

$$H(X|Y)=H(X,Y)-H(Y)=1.5-1=0.5\text{ bit}$$

3. 2.5 互信息

3.1 互信息的定义

互信息度量的是观测 $Y$ 之后，关于 $X$ 的不确定性减少量：

$$I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$$

等价地，用联合分布与边缘分布的 KL 散度表示：

$$I(X;Y)=\sum _{x,y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}$$

3.2 互信息的性质

• 对称性：$I(X;Y)=I(Y;X)$
• 非负性：$I(X;Y)\ge 0$，当且仅当 $X$ 与 $Y$ 独立时取等号
• 有界性：$I(X;Y)\le \min \{H(X),H(Y)\}$

3.3 互信息与熵的关系图

#mermaid-svg-0IuL681b9o0AVJUO{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-0IuL681b9o0AVJUO .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-0IuL681b9o0AVJUO .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-0IuL681b9o0AVJUO .error-icon{fill:#552222;}#mermaid-svg-0IuL681b9o0AVJUO .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-0IuL681b9o0AVJUO .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-0IuL681b9o0AVJUO .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-0IuL681b9o0AVJUO .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-0IuL681b9o0AVJUO .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-0IuL681b9o0AVJUO .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-0IuL681b9o0AVJUO .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-0IuL681b9o0AVJUO .marker{fill:#333333;stroke:#333333;}#mermaid-svg-0IuL681b9o0AVJUO .marker.cross{stroke:#333333;}#mermaid-svg-0IuL681b9o0AVJUO svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-0IuL681b9o0AVJUO p{margin:0;}#mermaid-svg-0IuL681b9o0AVJUO .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-0IuL681b9o0AVJUO .cluster-label text{fill:#333;}#mermaid-svg-0IuL681b9o0AVJUO .cluster-label span{color:#333;}#mermaid-svg-0IuL681b9o0AVJUO .cluster-label span p{background-color:transparent;}#mermaid-svg-0IuL681b9o0AVJUO .label text,#mermaid-svg-0IuL681b9o0AVJUO span{fill:#333;color:#333;}#mermaid-svg-0IuL681b9o0AVJUO .node rect,#mermaid-svg-0IuL681b9o0AVJUO .node circle,#mermaid-svg-0IuL681b9o0AVJUO .node ellipse,#mermaid-svg-0IuL681b9o0AVJUO .node polygon,#mermaid-svg-0IuL681b9o0AVJUO .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-0IuL681b9o0AVJUO .rough-node .label text,#mermaid-svg-0IuL681b9o0AVJUO .node .label text,#mermaid-svg-0IuL681b9o0AVJUO .image-shape .label,#mermaid-svg-0IuL681b9o0AVJUO .icon-shape .label{text-anchor:middle;}#mermaid-svg-0IuL681b9o0AVJUO .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-0IuL681b9o0AVJUO .rough-node .label,#mermaid-svg-0IuL681b9o0AVJUO .node .label,#mermaid-svg-0IuL681b9o0AVJUO .image-shape .label,#mermaid-svg-0IuL681b9o0AVJUO .icon-shape .label{text-align:center;}#mermaid-svg-0IuL681b9o0AVJUO .node.clickable{cursor:pointer;}#mermaid-svg-0IuL681b9o0AVJUO .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-0IuL681b9o0AVJUO .arrowheadPath{fill:#333333;}#mermaid-svg-0IuL681b9o0AVJUO .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-0IuL681b9o0AVJUO .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-0IuL681b9o0AVJUO .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-0IuL681b9o0AVJUO .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-0IuL681b9o0AVJUO .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-0IuL681b9o0AVJUO .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-0IuL681b9o0AVJUO .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-0IuL681b9o0AVJUO .cluster text{fill:#333;}#mermaid-svg-0IuL681b9o0AVJUO .cluster span{color:#333;}#mermaid-svg-0IuL681b9o0AVJUO div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-0IuL681b9o0AVJUO .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-0IuL681b9o0AVJUO rect.text{fill:none;stroke-width:0;}#mermaid-svg-0IuL681b9o0AVJUO .icon-shape,#mermaid-svg-0IuL681b9o0AVJUO .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-0IuL681b9o0AVJUO .icon-shape p,#mermaid-svg-0IuL681b9o0AVJUO .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-0IuL681b9o0AVJUO .icon-shape .label rect,#mermaid-svg-0IuL681b9o0AVJUO .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-0IuL681b9o0AVJUO .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-0IuL681b9o0AVJUO .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-0IuL681b9o0AVJUO :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

H(X)

H(X|Y)

I(X;Y)

H(Y)

H(Y|X)

H(X,Y)

图中 $H(X,Y)$ 为全集，$I(X;Y)$ 是 $H(X)$ 与 $H(Y)$ 的交叠部分，$H(X|Y)$ 与 $H(Y|X)$ 分别是各自独有的部分。

3.4 条件互信息与链式法则

条件互信息定义为：

$$I(X;Y|Z)=H(X|Z)-H(X|Y,Z)$$

互信息同样满足链式法则：

$$I(X_1,X_2,\dots ,X_n;Y)=\sum _{i=1}^{n}I(X_i;Y|X_{i-1},\dots ,X_1)$$

例题：接上例，求 $I(X;Y)$。

解：

$$I(X;Y)=H(X)-H(X|Y)=0.811-0.5=0.311\text{ bit}$$

4. 2.6 熵函数的性质

4.1 熵的非负性与上界

• 非负性：$H(X)\ge 0$，等号当且仅当 $X$ 为确定事件（某个符号概率为 1）。
• 上界：$H(X)\le \log |\mathcal{X}|$，等号当且仅当 $X$ 服从均匀分布。

4.2 熵的凹性

熵函数 $H(p)$ 是关于概率分布 $p$ 的凹函数。这意味着对任意两个分布 $p_1$、$p_2$ 及 $0\le \lambda \le 1$：

$$H(\lambda p_1+(1-\lambda )p_2)\ge \lambda H(p_1)+(1-\lambda )H(p_2)$$

凹性说明：混合两个分布不会增加平均不确定性，均匀化反而可能提升熵。

4.3 条件熵的递减性

条件熵满足"信息不会使不确定性增加"：

$$H(X|Y)\le H(X)$$

即已知额外信息不会增加不确定性。推广到多个条件变量：

$$H(X|Y_1,Y_2,\dots ,Y_n)\le H(X|Y_1,\dots ,Y_{n-1})$$

4.4 典型序列与渐近均分性（AEP）

对独立同分布序列 $X_1,X_2,\dots ,X_n$，渐近均分性指出：当 $n$ 充分大时，序列几乎必然落在"典型集"中，且典型集中每个序列的概率近似相等，约为 $2^{-nH(X)}$。

典型集 $A_{ϵ}^{(n)}$ 满足：

$$P\left(X^n\in A_{ϵ}^{(n)}\right)>1-ϵ$$

且典型集的大小约为 $2^{nH(X)}$。这一性质是后续信源编码定理的理论基础。

5. 小结与常见易错点

• 联合熵与熵之和：$H(X,Y)=H(X)+H(Y)$ 仅在 $X$ 与 $Y$ 独立时成立，切勿默认成立。
• 条件熵与熵的差：$H(X|Y)=H(X)-I(X;Y)$，互信息非负保证了 $H(X|Y)\le H(X)$。
• 链式法则的次序：$H(X,Y)=H(X)+H(Y|X)$，注意条件部分与展开次序对应。
• 对数的底：熵的单位取决于对数底，以 2 为底单位为 bit，以 e 为底单位为 nat，以 10 为底单位为 hart。

6. 练习题