第2章信源熵。
2.1 试问**制、八进制脉冲所含信息量是二进制脉冲的多少倍？
答：2倍，3倍。
2.2 一副充分洗乱了的牌(含52张牌)，试问。
1) 任一特定排列所给出的信息量是多少？
2) 若从中抽取13张牌，所给出的点数都不相同， 能得到多少信息量？解：(1)
2) 任取13张，各点数不同的概率为，信息量：9.4793(比特/符号)
2.3 居住某地区的女孩子有是大学生，在女大学生中有是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
答案：1.415比特/符号。提示：设事件a表示女大学生，事件c表示160cm以上的女孩，则问题就是求p(a|c)，2.4 设离散无忆信源，其发出的消息为，求。
1) 此消息的自信息量是多少？
2) 在此消息中平均每个符号携带的信息量是多少？
解：(1)信源符号的自信息量为i(ai)=-log2p(ai)，故0,1,2,3的自信息量分别为1.415、 2、 2、 3。
消息序列中0，1，2，3的数目分别为14，13，12，6，故此消息的自信息量为1.415*14+2*13+2*12+3*6=87.81比特，2)87.
81/45=1.951比特。
2.6 设信源，求这信源的熵，并解释为什么不满足信源熵的极值性。
提示：信源的概率之和大于1。
2.7 同时掷两个正常的骰子，也就是各面呈现的概率都为，求：
1) “3和5同时出现”这事件的自信息量；
2) “两个1同时出现”这事件的自信息量；
3) 两个点数的各种组合(无序对)的熵或平均信息量；
4) 两个点数之和(即构成的子集)的熵；
5) 两个点数中至少有一个是1的自信息量。
解：(1) 4.17(比特/符号)，提示：3和5同时出现的概率为=1/18
2) 5.17(比特/符号)，提示：两个1同时出现的概率1/36
3) “两个点数相同”的概率：1/36,共有6种情况；
两个点数不同”的概率：1/18,共有15种情况。故平均信息量为：
4.337比特/符号。
4) 3.274(比特/符号)。提示：信源模型。
5) 1.711(比特/符号)。提示：至少有一个1出现的概率为。
2.8 证明。
提示： 由教材式(2.1.26)和(2.1.28)可证。
证明：2.4 证明，并说明等式成立的条件。
提示：见教材第38页。
2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：
若把这些频度看作概率测度，求：
(1) 忙闲的无条件熵；
2) 天气状态和气温状态已知时忙闲的条件熵；
3) 从天气状态和气温状态获得的关于忙闲的信息。
解：设x、y、z分别表示、和，1) 先求忙闲的概率分布，无条件熵=0.9637(比特/符号)
2) h(xyz)=2.8357
h(yz)=1.9769
h(xyz)- h(yz)=0.8598(比特/符号)
3) i(x;yz)=h(x)-h(x/yz)=0.1039比特/符号。
2.11 有两个二元随机变量，它们的联合概率为。
并定义另一随机变量(一般乘积)。试计算：
和；解： (1) xy的概率分布为
比特/符号。
x的概率分布，比特/符号。
x的概率分布，h(y)=1比特/符号。
z=xy的概率分布，比特/符号。
xz的联合概率分布，h(xz)=1.4056比特/符号。
yz的联合概率分布，h(yz)=1.4056比特/符号。
的联合概率分布。
h(xyz)=1.8113比特/符号。
(2) h(x/y)=h(xy)-h(y)=1,8113-1=0.8113比特/符号；
h(y/x)=h(xy)-h(x)=1.8113-1=0.8113比特/符号。
h(x/z)=h(xz)-h(z)=1.4056-0.5436=0.862比特/符号；
h(z/x)=h(xz)-h(x)=1.4056-1=0.4056比特/符号；
h(y/z)=h(yz)-h(z)=1.4056-0.5436=0.862比特/符号；
h(z/y)=h(yz)-h(y)=1.4056-1=0.4056比特/符号；
h(x/yz)=h(xyz)-h(yz)=1.8113-1.4056=0.4057比特/符号；
h(y/xz)=h(xyz)-h(xz)= 1.8113-1.4056=0.4057比特/符号；
h(z/xy)= h(xyz)-h(xy)=1,8113-1.8113=0比特/符号；
(3) i(x;y)=h(x)-h(x/y)=1-0.8113=0.1887比特/符号；
or i(x;y)=h(x)+h(y)-h(xy)=1+1-1.8113=0.1887比特/符号；
i(x;z)= h(x)-h(x/z)=1-0.862=0.138比特/符号；
or i(x;z)=h(x)+h(z)-h(xz)=1+0.5436-1.4056=0.138比特/符号；
i(y;z)= h(y)-h(y/z)= 0.138比特/符号；
or i(y;z)=h(y)+h(z)-h(yz)= 1+0.5436-1.4056=0.138比特/符号；
i(x;y/z)=h(x/z)-h(x/yz)=0.4563比特/符号；
i(y;z/x)=h(y/x)-h(y/xz)=0.4056比特/符号；
i(x;z/y)=h(z/y)-h(z/xy)=0.4056比特/符号；
2.13 设有一个信源，它产生序列的信息。它在任意时间而且不论以前发生过什么符号，均按的概率发出符号。
1) 试问这个信源是否是平稳的？
2) 试计算；
3) 试计算并写出信源中可能有的所有符号。
解：(1) 是平稳信源。
2) 信源熵h(x)=-0.4log20.4-0.
6log20.6=0.971比特/信源符号，比特/信源符号，由题设知道这个信源是无记忆信源，因此条件熵和极限熵都等于信源熵。
3)比特/信源符号，信源中可能的符号共16个。
2.14 设是平稳离散有记忆信源，试证明： 。
提示：见教材第44页。
证明：因为，故。
2.16 一阶马尔可夫信源的状态图如题2.16图所示。信源的符号集为。
1) 求平稳后信源的概率分布；
2) 求信源的熵。
题2.16图。
解：(1)由图得一阶马尔可夫信源的状态为s1=0，s2=1，s3=2。
对应的一步转移概率矩阵为，由各态历经定理，有，即。
解方程组得状态极限概率满足，又由得。
2.17 黑白气象传真图的消息只有黑色和白色两种，即信源。设黑色出现的概率为p(黑)=0.3，白色的出现概率p(白)=0.7。
1) 假设图上黑白消息出现前后没有关联，求熵；
2) 假设消息前后有关联，其依赖关系为p(白/白)=0.9，p(黑/白)=0.1，p(白/黑)=0.2，p(黑/黑)=0.8，求此一阶马尔可夫信源的熵；
3) 分别求上述两种信源的剩余度，比较的大小，并说明其物理意义。
解：(1)比特/信源符号；
2) 由各态历经定理，有，即。
p(白)= p(白)p(白/白)+ p(黑) p(白/黑)=0.9 p(白)+0.2 p(黑)
p(黑)= p(白)p(黑/白)+ p(黑) p(黑/黑)= 0.1 p(白)+0.8 p(黑)
解方程组得：p(白)=2 p(黑)，又由于p(白)+p(黑)=1，所以 p(白)=2/3， p(黑)=1/3
0.5533比特/符号；
3) h0(x)=log22=1，无关联信源剩余度为1-0.8813/1=11.87%，一阶马尔可夫信源剩余度为1-0.5533/1=44.67%
这说明马尔可夫信源比无相关信源的冗余度大，编码时可以获得更高的压缩比。
第3章信道容量。
3.1 设信源通过一干扰信道，接收符号为，信道传递矩阵为，求。
1) 信源x中事件分别含有的自信息量。
2) 收到消息后，获得的关于的信息量。
3) 信源x和信宿y的信息熵。
4) 信道疑义度和噪声熵。
5) 接收到信息y后获得的平均互信息量。
解：(1) (比特/符号)，比特/符号，2)， 比特/符号),(比特/符号),(比特/符号),
比特/符号)
3) 0.971(比特/符号)，0.971(比特/符号)，4) (比特/符号)，5) i(x;y)=h(y)-h(y/x)=0.2564比特/符号。
3.6 有一个二元对称信道，其信道矩阵为。设该信源以1500的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？
解：信道容量c=1+0.98log20.
98+0.02log20.02=0.
8586比特/信道符号，则每秒钟可传送的信息量为1500×0.8586=1287.9比特，10秒钟最大可传送的信息量为12879比特，而待传送的信息量为14000比特，因此，10秒钟内不能无失真的传送完毕。
3.7 求下列各离散信道的容量。
3) 按一般离散信道容量的计算步骤进行。
4）信道为准对称离散信道，当输入端取等概率，即p(a1)=p(a2)=1/2时，达到信道容量，此时信宿端的概率为。
则。h(y)=h(1/4,1/3,1/6,1/4)=1.9591，故信道容量为。
c= h(y)-h(y/x)=h(y)-h(1/3,1/3,1/6,1/6) =1.9591-1.9183= 0.0408。
3.8 已知一个高斯信道，输入信噪比(比率)为3。频带为3khz，求最大可能传送的信息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？
信息论作业
b.2 唯一可译码判决准则。1.实验目的。1 进一步熟悉唯一可译码判决准则 2 掌握c语言字符串处理程序的设计和调试技术。2.实验要求。1 已知 信源符号个数，码字集合c。2 输入 任意的一个码。码字个数和每个具体的码字在运行时从键盘输入。3 输出 判决 是唯一可译码 不是唯一可译码 4 源程序格式...
信息论编码作业
信息论编码。一 信息论的认识。1.消息是信息的载荷者。信息是抽象的，消息是具体的。要研究信息，还得从研究消息入手。2.由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源。3.单符号信源 输出是单个符号 的消息。离散信源。连续信源。4.平稳随机序列信源 信源输出的消息由一系列符号序列所组成，...
信息论大作业
电子工程学院。班。号。编码。1 huffman 编码原理 将信源符号按概率从大到小的顺序排列，令p x1 p x2 p xn 给两个概率最小的信源符号p xn 1 和p xn 各分配一个码位 0 和 1 将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含 ...