2.1一个马尔可夫信源有3个符号，转移概率为画出状态图并求出各符号稳态概率。
解：状态图如下。
状态转移矩阵为：
设状态u1，u2，u3稳定后的概率分别为w1，w2、w3
由得计算可得。
2.2 由符号集组成的二阶马尔可夫链，其转移概率为： =0.
8， =0.2， =0.2， =0.
8， =0.5， =0.5， =0.
5， =0.5。画出状态图，并计算各状态的稳态概率。
解： 于是可以列出转移概率矩阵：
状态图为：设各状态00，01，10，11的稳态分布概率为w1,w2,w3,w4 有。
得计算得到。
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
1) “3和5同时出现”这事件的自信息；
2) “两个1同时出现”这事件的自信息；
3) 两个点数的各种组合（无序）对的熵和平均信息量；
4) 两个点数之和（即2, 3, …12构成的子集）的熵；
5) 两个点数中至少有一个是1的自信息量。解：
两个点数的排列如下：
共有21种组合：
其中11，22，33，44，55，66的概率是。
其他15个组合的概率是。
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：设随机变量x代表女孩子学历。
设随机变量y代表女孩子身高。
已知：在女大学生中有75%是身高160厘米以上的。
即： 求：身高160厘米以上的某女孩是大学生的信息量。
即： 2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？
解：1）因圆点之和为3的概率。
该消息自信息量。
2）因圆点之和为7的概率。
该消息自信息量。
2.7 设有一离散无记忆信源，其概率空间为。
（1）求每个符号的自信息量。
（2）信源发出一消息符号序列为，求该序列的自信息量和平均每个符号携带的信息量。
解： 同理可以求得。
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和。
就有： 平均每个符号携带的信息量为bit/符号。
2.8 试问**制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：**制脉冲可以表示4个不同的消息，例如：
八进制脉冲可以表示8个不同的消息，例如：
二进制脉冲可以表示2个不同的消息，例如：
假设每个消息的发出都是等概率的，则：
**制脉冲的平均信息量。
八进制脉冲的平均信息量。
二进制脉冲的平均信息量。
所以：**制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2-9 “－用三个脉冲 “”用一个脉冲。
(1) i()＝i()=
2) h=
(2) p(黑/黑)= p(白/黑)=
(3) p(黑/白)= p(白/白)=
h(y/白)=
h(y)=
2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。
1）如果仅对颜色感兴趣，则计算平均不确定度。
2）如果仅对颜色和数字感兴趣，则计算平均不确定度。
3）如果颜色已知时，则计算条件熵。
解：令x表示指针指向某一数字，则x=
y表示指针指向某一种颜色，则y=
y是x的函数，由题意可知。
1）bit/符号。
2）bit/符号。
3）bit/符号。
2.12 两个实验x和y，x=,y=,l联合概率为。
1） 如果有人告诉你x和y的实验结果，你得到的平均信息量是多少？
2） 如果有人告诉你y的实验结果，你得到的平均信息量是多少？
3） 在已知y实验结果的情况下，告诉你x的实验结果，你得到的平均信息量是多少？
解：联合概率为。
=2.3bit/符号。
x概率分布。
bit/符号。
y概率分布是0.72bit/符号。
2.13 有两个二元随机变量x和y，它们的联合概率为。
并定义另一随机变量z = xy（一般乘积），试计算：
1) h(x), h(y), h(z), h(xz), h(yz)和h(xyz)；
2) h(x/y), h(y/x), h(x/z), h(z/x), h(y/z), h(z/y), h(x/yz), h(y/xz)和h(z/xy)；
3) i(x;y), i(x;z), i(y;z), i(x;y/z), i(y;z/x)和i(x;z/y)。解：
z = xy的概率分布如下：
p(ij)= p(i/j)=
2) 方法1: =方法2:
p(j/i)=
2.16 黑白传真机的消息元只有黑色和白色两种，即x=，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。
1）假设黑白消息视为前后无关，求信源熵h(x)，并画出该信源的香农线图。
2）实际上各个元素之间是有关联的，其转移概率为：p(白|白)＝0.9143，p(黑|白)＝0.
0857，p(白|黑)＝0.2，p(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。
3）比较两种信源熵的大小，并说明原因。
解：（1）bit/符号。
p(黑|白)=p(黑)
p(白|白)＝p(白)
p(黑|黑)＝p(黑)
p(白|黑)＝p(白)
2）根据题意，此一阶马尔可夫链是平稳的（p(白)＝0.7不随时间变化，p(黑)＝0.3不随时。
间变化）0.512bit/符号。
2.17 每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？
若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：
2.20 给定语音信号样值x的概率密度为， ,求hc(x)，并证明它小于同样方差的正态变量的连续熵。
解：2.24 连续随机变量x和y的联合概率密度为：，求h(x), h(y), h(xyz)和i(x;y)。
提示：）解：
2.25 某一无记忆信源的符号集为，已知p(0) =1/4，p(1) =3/4。
1) 求符号的平均熵；
2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式；
3) 计算(2)中序列的熵。解：
p(i)= p(ij)=
h(ij)=
2.29 有一个一阶平稳马尔可夫链，各xr取值于集合，已知起始概率p(xr)为，转移概率如下图所示。
1) 求的联合熵和平均符号熵。
2) 求这个链的极限平均符号熵。
3) 求和它们说对应的冗余度。
解：（1）符号。
x1，x2的联合概率分布为。
x2的概率分布为。
那么。1.209bit/符号。
x2x3的联合概率分布为。
那么。1.26bit/符号。
符号。所以平均符号熵／符号。
2）设a1,a2,a3稳定后的概率分布分别为w1,w2,w3,转移概率距阵为。
由得到计算得到。
又满足不可约性和非周期性。
符号。3) /符号 /符号 /符号。
1) 求平稳概率 p(j/i)=
解方程组。得到
信源熵为：
p(j/i)= 解方程组得到w1= ,w2= ,w3=
2.32 一阶马尔可夫信源的状态图如图2－13所示，信源x的符号集为（0，1，2）。
1）求信源平稳后的概率分布p(0),p(1),p(2)
第二章习题答案
第二章习题。1 a企业受到票据。借 应收票据 468000 贷 主营业务收入 400000 应交税费 应交增值税 销项税额 68000 票据到期收回票款。借 银行存款 468000 贷 应收票据 468000 年计提利息。借 应收利息 6240 贷 财务费用 6240 票据到期收回票款。借 银行存款...
第二章习题答案
第二章。1.在立方点阵中画出下面的点阵面和结点方向。2.将下面几个干涉面 属立方晶系 按面间距的大小排列。解 立方晶系的面间距公式为，所以带入数据得到按面间距大小排列为 100 110 00 10 11 21 030 130 123 3.在六方晶系中h k i。证明1 如图，任意截面交和于c,d 过...
第二章习题答案
1 直接寻址方式中，一般只指出操作数的偏移地址，那么，段地址如何确定？如果想要用。某个段寄存器给出段地址，指令中如何表示？举例说明。答 在直接寻址方式中，操作数默认的段地址是数据段，在段寄存器ds中。例如 mov cl，3120h 操作数地址为数据段内偏移地址为3120h的单元。如果想要用其它段寄存...