第二章信源熵 习题答案

发布 2022-07-15 13:50:28 阅读 9008

2.1 试问**制、八进制脉冲所含信息量是二进制脉冲的多少倍?

**制脉冲可以表示4个不同的消息,例如:

八进制脉冲可以表示8个不同的消息,例如:

二进制脉冲可以表示2个不同的消息,例如:

假设每个消息的发出都是等概率的,则:

**制脉冲的平均信息量。

八进制脉冲的平均信息量。

二进制脉冲的平均信息量。

所以:**制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?

设随机变量x代表女孩子学历。

设随机变量y代表女孩子身高。

已知:在女大学生中有75%是身高160厘米以上的。

即: 求:身高160厘米以上的某女孩是大学生的信息量。

即: 2.3 一副充分洗乱了的牌(含52张牌),试问。

1) 任一特定排列所给出的信息量是多少?

2) 若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?

1) 52张牌共有52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:

2) 52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:

2.4 设离散无记忆信源,其发出的信息为(202120130213001203210110321010021032011223210),求。

1) 此消息的自信息量是多少?

2) 此消息中平均每符号携带的信息量是多少?

1) 此消息总共有14个个个个3,因此此消息发出的概率是:

此消息的信息量是:

2) 此消息中平均每符号携带的信息量是:

2.5 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:

“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少?

男士:女士:

2.6 设信源,求这个信源的熵,并解释为什么h(x) >log6不满足信源熵的极值性。

不满足极值性的原因是。

2.7 证明:h(x3/x1x2) ≤h(x3/x1),并说明当x1, x2, x3是马氏链时等式成立。

2.8证明:h(x1x2 。。xn) ≤h(x1) +h(x2) +h(xn)。

2.9 设有一个信源,它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号,均按p(0) =0.4,p(1) =0.6的概率发出符号。

1) 试问这个信源是否是平稳的?

2) 试计算h(x2), h(x3/x1x2)及h∞;

3) 试计算h(x4)并写出x4信源中可能有的所有符号。

这个信源是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号……”

2.10 一阶马尔可夫信源的状态图如下图所示。信源x的符号集为。

1) 求平稳后信源的概率分布;

2) 求信源的熵h∞。

2.11黑白气象传真图的消息只有黑色和白色两种,即信源x=。设黑色出现的概率为p(黑) =0.3,白色出现的概率为p(白) =0.7。

1) 假设图上黑白消息出现前后没有关联,求熵h(x);

2) 假设消息前后有关联,其依赖关系为p(白/白) =0.9,p(黑/白) =0.1,p(白/黑) =0.2,p(黑/黑) =0.8,求此一阶马尔可夫信源的熵h2(x);

3) 分别求上述两种信源的剩余度,比较h(x)和h2(x)的大小,并说明其物理含义。

h(x) >h2(x)

表示的物理含义是:无记忆信源的不确定度大与有记忆信源的不确定度,有记忆信源的结构化信息较多,能够进行较大程度的压缩。

2.12 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求:

1) “3和5同时出现”这事件的自信息;

2) “两个1同时出现”这事件的自信息;

3) 两个点数的各种组合(无序)对的熵和平均信息量;

4) 两个点数之和(即2, 3, …12构成的子集)的熵;

5) 两个点数中至少有一个是1的自信息量。

两个点数的排列如下:

共有21种组合:

其中11,22,33,44,55,66的概率是。

其他15个组合的概率是。

参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:

2.13 某一无记忆信源的符号集为,已知p(0) =1/4,p(1) =3/4。

1) 求符号的平均熵;

2) 有100个符号构成的序列,求某一特定序列(例如有m个“0”和(100 - m)个“1”)的自信息量的表达式;

3) 计算(2)中序列的熵。

2.14 对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,调查结果得联合出现的相对频度如下:

若把这些频度看作概率测度,求:

1) 忙闲的无条件熵;

2) 天气状态和气温状态已知时忙闲的条件熵;

3) 从天气状态和气温状态获得的关于忙闲的信息。

根据忙闲的频率,得到忙闲的概率分布如下:

设忙闲为随机变量x,天气状态为随机变量y,气温状态为随机变量z

2.15 有两个二元随机变量x和y,它们的联合概率为。

并定义另一随机变量z = xy(一般乘积),试计算:

1) h(x), h(y), h(z), h(xz), h(yz)和h(xyz);

2) h(x/y), h(y/x), h(x/z), h(z/x), h(y/z), h(z/y), h(x/yz), h(y/xz)和h(z/xy);

3) i(x;y), i(x;z), i(y;z), i(x;y/z), i(y;z/x)和i(x;z/y)。

z = xy的概率分布如下:

2.16 有两个随机变量x和y,其和为z = x + y(一般加法),若x和y相互独立,求证:h(x) ≤h(z), h(y) ≤h(z)。

证明:同理可得。

2.17 给定声音样值x的概率密度为拉普拉斯分布,求hc(x),并证明它小于同样方差的正态变量的连续熵。

2.18 连续随机变量x和y的联合概率密度为:,求h(x), h(y), h(xyz)和i(x;y)。

提示:)2.19 每帧电视图像可以认为是由3105个像素组成的,所有像素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现,问每帧图像含有多少信息量?

若有一个广播员,在约10000个汉字中选出1000个汉字来口述此电视图像,试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布,并彼此无依赖)?若要恰当的描述此图像,广播员在口述中至少需要多少汉字?

2.20 设是平稳离散有记忆信源,试证明:

2.21 设是n维高斯分布的连续信源,且x1, x2, …xn的方差分别是,它们之间的相关系数。试证明:n维高斯分布的连续信源熵。

相关系数,说明是相互独立的。

2.22 设有一连续随机变量,其概率密度函数。

1) 试求信源x的熵hc(x);

2) 试求y = x + a (a > 0)的熵hc(y);

3) 试求y = 2x的熵hc(y)。

第二章信源熵 习题答案

2.1 试问 制 八进制脉冲所含信息量是二进制脉冲的多少倍?解 制脉冲可以表示4个不同的消息,例如 八进制脉冲可以表示8个不同的消息,例如 二进制脉冲可以表示2个不同的消息,例如 假设每个消息的发出都是等概率的,则 制脉冲的平均信息量h x1 log2n log24 2 bit symbol 八进制...

第二章习题答案

第二章习题。1 a企业受到票据。借 应收票据 468000 贷 主营业务收入 400000 应交税费 应交增值税 销项税额 68000 票据到期收回票款。借 银行存款 468000 贷 应收票据 468000 年计提利息。借 应收利息 6240 贷 财务费用 6240 票据到期收回票款。借 银行存款...

第二章习题答案

第二章。1.在立方点阵中画出下面的点阵面和结点方向。2.将下面几个干涉面 属立方晶系 按面间距的大小排列。解 立方晶系的面间距公式为,所以带入数据得到按面间距大小排列为 100 110 00 10 11 21 030 130 123 3.在六方晶系中h k i。证明1 如图,任意截面交和于c,d 过...