1.2 简述信息传输系统的五个组成部分的作用?
答:信息传输系统的五个组成部分的作用分别是:
信源是产生消息的源。
信道是信息传输和存储的媒介。
编码器是将消息变换成适合于信道传送的信号的设备;译码器是编码器的逆变换,分为信道译码器和信源译码器,信道译码器是从受干扰的信号中尽可能地再现信源的输出。信源译码器是将信道中传输的各种信号还原成受信者能感知的消息。
信宿是消息的接受者,可以是人,也可以是消息。
1.6 有一个二元对称信道,p=0.06,设该信道以1000个符号/秒的速度输入符号,现有一消息序列共有9500个符号,并设消息中q(0)=q(1)=0.
5,试问从信息传输的角度来考虑10秒钟能否将消息无失真地传完?
解:信源符号等概率分布,故信源熵为bit,9500个符号的信息量为9500bit。
又由二进制对称信道的信道矩阵。
bit/符号。
发送和接收符号的联合概率矩阵为。
bit/符号。
10秒钟可以传送bit,小于9500bit,故无法在10秒内无失真地传送。
从信息传输的角度来考虑10秒钟不能将消息无失真地传完。
1.8设有一反馈通信系统如题图1-2所示,信源为二元离散无记忆信源,信道为二元删除信道,反馈信道为无干扰信。译码器判断若接到删除符号就通知发端重传原来的符号(0或1),若接收到为0或1,译码器就将它送给信宿,同时通知发端送下一个符号。
试求:1)、每个信息符号被接收端接收所需的平均传送次数。
2)、信宿接收的符号的错误概率。
解:1)、由信道为二元删除信道,且反馈信道为无干扰信道可知:信宿接收到信源的信号必为0或1。
每个信息符号如果接收为e,则会重新发送,直至接收为0或1,对于单一信号如0,其信宿接收到信号服从几何分布。那么每个信号被接收端接收所需的平均传送次数就是接收端接收到信号的期望。又几何分布知识可知该期望为 ,即平均传送次数是。
2)、由于译码器每次接收到e就会无干扰反馈到编码器,而对于二元删除信道,0发送为0或e,1发送为1或e,所以不会有接收到错误的信号出现,故信宿接收的符号错误概率为0。
2.1信源在何种分布时,熵值最大?又在何种分布时,熵值最小?
答:信源各个状态为等概率分布时,熵值最大,并且等于信源输出状态数;当一个信源是一个确知信源时,其熵为零,也即最小。
2.2平均互信息量i(x;y)与信源概率分布q(x)有何关系?与p(y|x)又是什么关系?
答:如下面的公式所示:
2.3熵是对信源什么物理量的度量?
答:熵是信息论中用来衡量信源信息量有序化程度的一个概念。信源熵值与信源有序化程度成反比;有序度越高,信源熵值越低,反之亦成立。
2.4 设信道输入符号集为,则平均每个信道输入符号所能携带的最大信息量为多少?
答案: 2.5 根据平局互信息量的链规则,写出的表达式。
答案: 2.6 互信息量有时候取负值,是由于信道存在干扰或噪声的原因,这种说法对吗?
互信息量有时候取负值,不完全是由于信道存在干扰或噪声的原因。如果互信息量取负值时,说明信息在收到消息y后,不但没有使x的不确定性减少,反而使x的不确定性增加,所以获得的信息量味负值。这是由于通信收到干扰(噪声)或发生错误所造成的。
2.9(1)对于离散无记忆信源dms,,试证明:
当时,达到最大值。
2)对(1)中的dms,考虑它的二次扩展信源, 证明: 。证明:
2.10一副扑克牌(不用大小王),试问:
1)任意特定排列给出的信息量是多少?
2)从52张牌中抽取13张,所给出的点数都不相同时得到多少信息量?
3)从52张牌中任意抽取1张,然后放回,结果视为从dms中取得样本,这个dms的熵为多少?
4)若(3)中不计颜色,熵又为多少?解:(1)
2.13已知平均每100人中有2人患有某种病,为了查明病情进行某项指标的化验。化验结果对于病人总是阳性的,而对于健康人来说,这项指标有一半可能为阳性,一般可能为阴性。
问这项化验对于查明病情提供了多少信息?
答案: 2.17 等概信源消息集:, 编码为=000, =001,..111,通过错误概率为p的二进制对称信道bsc传输,在接收=100的过程中,求:
1)1与之间的互信息量。
2)10与之间的互信息量。
3)100与之间的互信息量。
解:用“1”表示收到1,“10”表示收到10,“100”表示收到100
表示接收符号的概率。
1) 由,先求。
代入上式可得。
或可由,先求,再求。
代入到定义式中求解。
2) 由,先求。
代入上式可得。
3) 由,先求。
代入上式可得。
2.19 x,y,z为概率空间,证明下述关系式成立,并给出等号成立的条件。
证明:(1)
又 等号成立的条件是。
又 等号成立的条件是。
又 等号成立的条件是。
2.24信源消息集x=,信宿消息集y=,信源等概分布,通过二进制信道传输,求:
1)该系统的平均互信息量。
2)接收到y=0后,所提供的关于x的平均互信息量i。
解:(法一)由。
设信宿符号接收概率分别为和。
bit/符号。
bit/符号。
从而0.9954-0.8497=0.146bit/符号。
法二)直接由平均互信息量的定义式。
由信源分布及信道转移概率矩阵可得xy的联合分布。
将其代入到定义式中可得。
0.146bit/符号。
2) =0.02bit/符号。
2.25 一传输系统的输入符号集x=,输出符号集y=,输入符号与输出符号的联合概率用下述矩阵表示。
计算以及,并与维拉图对照。
解:由联合概率分布可求得x和y的一维概率分布,及转移概率矩阵。
bit/符号。
bit/符号。
bit/符号。
bit/2符号。
3.2 离散无记忆信源,熵为h(x),对信源的l长序列进行等长编码,码字是长为n的d进制符号串,问:
1) 满足什么条件,可实现无失真编码;
2) l增大,编码效率也随之增大吗?
解:(1)当时,可实现无失真编码;
2)等长编码时,从总的趋势来说,增加l可提高编码效率,且当时,。 但不一定l的每次增加都一定会使编码效率提高。
3.3 变长编码定理指明,对信源进行变长编码,总可以找到一种唯一可译码,使码长满足,试问在时,能否也找到唯一可译码?
答:变长编码定理指明只有满足,才能构成唯一可译码。但是平均码长应该小于,这是根据应尽可能短的要求,这是得到的码是最佳码,其实也能找到唯一可译码。
3.7 对一信源提供6种不同的编码方案:码1~码6,如表3-10所示。
表3-10 同一信源的6种不同编码。
解:码1:其二次扩展码是奇异码,如u1u2和u5u1对应的码字均为010;
码2:是唯一可译码,非奇异等长码是唯一可译码,且是即时码,平均码长为3;
码3:是延长码,是唯一可译码,但不是即时码,平均码长为。
码4:是非延长码,故是唯一可译码,也是即时码;平均码长为。
码5:是树码,即非延长码,因此是即时码;平均码长为;
码6:是非延长码,因此是即时码;平均码长为。
综上所述,码2~6均为唯一可译码,码是即时码。
3.10 信源符号集x=,一信源含8个消息,编码为即时码,若要求码长只取1,3,5中的一个,应用克拉夫特不等式,分析按上述要求能否构成唯一可译码。
解:克拉夫不等式:
当编码码长为1时,码字只有三种0,1,2,但却有8个消息,即出现多个消息用同一个码字表示的情况,此编码为奇异码,不具备唯一可译性,不能构成唯一可译码。
当编码码长为3时,可以编码为000,001,010,011,100,101,110,111 即有满足克拉夫特不等式,能够构成唯一可译码。
当编码码长为5时,克拉夫不等式为,即存在唯一可译码。
3.11某一信源有n个消息,等概分布,对其进行最佳二元霍夫曼编码,问当n=2m和n=2m+1(m为整数)时,每个码字的长度等于多少?平均码长等于多少?
解:n=2m:每个码字的长度等于m,平均码长等于m;
n=2m:2个码的码字长度为m+1,2m-1个码的码字长度为m,平均码长等于。
3.15离散无记忆信源=
1)求x的最佳二元码,平均码长及编码效率;
2)求x(2)的最佳二元码,平均码长及编码效率;
3)求x(3)的最佳二元码,平均码长及编码效率;解:
平均码长为1.5,编码效率为0.99
平均码长为3,编码效率为0.99
平均码长为4.487,编码效率为0.993
3.21(1)两个无前缀变长码的级联定义为。
证明:无前缀变长码的级联仍然是无前缀变长码。
证明:(1)由于和都是变长码,所以级联之后, 得到的码字的长度也不可能是唯一的。
假设得到的码字中的某个码字是码字的前缀,且假设, 则必定是的前缀,这不符合题目要求,所以码字必定是无前缀的。
第十组西经寡头作业
第十组寡头垄断市场技能实训。组长 许剑飞组员 聂豪 吴浔 谭海林。1.假定一个寡头垄断市场是进退无障碍的,它是否可以提供大于零的经济利润?分析 寡头垄断市场是指少数几家厂商控制整个市场产品生产和销售的市场组织。它是介于垄断竞争与垄断之间的一种市场结构。寡头厂商的 和产量是个很复杂的问题,在寡头市场上...
第七小组小组作业
第七小组 北师大版高中统计与概率。组长 组员 北师大版概率与统计的知识点所在的章节。必修三。第一章统计。1从普查到抽样。2 抽样方法。2.1 简单随机抽样。2.2 分层抽样与系统抽样。3 统计图表。4数据的数字特征。4.1 平均数 中位数 众数 极差 方差。4.2 标准差。5用样本估计总体。5.1 ...
作业2小组研究
作业2 小组学习研究 题目。班级学号1姓名 1 班级学号2姓名2 班级学号3姓名3 1 基本要求 1 综合运用马克思主义哲学的基本立场 基本观点和基本方法分析阐述你对上述问题的看法。要求文章言之成理,观点正确,逻辑清晰,努力体现自己的理论素养 辩证思维和哲学智慧。2 任选其中一个题目 或另选一个题目...