rt信息论与编码的学习要点。
自信息。自信息表示随机事件xi发生前的不确定性或发生后所包含的信息量，其定义为：
互信息。互信息表示已知事件yj后所消除的关于事件xi的不确定性，等于事件xi本身的不确定性i(xi)—已知事件yj后对xi仍然存在的不确定性i(xi/yj)，其定义为：
平均自信息。
平均自信息表示整个信源（用随机变量x表示）的平均不确定性，它等于随机变量x的每一个可能取值的自信息i(xi)的统计平均值，其定义为：
离散信源的最大熵。
离散信源中各消息等概率出现时熵最大，也称最大离散熵定理：
联合熵。联合熵表示二维随机变量xy的平均不确定性，它等于联合自信息的统计平均值，其定义为：
条件熵。条件熵表示已知随机变量x后，对随机变量y仍然存在的平均不确定性，其定义为：
各类熵之间的关系为：
h(xy)=h(x)+h(y/x)=h(y)+h(x/y)≤h(x)+h(y)
x,y统计独立时，h(xy)=h(x)+h(y)
平均互信息。
平均互信息表示收到一个符号集（用随机变量y表示）后消除的关于另一个符号集（x）的不确定性，也就是从y所获得的关于x的平均信息量，其定义为：
平均互信息和各类熵之间的关系：
i(x;y)=h(x)-h(x/y)=h(y)-h(y/x)=h(x)+h(y)-h(xy)
当x和y统计独立时，i(x;y)=0
数据处理定理。
如果随机变量x，y，z构成一个马尔可夫链，则有：
i(x;z)≤i(x;y) i(x;z)≤i(y;z)
等号成立的条件是对于任意的x，y，z，有p(x/yz)=p(x/z)和p(z/xy)=p(z/x)
数据处理定理中不等式i(x;z)≤i(x;y)表明从z所获得的关于x的信息量小于等于从y所获得的关于x的信息量。如果将y→z看成数据处理系统，则通过数据处理后，虽然可以满足我们的某种具体要求，但是从信息量来看，处理后会损失一部分信息，最多保持原来获得的信息，即对收到的数据y进行处理后，决不会减少关于x的不确定性。
极限熵）熵率。
极限熵表示离散多符号信源的平均不确定性，它是信源输出的符号序列中平均每个符号所携带的信息量。
n→∞时极限存在，则称之为熵率，或极限熵，其定义为：
称为平均符号熵，表示随机变量序列中，对前n个随机变量的联合熵的平均：
离散平稳无记忆信源的极限熵。
多符号信源中最简单的是离散平稳无记忆信源，其极限熵h∞=h(x)
m阶马尔可夫信源的极限熵。
如果信源在某时刻发出的符号仅与此前发出的m个符号有关，即m阶马尔可夫信源，其极限熵为：
离散平稳马尔可夫信源，可将上述符号的不确定性问题转化为齐次、遍历的马尔可夫链的状态转移问题：
信源的冗余度。
冗余度的定义为：
连续信源的微分熵。
连续信源的最大熵。
对于输出信号幅度受限的连续信源，当满足均匀分布时达到最大熵；对于平均功率受限的连续随机变量，当服从高斯分布时具有最大熵。
码的分类。非分组码。
分组码：奇异码和非奇异码（非唯一可译码、唯一可译码（即时码、非即时码））
无失真定长信源编码定理。
离散无记忆信源的熵h(x)，若对长为n的信源序列进行定长编码，码符号集中有r个码符号，码长为l，则对于任意小的正数ε，只要满足，则当n足够大时，可实现几乎无失真编码，即译码错误概率为任意小。反之，如果，则不可能实现几乎无失真编码，当n足够大时，译码错误概率为1。
克劳夫特不等式。
无失真变长信源编码定理（香农第一定理）
失真函数。单个符号的失真函数或失真度，表示信源发出一个符号xi，而在接收端再现为yj所引起的误差或失真的大小。
平均失真。信源的平均失真度表示某个信源通过某个信道传输后失真的大小，其定义为：
保真度准则。
如果要求信源的平均失真度《所允许的失真d，成为保真度准则。
d失真许可的试验信道。
信息率失真函数。
对于给定的信源，总存在一种信道使i(x;y)达到最小。
r(d)是关于d的下凸函数，且在定义域内是严格递减函数。
限失真信源编码定理（香农第三定理）
设为一离散平稳无记忆信源的信息率失真函数，并且有有限的失真测度。对于任意的以及任意足够长的码长n，则一定存在一种信源编码c，其码字个数为：，而编码后的平均失真度。
如果用二元编码，取比特为单位，则上式m可写成。
该定理说明：对于任何失真度，只要码长足够长，总可以找到一种编码c，使编码后每个信源符号的信息传输率，，即，而码的平均失真度。
信道容量。对于给定的信道，i(x;y)是p(xi)的上凸函数，即总存在一种信源具有某种概率分布，使信道平均传输一个符号接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即信道容量，而相应的输入概率分布称为最佳输入分布。c的定义为：
对称信道的c
准对称信道的c
离散平稳无记忆信道的n次扩展信道的c
独立并联信道的c
c=nc级联信道的c
级联信道的总容量矩阵=级联信道的信道矩阵乘积。
波形信道的信道容量c
译码规则。设信道的输入符号集x=，输出符号集y=，若对每个输出符号yj都有一个确定的函数f(yj)，使yj对应于惟一一个输入符号xi，则称这样的函数为译码规则，记为：f(yj)=xi
译码规则共有rs种。
错误概率。在规定译码规则后，若信道输出端接收到符号yj，则一定译成xi，如果发送端发出的的确是xi，就是正确译码；否则，若发送端发出的不是xi，即为错误译码。则在收到符号yj的条件下，译码正确概率为：
p[f(yj)/yj]=p(xi/yj)
译码错误概率为：p(e/yj)=1-p(xi/yj)=1-p[f(yj)/yj]
平均错误概率。
译码后的平均错误概率pe是p(e/yj)对y的统计平均值，即。
表示平均每收到一个符号后的译码错误概率。
最大后验概率译码规则。
选择译码函数f(yj)=x*，使之满足条件：p(x*/yj)≥p(xi/ yj) x*∈x，称为最大后验概率译码准则，又称最小错误概率准则。
极大似然译码规则。
选择译码函数f(yj)=x*，使之满足条件：p(yj /x*)≥p( yj /xi) x*∈x，称为极大似然译码规则。当输入符号等概时，最大后验概率译码规则=极大似然译码规则。
费诺不等式。
信道疑义度h(x/y)与平均错误概率pe满足以下关系：
表明：接收到y后，关于x的平均不确定性可以分为两部分，第一部分是指收到y后是否产生错误的不确定性；第二部分是已知错误发生后，判断是哪个输入符号造成错误的最大不确定性，是（r-1）个符号的最大可能不确定性与的乘积。
汉明距离。长度相同的两个符号序列xi与yj之间的距离，是两序列对应位置上码元符号不同的位置的个数，称为汉明距离。
码的最小距离。
码c中，任意两个码字的汉明距离的最小值称为该码的最小距离。编码选择码字时，码间的最小距离越大越好。
有噪信道编码定理（香农第二定理）
设有一离散无记忆平稳信道，其信道容量为c。当待传输的信息率rc，则无论码长l取多大，也找不到一种编码，使译码错误概率任意小。
信息论编码作业
信息论编码。一 信息论的认识。1.消息是信息的载荷者。信息是抽象的，消息是具体的。要研究信息，还得从研究消息入手。2.由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源。3.单符号信源 输出是单个符号 的消息。离散信源。连续信源。4.平稳随机序列信源 信源输出的消息由一系列符号序列所组成，...
2019考研数学概率论与数理统计复习要点总结
此部分为数学一和数学三的考试范围，概率论与数理统计可以说在三科中，对基本概念的深入理解所占的比例相对最大，而其中解题的方法并不多，涉及到的技巧是很少的 甚至可以说没有技巧 因此，务必明确考察重点，随机事件概率的计算 随机变量的数字特征 随机变量的概率分布 矩估计与最大似然估计等 同时掌握常见题型的解...
信息技术课程与教学论复习 x
一 名词解释。信息素养 信息素养是人们能主动地获取信息 利用信息解决问题的能力。它包括 倍息意识 信息知识 信息能力和信息道徳。课程标准 信息素养是人们能主动地获取信息 利用信息解决问题的能力。它包括 信息意识 信息知识 信息能力和信息道徳。教材 教材是课程知识的主要载体，是按照一定教育冃的和教学规...