本书重点介绍信息论的基本知识,以及常用信源编码和信道编码技术的原理与实现方法。全书共7章,主要内容包括绪论、信源与信源熵、信道与信道容量、信源编码、线性分组码、BCH码和RS码,以及卷积码。本书面向工程应用的需要,在介绍信息论基本概念和必要数学知识的基础上,重点讲解常见的信源编码和信道编码技术的基本原理、物理意义和实现方法,内容全面,配有视频、MATLAB仿真实例和丰富的习题,便于教学与自学。
本书可作为高等院校通信工程、电子信息工程、计算机科学与技术等专业的本科生或研究生的教材和参考书,也可供相关专业的科研和工程技术人员参考。
本书是河南省“十四五”普通高等教育规划教材,配套课程“信息论与编码”为河南省一流本科课程,同时得到了河南省新工科研究与实践项目“新工科视阈下通信工程专业课程与教学资源建设”的支持。本书配有丰富的教学资源,各章均有大量MATLAB仿真实例和丰富的习题,且提供习题答案、电子课件和授课视频等教学资源。
本书内容兼顾知识性和实用性,联系工程实践,强调物理意义,结构合理,概念清晰,示例丰富准确,可作为通信工程、电子信息工程、计算机科学与技术等专业的本科生或研究生的教材和参考书,也可供相关专业的科研和工程技术人员参考。
前言
1948年,C.E.Shannon发表了开创性论文《通信的数学理论》,宣告了信息论学科的诞生。信息论是研究信息传输和信息处理的科学,是现代信息与通信技术的理论基础。信息论及其衍生的编码理论和技术既是科学理论又是工程应用知识,对实际通信系统的设计与实现产生了深远的影响,并已经渗透到其他领域中。
编码理论和技术在本质上是高度数学化的,对其深入理解需要掌握丰富的通信理论、概率论和近世代数的背景知识。为了帮助读者尽快理解和掌握常用的重要编码和译码技术,本书在讲解信息论的基本概念之后,使用了最少的数学基础知识,重点对常用的信源和信道编译码理论和技术进行了深入的讲解。本书内容兼顾知识性和实用性,联系工程实践,强调物理意义,结构合理,概念清晰,示例丰富准确,可作为通信工程、电子信息工程、计算机科学与技术等专业的本科生或研究生的教材和参考书,也可供相关专业的科研和工程技术人员参考。
随着党的二十大的召开,科教兴国战略得到进一步深化,教育领域的综合改革与教育数字化方兴未艾。本书正是在该背景下进行了修订完善。全书共7章。第1章介绍了信息、信息论和编码问题的基本情况;第2章介绍了信源与信源熵的基本概念;第3章介绍了信道与信道容量的基本概念;第4章讲解了常见的无失真和限失真信源编码方法;第5章全面讲解了线性分组码和循环码的相关知识;第6章讲解了有限域的基本知识以及BCH码和RS码的编译码原理;第7章讲解了卷积码的编码原理、维特比译码算法和Turbo码的基本概念。书中各章均设有MATLAB仿真实例(第1章绪论除外)和丰富的习题,且提供习题答案、电子课件和授课视频等教学资源。扫描正文中的二维码可观看视频。
本书是河南省“十四五”普通高等教育规划教材(教高〔2020〕469号),配套课程“信息论与编码”为河南省一流本科课程(豫教〔2020〕13008号),同时得到了河南省新工科研究与实践项目“新工科视阈下通信工程专业课程与教学资源建设”(2020JGLX033)的支持。河南理工大学张长森、郭辉任主编,邓超、张延良、李宝平、王小旗参与了本书的编写。张长森编写了第1章,张延良编写了第2章,邓超编写了第3章,王小旗编写了第4章,郭辉编写了第6章,李宝平编写了第5章和第7章。在本书的修订过程中,得到了机械工业出版社的大力支持,在此表示衷心的感谢。
由于编者水平有限,书中疏漏和不当之处在所难免,敬请读者批评指正。
编者
张长森,河南理工大学教授、博士生导师,河南省重点学科(信息与通信工程)带头人,国家级一流专业(通信工程)负责人,河南省高层次人才,长期从事矿山通信、工业物联网方面的教学科研工作。
前言
第1章绪论1
1.1信息的基本概念1
1.1.1信息、消息与信号1
1.1.2香农信息的定义2
1.1.3消息所含信息量的度量2
1.2信息论的研究对象、目标和内容3
1.2.1信息论的研究对象3
1.2.2信息论的研究目标4
1.2.3信息论的研究内容5
1.3信息论的形成和发展6
1.4信源编码问题6
1.5信道编码问题8
1.6习题9
第2章信源与信源熵10
2.1信源的分类和描述10
2.2离散单符号无记忆信源11
2.3离散多符号无记忆信源12
2.4离散信源的信源熵12
2.4.1自信息量13
2.4.2联合自信息量和条件自信息量14
2.5平均自信息量15
2.5.1平均自信息量的概念15
2.5.2联合熵与条件熵16
2.5.3熵函数的性质18
2.6离散多符号信源的信源熵21
2.6.1离散多符号无记忆信源的信源熵21
2.6.2离散多符号有记忆信源的信源熵22
2.6.3离散平稳有记忆信源的极限熵22
2.7信源的相关性和剩余度24
2.8信源的MATLAB建模与仿真27
2.9习题28
第3章信道与信道容量30
3.1信道的分类30
3.2离散信道的数学模型31
3.3互信息量与平均互信息量32
3.3.1互信息量及性质32
3.3.2平均互信息量及性质33
3.4信道容量38
3.4.1信道容量的定义38
3.4.2几种特殊信道的信道容量39
3.5离散对称信道的信道容量40
3.6一般离散信道的信道容量42
3.7信道容量定理45
3.8离散多符号信道及信道容量46
3.9组合信道及信道容量48
3.9.1独立并联信道49
3.9.2级联信道49
3.10信道及信道容量的MATLAB分析50
3.11习题52
第4章信源编码56
4.1无失真信源编码定理56
4.2无失真信源编码61
4.2.1香农编码61
4.2.2霍夫曼码64
4.2.3费诺编码68
4.2.4香农-费诺-埃利斯码70
4.2.5游程编码73
4.2.6算术编码76
4.2.7Lempel-Ziv算法80
4.3限失真信源编码定理81
4.3.1信息率失真函数81
4.3.2限失真信源编码定理86
4.4限失真信源编码87
4.4.1模拟信源的数字化88
4.4.2预测编码93
4.4.3变换编码94
4.5信源编码的仿真实例97
4.6习题104
第5章线性分组码106
5.1数字通信中的编码信道106
5.1.1编码信道的概念106
5.1.2有噪信道编码定理107
5.2差错控制系统的基本概念108
5.2.1差错控制的方式108
5.2.2信道编码的分类109
5.2.3分组码的基本概念110
5.2.4分组码的译码准则111
5.2.5简单的分组码111
5.2.6编码增益的概念113
5.3线性分组码114
5.3.1向量空间114
5.3.2线性分组码的结构114
5.3.3生成矩阵116
5.3.4系统线性分组码117
5.3.5监督矩阵118
5.3.6伴随式校验119
5.3.7错误纠正120
5.3.8译码器电路123
5.4线性分组码的检错和纠错能力124
5.5循环码128
5.5.1循环码的定义与基本性质128
5.5.2循环码的生成多项式129
5.5.3循环码的监督多项式131
5.5.4循环码的生成矩阵132
5.5.5截短循环码133
5.5.6系统循环码133
5.5.7循环码的编码器135
5.5.8循环码的译码器137
5.5.9循环码实例142
5.6循环码的仿真实例144
5.7习题147
第6章BCH码和RS码150
6.1有限域150
6.1.1有限域的定义150
6.1.2域的特征和基域151
6.1.3有限域上的多项式151
6.1.4扩展域的结构152
6.1.5本原元素和本原多项式153
6.1.6最小多项式和共轭元素155
6.2BCH码157
6.2.1BCH码的结构157
6.2.2BCH码的生成多项式157
6.2.3BCH码的译码158
6.2.4BCH码的Berlekamp-Massey译码算法160
6.3RS码162
6.3.1RS码的生成多项式162
6.3.2RS码的系统编码163
6.3.3RS码的译码163
6.4BCH码和RS码的仿真实例167
6.5习题174
第7章卷积码176
7.1卷积码概述176
7.2卷积码编码器177
7.2.1连接图表示177
7.2.2多项式表示179
7.2.3矩阵表示180
7.2.4状态图表示185
7.2.5树状图表示187
7.2.6网格图表示190
7.3卷积码译码器191
7.3.1最大似然译码191
7.3.2维特比译码算法192
7.3.3译码器的实现194
7.4卷积码的特性197
7.4.1卷积码的距离特性197
7.4.2系统卷积码200
7.4.3卷积码中的灾难性错误传播200
7.4.4卷积码的性能界限202
7.5卷积码的编译码仿真实例202
7.5.1卷积码的编码实现202
7.5.2卷积码的译码实现204
7.6Turbo码204
7.6.1Turbo码基本概念205
7.6.2Turbo码编码器205
7.6.3Turbo码译码器207
7.7习题209
参考文献212