本书按照统计模式识别、句法模式识别、模糊模式识别法和神经网络模式识别法四大理论体系组织全书,其中统计模式识别是模式识别的经典内容和基础知识,模糊模式识别法和神经网络模式识别法两部分反映了模式识别学科发展的新进展,附录部分归纳了书中需要用到的概率知识、向量和矩阵运算的常用公式,以及供上机练习用的模式样本数据。
本书内容由浅入深,便于教师根据不同情况选择教学内容。同时讲解详细,配有丰富的图表和例题,有助于读者阅读与理解。提供了习题和计算机作业,供学习时使用。
本书可作为高等院校电子信息类专业高年级本科生和研究生的教材,也可供从事模式识别工作的广大科技人员参考。
模式识别是一门既具有较系统的理论体系,又仍处在迅速发展之中的边缘学科,其应用几乎遍及各个领域。
这一学科涉及许多较为深奥的数学理论,对刚涉足这一领域的许多初学者来说,理解起来有一定的困难。本书既可以作为基础教材,又反映学科发展方向,以此为基调,在选材上立足于“精”,在讲解上立足于“透”。笔者结合多年教学经验,在模式识别理论的成熟部分,注重对基本概念的透彻讲解,选择经典和实用的模式识别方法和算法进行讨论。在内容的安排上,注意由浅入深,讨论问题时尽量减少数学推导和证明,通过实际运用加深学生对算法的理解,目的是使初学者能够比较容易地尽快掌握模式识别的基本理论和方法。
在材料组织上,兼顾计算机模式识别的基础和发展两个方面,按照统计模式识别、句法模式识别、模糊模式识别法和神经网络模式识别法四大理论体系组织全书内容。其中统计模式识别方法是核心,模糊模式识别和神经网络模式识别是学科的新发展。在具体章节安排上,统计模式识别部分包括属于非监督分类的聚类分析方法(第2章)、监督分类中的判别函数概念和几何分类法(第3章)以及基于统计决策的概率分类法(第4章),为简化分类器还讨论了特征选择和提取的方法(第5章)。第6章为句法模式识别,对概念和方法进行了简要讨论。第7章为模糊模式识别部分,鉴于本方向蓬勃的发展趋势,对其内容进行了充实和细化,充分地阐述了基本概念,详细讨论了其中的典型算法。第8章为神经网络模式识别法,介绍了几种典型的用于模式识别的神经网络模型和算法。为方便学习,在附录部分增加了必要的相关知识介绍,以备查阅。同时书中还配有丰富的图表,有助于阅读。
本书是作者在多年教学实践的基础上经过总结扩充改编而成的。参加编写的有齐敏、李大健和郝重阳同志,全书由齐敏同志负责审订和修改。模式识别学科发展迅速,本书对该学科研究发展的新进展亦有所涉及,限于水平和经验,书中错误及不当之处在所难免,敬请读者批评指正。
编 者2009年2月
第1章 绪论 1
1.1 模式和模式识别的概念2
1.2 模式识别系统4
1.2.1 简例4
1.2.2 模式识别系统组成7
1.3 模式识别概况8
1.3.1 模式识别发展简介8
1.3.2 模式识别分类8
1.4 模式识别的应用10
第2章 聚类分析 13
2.1 距离聚类的概念14
2.2 相似性测度和聚类准则15
2.2.1 相似性测度15
2.2.2 聚类准则18
2.3 基于距离阈值的聚类算法20
2.3.1 近邻聚类法20
2.3.2 最大最小距离算法21
2.4 层次聚类法23
2.5 动态聚类法27
2.5.1 K-均值算法27
2.5.2 迭代自组织的数据分析算法30
2.6 聚类结果的评价35
习题36
第3章 判别函数及几何分类法 37
3.1 判别函数38
3.2 线性判别函数40
3.2.1 线性判别函数的一般形式40
3.2.2 线性判别函数的性质41
3.3 广义线性判别函数46
3.4 线性判别函数的几何性质48
3.4.1 模式空间与超平面48
3.4.2 权空间与权向量解49
3.4.3 二分法50
3.5 感知器算法52
3.6 梯度法58
3.6.1 梯度法基本原理59
3.6.2 固定增量算法60
3.7 最小平方误差算法62
3.8 非线性判别函数69
3.8.1 分段线性判别函数69
3.8.2 分段线性判别函数的学习方法72
3.8.3 势函数法74
习题81
第4章 基于统计决策的概率分类法 82
4.1 研究对象及相关概率83
4.2 贝叶斯决策85
4.2.1 最小错误率贝叶斯决策85
4.2.2 最小风险贝叶斯决策86
4.2.3 正态分布模式的贝叶斯决策90
4.3 贝叶斯分类器的错误率96
4.3.1 错误率的概念96
4.3.2 错误率分析96
4.3.3 正态分布贝叶斯决策的错误率计算98
4.3.4 错误率的估计101
4.4 聂曼-皮尔逊决策104
4.5 概率密度函数的参数估计108
4.5.1 最大似然估计108
4.5.2 贝叶斯估计与贝叶斯学习110
4.6 概率密度函数的非参数估计115
4.6.1 非参数估计的基本方法115
4.6.2 Parzen窗法117
4.6.3 kN-近邻估计法121
4.7 后验概率密度函数的势函数估计法123
习题125
第5章 特征选择与特征提取 127
5.1 基本概念128
5.2 类别可分性测度130
5.2.1 基于距离的可分性测度131
5.2.2 基于概率分布的可分性测度133
5.3 基于类内散布矩阵的单类模式特征提取136
5.4 基于K-L变换的多类模式特征提取139
5.5 特征选择144
5.5.1 特征选取择的准则144
5.5.2 特征选择的方法145
习题148
第6章 句法模式识别 150
6.1 句法模式识别概述151
6.2 形式语言的基本概念152
6.2.1 基本定义152
6.2.2 文法分类154
6.3 模式的描述方法156
6.3.1 基元的确定156
6.3.2 模式的链表示法156
6.3.3 模式的树表示法158
6.4 文法推断160
6.4.1 基本概念160
6.4.2 余码文法的推断161
6.4.3 扩展树文法的推断162
6.5 句法分析164
6.5.1 参考链匹配法165
6.5.2 填充树图法165
6.5.3 CYK分析法166
6.5.4 厄利分析法168
6.6 句法结构的自动机识别169
6.6.1 有限态自动机与正则文法169
6.6.2 下推自动机与上下文无关文法173
习题176
第7章 模糊模式识别法 179
7.1 模糊数学概述180
7.1.1 模糊数学的产生背景180
7.1.2 模糊性181
7.1.3 模糊数学在模式识别领域的应用183
7.2 模糊集合183
7.2.1 模糊集合定义183
7.2.2 隶属函数的确定187
7.2.3 模糊集合的运算191
7.2.4 模糊集合与普通集合的相互转化193
7.3 模糊关系与模糊矩阵195
7.3.1 模糊关系定义195
7.3.2 模糊关系的表示196
7.3.3 模糊关系的建立197
7.3.4 模糊关系和模糊矩阵的运算199
7.3.5 模糊关系的三大性质202
7.4 模糊模式分类的直接方法和间接方法204
7.4.1 直接方法--隶属原则204
7.4.2 间接方法--择近原则206
7.5 模糊聚类分析法209
7.5.1 基于模糊等价关系的聚类分析法209
7.5.2 模糊相似关系直接用于分类212
7.5.3 模糊K-均值算法214
7.5.4 模糊ISODATA算法216
习题218
第8章 神经网络模式识别法 221
8.1 人工神经网络发展概况222
8.2 神经网络基本概念223
8.2.1 生物神经元223
8.2.2 人工神经元及神经网络224
8.2.3 神经网络的学习226
8.2.4 神经网络的结构分类227
8.3 前馈神经网络227
8.3.1 感知器227
8.3.2 BP网络228
8.3.3 竞争学习神经网络232
8.4 反馈网络模型Hopfield网络236
附录A 向量和矩阵运算239
附录B 标准正态分布表及概率计算245
附录C 计算机作业所用样本数据248
参考文献254