自组织增量学习神经网络

定　　价：49 元

• 作者：申富饶
• 出版时间：2024/3/1
• ISBN：9787121474385
• 出 版 社：电子工业出版社

• 中图法分类：TP183 
• 页码：168
• 版次：01
• 开本：16开

内容简介

本书介绍了自组织增量学习神经网络及其在人工智能领域的应用。神经网络是一种模拟生物神经系统的人工智能技术，具有强大的数据处理能力和学习能力。自组织增量学习神经网络是一种具有高度自组织结构和增量学习能力的神经网络。与传统机器学习方法相比，自组织增量学习神经网络有更强的灵活性和适应性，能够更好地适应动态环境和解决复杂的问题。自组织增量学习神经网络在多个领域有着广泛的应用，包括机器人智能系统、人脸识别、图像处理、场景理解、语音识别、姿势识别、股票预测等。使用自组织增量学习神经网络，这些应用能够实现更高效、更灵活的学习和决策能力。 本书适合人工智能领域的研究人员和高等院校计算机科学与技术、人工智能等专业研究生阅读。

作者介绍

申富饶，教授，南京大学人工智能学院院长助理，2006年博士毕业于东京工业大学智能系统科学专业，南京大学量子物理与人工智能特聘教授，南京大学科沃斯讲席教授，长期从事神经网络、数据分析、机器人智能等的教学与科研工作。

目 录

第1 章数学基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 线性代数基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 向量基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 矩阵基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.3 特征值和特征向量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
1.1.4 特征值分解和奇异值分解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 概率统计基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.1 基础概念. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2 概率. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.3 全概率和贝叶斯公式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11
1.2.4 随机变量及其分布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.5 二维随机变量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.6 数学期望和方差. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.7 协方差和相关系数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.2.8 最大似然估计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3 距离度量基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.1 度量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.2 向量范数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.3 度量与向量范数的关系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22
1.3.4 其他距离度量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.4 信息论基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.4.1 信息量和信息熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4.2 联合熵和条件熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4.3 KL 散度和JS 散度. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4.4 交叉熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.5 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
第2 章自组织神经网络的起源与发展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1 自组织神经网络的发展历史. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 自组织映射网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29
2.2.1 自组织映射网络的基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29
2.2.2 自组织映射网络的扩展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32
2.3 自适应共振理论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33
2.3.1 自适应共振理论的基础. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34
2.3.2 ART 网络的拓展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.4 生长型神经气. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
第3 章自组织增量学习神经网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1 SOINN 的网络结构与学习流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 SOINN 的原理分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.1 神经元学习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.2 拓扑学习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.3 自适应阈值. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.2.4 节点激活的阈值. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2.5 网络的“定期检查” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.6 SOINN 完整算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
第4 章SOINN 的改进算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .58
4.1 E-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59
4.1.1 E-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.1.2 E-SOINN 算法的性能测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2 Adjusted SOINN 分类器算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.2.1 ASC 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69
4.2.2 ASC 算法的性能测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 LB-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.1 LB-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.3.2 LB-SOINN 算法的性能测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.4 LD-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.4.1 LD-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.4.2 LD-SOINN 算法的性能测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.5 DenSOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.5.1 DenSOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .102
4.5.2 DenSOINN 算法的性能测试. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
4.6 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
第5 章SOINN 的应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1 聚类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1.1 并行计算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.1.2 异构数据的处理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.2 计算机视觉. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.2.1 特征提取. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.2 属性转移学习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2.3 分类、识别与匹配. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.3 时间序列预测. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.3.1 距离度量方面的扩展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5.3.2 SOINN 结合Shapelet 的应用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.4 数据处理与预处理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.4.1 数据压缩和提炼. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.4.2 SOINN 的输出用于其他网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.5 异常检测. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.5.1 SOINN 分类器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.5.2 交互式标注. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
5.5.3 在权值调节方面的扩展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.6 本章小结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
附录A SOINN 软件包及相关算法实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152