主编推荐语
本书对非负矩阵分解模型与高效优化算法进行探讨。
内容简介
本书从算法框架入手,建立系列非负矩阵分解模型的抽象数学模型,即非负块配准模型,从统一的角度分析现有的非负矩阵分解模型,并用以开发新的非负矩阵分解模型。根据非负块配准模型的分析,本书提出非负判别局部块配准模型,克服了经典非负矩阵分解模型的缺点,提高了非负矩阵分解模型的分类性能。
为了克服经典非负矩阵分解的优化算法收敛速度慢的缺点,本书提出在线搜索中利用牛顿法快速搜索步长,提出非负块配准的快速梯度下降算法。为了克服经典非负最小二乘问题的求解算法的缺点,本书利用最优梯度法在无需线搜索的情况下以二阶收敛速度求解非负最小二乘问题,提出非负矩阵分解的高效求解算法。
在此基础上提出非负矩阵分解的高效求解算法,并开发非负块配准的最优梯度法。为了克服经典优化算法应用于流数据处理时计算开销过大的缺点,本书提出非负矩阵分解在线优化算法,利用鲁棒随机近似算法更新基矩阵,提出在线算法,提高在线优化算法的鲁棒性。
本书结合非负矩阵分解的低秩表示特性和残差矩阵的稀疏特性,指出曼哈顿非负矩阵分解模型可以有效地抑制数据中的噪音和野值,并指出其与低秩和稀疏矩阵分解模型的等价关系。
本书提出高效优化算法求解模型,即秩一残差迭代算法和加速梯度下降算法,前者将模型求解问题分解成若干加权中值问题并用快速算法求解,后者将模型求解问题分解成若干非负最小一乘问题并用平滑技术将其目标函数近似为可微函数,然后利用最优梯度法进行求解。
目录
- 版权信息
- 前言
- 第1章 绪论
- 1.1 本书研究背景及意义
- 1.2 国内外研究现状
- 1.2.1 非负矩阵分解发展历史
- 1.2.2 国内外研究机构
- 1.2.3 非负数据降维研究现状
- 1.3 本书主要工作
- 1.4 本书组织结构
- 第2章 非负矩阵分解基础
- 2.1 非负矩阵分解模型
- 2.1.1 相似性度量
- 2.1.2 先验信息
- 2.1.3 扩展模型
- 2.2 非负矩阵分解理论问题
- 2.2.1 数据表示特性
- 2.2.2 维数选择
- 2.2.3 非负矩阵分解与聚类分析算法的等价关系
- 2.3 优化算法
- 2.3.1 初始化方法
- 2.3.2 不精确块迭代方法
- 2.3.3 精确块迭代方法
- 2.3.4 随机规划方法
- 2.3.5 多层分解方法
- 2.3.6 在线优化算法
- 2.3.7 并行与分布式算法
- 2.4 应用领域
- 2.4.1 数据挖掘
- 2.4.2 模式识别
- 2.5 本章小结与讨论
- 第3章 非负块配准框架
- 3.1 引言
- 3.1.1 局部优化
- 3.1.2 全局配准
- 3.2 非负块配准框架
- 3.2.1 基于KL距离的NPAF
- 3.2.2 基于欧几里得距离的NPAF
- 3.2.3 计算复杂性分析
- 3.2.4 非负数据降维算法框架比较
- 3.3 非负数据降维算法的分析
- 3.3.1 非负矩阵分解
- 3.3.2 局部非负矩阵分解
- 3.3.3 判别非负矩阵分解
- 3.3.4 图罚分非负矩阵分解
- 3.4 非负块配准框架派生模型实例
- 3.4.1 非负PCA模型
- 3.4.2 非负LLE模型
- 3.4.3 非负LTSA模型
- 3.5 本章小结与讨论
- 第4章 非负判别局部块配准模型
- 4.1 引言
- 4.2 模型定义
- 4.2.1 数学描述
- 4.2.2 两类NDLA模型
- 4.2.3 流形学习角度的解释
- 4.3 改进NDLA模型
- 4.4 模型求解算法
- 4.4.1 乘法更新规则
- 4.4.2 计算复杂性
- 4.5 试验结果
- 4.5.1 人脸识别
- 4.5.2 手写体识别
- 4.5.3 局部特征提取
- 4.5.4 结果分析
- 4.6 本章小结与讨论
- 第5章 非负块配准框架快速梯度下降算法
- 5.1 引言
- 5.2 改进乘法更新规则
- 5.3 快速梯度下降算法
- 5.3.1 单步长快速线搜索
- 5.3.2 多步长快速线搜索
- 5.3.3 平衡多步长快速线搜索
- 5.4 基于欧几里得距离的NPAF优化
- 5.4.1 NPAFE快速梯度下降算法
- 5.4.2 NPAFE投影梯度下降算法
- 5.4.3 计算复杂性分析
- 5.5 非负块配准框架派生模型优化
- 5.6 数值试验
- 5.6.1 单步长快速梯度下降算法
- 5.6.2 多步长快速梯度下降算法
- 5.7 本章小结与讨论
- 第6章 非负矩阵分解最优梯度下降算法
- 6.1 引言
- 6.1.1 非负矩阵分解优化算法研究现状
- 6.1.2 最优梯度下降算法
- 6.2 非负矩阵分解最优梯度下降算法
- 6.2.1 非负最小二乘优化算法
- 6.2.2 非负矩阵分解优化算法
- 6.2.3 扩展模型优化算法
- 6.3 非负块配准最优梯度下降算法
- 6.3.1 派生模型优化算法
- 6.4 试验结果
- 6.4.1 非负矩阵分解优化
- 6.4.2 图正则非负矩阵分解优化
- 6.5 本章小结与讨论
- 第7章 非负矩阵分解在线优化算法
- 7.1 引言
- 7.1.1 在线非负矩阵分解研究现状
- 7.1.2 INMF-VC算法
- 7.1.3 OMF-DA算法
- 7.1.4 健壮随机近似算法
- 7.2 基于RSA的在线非负矩阵分解算法
- 7.2.1 缓冲池策略
- 7.2.2 计算复杂性
- 7.2.3 收敛性分析
- 7.3 非负矩阵分解扩展模型的在线优化
- 7.3.1 滑动窗口更新扩展
- 7.3.2 距离度量扩展
- 7.3.3 稀疏约束扩展
- 7.3.4 平滑约束扩展
- 7.3.5 盒约束扩展
- 7.4 数值试验
- 7.4.1 在线非负矩阵分解效率比较
- 7.4.2 人脸识别
- 7.5 本章小结与讨论
- 第8章 非负矩阵分解典型应用实例
- 8.1 引言
- 8.2 模式识别
- 8.2.1 YALE数据集
- 8.2.2 ORL数据集
- 8.2.3 UMIST数据集
- 8.2.4 CMU PIE数据集
- 8.2.5 基于局部的数据表示
- 8.2.6 参数选择
- 8.3 数据挖掘
- 8.4 信息检索
- 8.4.1 Corel 5K数据集
- 8.4.2 IAPR TC12数据集
- 8.4.3 ESP Game数据集
- 8.5 本章小结与讨论
- 附录A 辅助函数技术
- A.1 辅助函数的定义
- A.2 辅助函数应用
- 附录B 一阶优化方法与收敛速度
- B.1 收敛速度的定义
- B.2 一阶优化方法假设
- B.3 一阶优化方法的最优收敛速度
- 参考文献
- 后记
出版方
电子工业出版社
电子工业出版社成立于1982年10月,是国务院独资、工信部直属的中央级科技与教育出版社,是专业的信息技术知识集成和服务提供商。经过三十多年的建设与发展,已成为一家以科技和教育出版、期刊、网络、行业支撑服务、数字出版、软件研发、软科学研究、职业培训和教育为核心业务的现代知识服务集团。出版物内容涵盖了电子信息技术的各个分支及工业技术、经济管理、科普与少儿、社科人文等领域,综合出版能力位居全国出版行业前列。