互联网 类型
可以朗读 语音朗读
110千字 字数
2025-04-01 发行日期
展开全部

主编推荐语

一本系统且实用的大模型构建指南。

内容简介

本书旨在引领读者从基础知识起步，逐步深入探索大模型的算法原理、训练方法及微调技术。

全书共12章，涵盖了Transformer模型的基础理论，如Seq2Seq模型、分词、嵌入层和自注意力机制等关键概念；并深入剖析了GPT模型的核心实现与文本生成过程，以及BERT模型的预训练和微调技术。同时，也对ViT（视觉Transformer）模型的架构、训练方法，以及高阶微调策略如Adapter Tuning和P-Tuning进行了详尽讲解。

此外，还系统地介绍了数据处理、数据增强、模型性能优化（包括混合精度训练和分布式训练）、对比学习、对抗训练、自适应优化器、动态学习率调度，以及模型蒸馏与剪枝技术等多个方面。最后，通过应用案例，展示了模型训练和微调的完整流程，助力读者将理论知识转化为实践技能。

目录

  • 版权信息
  • 作者简介
  • 内容简介
  • 前言
  • 引言
  • 第1章 Transformer模型基础
  • 1.1 Seq2Seq模型
  • 1.2 分词与嵌入层
  • 1.3 自注意力与多头注意力机制
  • 1.4 残差连接与层归一化
  • 1.5 位置编码器
  • 1.6 本章小结
  • 1.7 思考题
  • 第2章 GPT模型文本生成核心原理与实现
  • 2.1 GPT-2核心模块
  • 2.2 GPT模型的文本生成过程
  • 2.3 模型效果评估与调优
  • 2.4 本章小结
  • 2.5 思考题
  • 第3章 BERT模型核心实现与预训练
  • 3.1 BERT模型的核心实现
  • 3.2 预训练任务：掩码语言模型（MLM）
  • 3.3 BERT模型的微调与分类任务应用
  • 3.4 本章小结
  • 3.5 思考题
  • 第4章 ViT模型
  • 4.1 图像分块与嵌入
  • 4.2 ViT模型的核心架构实现
  • 4.3 训练与评估ViT模型
  • 4.4 ViT模型与注意力严格量化分析
  • 4.5 本章小结
  • 4.6 思考题
  • 第5章 高阶微调策略：Adapter Tuning与P-Tuning
  • 5.1 Adapter Tuning的实现
  • 5.2 LoRA Tuning实现
  • 5.3 Prompt Tuning与P-Tuning的应用
  • 5.4 本章小结
  • 5.5 思考题
  • 第6章 数据处理与数据增强
  • 6.1 数据预处理与清洗
  • 6.2 文本数据增强
  • 6.3 分词与嵌入层的应用
  • 6.4 本章小结
  • 6.5 思考题
  • 第7章 模型性能优化：混合精度训练与分布式训练
  • 7.1 混合精度训练的实现
  • 7.2 多GPU并行与分布式训练的实现
  • 7.3 梯度累积的实现
  • 7.4 本章小结
  • 7.5 思考题
  • 第8章 对比学习与对抗训练
  • 8.1 对比学习
  • 8.2 基于对比学习的预训练与微调
  • 8.3 生成式对抗网络的实现与优化
  • 8.4 对抗训练在大模型中的应用
  • 8.5 本章小结
  • 8.6 思考题
  • 第9章 自适应优化器与动态学习率调度
  • 9.1 AdamW优化器与LAMB优化器的实现
  • 9.2 基于梯度累积的优化技巧
  • 9.3 动态学习率调度
  • 9.4 Warmup与循环学习率调度
  • 9.5 本章小结
  • 9.6 思考题
  • 第10章 模型蒸馏与剪枝
  • 10.1 知识蒸馏：教师—学生模型
  • 10.2 知识蒸馏在文本模型中的应用
  • 10.3 模型剪枝技术
  • 10.4 本章小结
  • 10.5 思考题
  • 第11章 模型训练实战
  • 11.1 数据预处理与Tokenization细节
  • 11.2 大规模预训练模型的设置与启动
  • 11.3 预训练过程中的监控与中间结果保存
  • 11.4 训练中断与恢复机制
  • 11.5 综合案例：IMDB文本分类训练全流程
  • 11.6 本章小结
  • 11.7 思考题
  • 第12章 模型微调实战
  • 12.1 微调数据集的选择与准备
  • 12.2 层级冻结与部分解冻策略
  • 12.3 模型参数调整与优化技巧
  • 12.4 微调后的模型评估与推理优化
  • 12.5 综合微调应用案例
  • 12.6 本章小结
  • 12.7 思考题
展开全部

评分及书评

尚无评分
目前还没人评分

出版方

清华大学出版社

清华大学出版社成立于1980年6月，是由教育部主管、清华大学主办的综合出版单位。植根于“清华”这座久负盛名的高等学府，秉承清华人“自强不息，厚德载物”的人文精神，清华大学出版社在短短二十多年的时间里，迅速成长起来。清华大学出版社始终坚持弘扬科技文化产业、服务科教兴国战略的出版方向，把出版高等学校教学用书和科技图书作为主要任务，并为促进学术交流、繁荣出版事业设立了多项出版基金，逐渐形成了以出版高水平的教材和学术专著为主的鲜明特色，在教育出版领域树立了强势品牌。