科技 类型
可以朗读 语音朗读
135千字 字数
2025-04-01 发行日期
展开全部

主编推荐语

本书以打造行业智能助手为主线，全面介绍大模型的理论与实践。

内容简介

本书在内容上侧重于实践，兼顾理论的系统性。全书共4部分：

第1部分为大模型导论（第1章），介绍大模型的相关概念以及大模型的过去、现在与未来；

第2部分为理论知识（第2、3章），介绍大模型基础知识和大语言模型分布式训练；

第3部分为实践（第4～7章），介绍大模型的继续预训练、对齐、推理与部署，通过实际案例详细介绍如何打造行业智能助手并将其部署到生产环境中；

第4部分为高级主题（第8、9章），介绍多模态大模型、AI智能体的最新进展。

目录

  • 版权信息
  • 内容简介
  • 作者简介
  • 前言
  • 第1章 大模型导论
  • 1.1 大模型概念
  • 1.1.1 预训练
  • 1.1.2 有监督微调
  • 1.1.3 偏好对齐
  • 1.2 大模型的过去、现在与未来
  • 1.2.1 大模型简史
  • 1.2.2 大模型的现状
  • 1.2.3 大模型未来展望
  • 1.3 本书的读者对象与内容
  • 参考文献
  • 第2章 大模型基础知识
  • 2.1 分词
  • 2.1.1 粒度
  • 2.1.2 子词拆分算法
  • 2.1.3 实现
  • 2.2 位置编码
  • 2.2.1 RoPE
  • 2.2.2 ALiBi
  • 2.3 网络结构
  • 2.3.1 Transformer架构
  • 2.3.2 大模型的Transformer架构
  • 2.3.3 MoE模型
  • 2.4 长上下文
  • 2.4.1 采用RoPE位置编码的长上下文扩展
  • 2.4.2 注意力操作优化
  • 参考文献
  • 第3章 大语言模型分布式训练
  • 3.1 大语言模型高效训练技术要点
  • 3.2 并行模式
  • 3.2.1 数据并行化
  • 3.2.2 流水线并行化
  • 3.2.3 张量并行化
  • 3.3 集合通信
  • 3.3.1 all-reduce操作的分解
  • 3.3.2 all-reduce操作的高效实现
  • 3.4 DeepSpeed训练加速框架
  • 3.4.1 ZeRO技术
  • 3.4.2 ZeRO技术与流水线并行化结合
  • 3.4.3 ZeRO技术与张量并行化结合
  • 3.5 DeepSpeed训练方案建议
  • 参考文献
  • 第4章 继续预训练
  • 4.1 继续预训练的必要性
  • 4.2 数据预处理
  • 4.2.1 低质数据过滤
  • 4.2.2 去重
  • 4.3 实战：行业大模型的继续预训练
  • 4.3.1 数据准备
  • 4.3.2 数据处理
  • 4.3.3 模型训练
  • 参考文献
  • 第5章 对齐（上）
  • 5.1 指令微调的必要性
  • 5.2 微调方法
  • 5.2.1 全参微调
  • 5.2.2 部分参数微调
  • 5.3 指令集的自动构造
  • 5.3.1 指令的大规模自动生成
  • 5.3.2 指令集的进化
  • 5.3.3 拒绝采样
  • 5.4 实战：打造具有多轮对话能力的行业智能助手
  • 5.4.1 数据准备
  • 5.4.2 数据处理
  • 5.4.3 模型训练
  • 5.4.4 评测
  • 参考文献
  • 第6章 对齐（下）
  • 6.1 强化学习微调的必要性
  • 6.2 人类偏好对齐的强化学习建模
  • 6.3 RLHF
  • 6.3.1 RLHF技术基本流程
  • 6.3.2 奖励模型
  • 6.3.3 PPO算法
  • 6.4 RLAIF
  • 6.4.1 偏好标注
  • 6.4.2 微调技术路线
  • 6.4.3 评估
  • 6.5 实战：DeepSpeed-Chat代码解析
  • 6.5.1 训练奖励模型
  • 6.5.2 PPO训练
  • 6.6 DPO算法
  • 6.6.1 DPO算法目标函数推导
  • 6.6.2 Online DPO算法
  • 参考文献
  • 第7章 推理与部署
  • 7.1 推理加速
  • 7.1.1 常规工程化手段
  • 7.1.2 自注意力计算访存优化
  • 7.1.3 推测解码
  • 7.2 量化
  • 7.2.1 量化感知训练
  • 7.2.2 训练后量化
  • 7.3 部署
  • 7.3.1 TensorRT-LLM
  • 7.3.2 vLLM
  • 7.3.3 DeepSpeed Inference
  • 7.3.4 SGLang
  • 7.3.5 平台选型建议
  • 7.4 实战：使用FastChat部署Qwen 14B
  • 7.4.1 准备工作
  • 7.4.2 部署
  • 参考文献
  • 第8章 多模态大模型
  • 8.1 多模态技术路线
  • 8.2 桥接多模态大模型
  • 8.2.1 Flamingo
  • 8.2.2 BLIP系列
  • 8.2.3 LLaVA
  • 8.2.4 OneLLM
  • 8.3 原生多模态大模型
  • 8.3.1 Gemini
  • 8.3.2 GPT-4o
  • 8.3.3 Chameleon
  • 参考文献
  • 第9章 AI智能体
  • 9.1 AI智能体架构
  • 9.1.1 感知
  • 9.1.2 规划
  • 9.1.3 记忆
  • 9.1.4 行动
  • 9.2 开发框架
  • 9.2.1 LangChain
  • 9.2.2 AutoGen
  • 9.2.3 AGENTS
  • 9.2.4 MetaGPT
  • 参考文献
展开全部

评分及书评

尚无评分
目前还没人评分

出版方

清华大学出版社

清华大学出版社成立于1980年6月，是由教育部主管、清华大学主办的综合出版单位。植根于“清华”这座久负盛名的高等学府，秉承清华人“自强不息，厚德载物”的人文精神，清华大学出版社在短短二十多年的时间里，迅速成长起来。清华大学出版社始终坚持弘扬科技文化产业、服务科教兴国战略的出版方向，把出版高等学校教学用书和科技图书作为主要任务，并为促进学术交流、繁荣出版事业设立了多项出版基金，逐渐形成了以出版高水平的教材和学术专著为主的鲜明特色，在教育出版领域树立了强势品牌。