互联网 类型
可以朗读 语音朗读
132千字 字数
No.35 科学技术
2025-06-01 发行日期
展开全部

主编推荐语

系统讲解从大模型原理到大模型应用构建。

内容简介

本书从大型模型的结构讲起，让读者了解大型模型的内部实现原理，然后讲解如何在特定任务下对大型模型进行预训练、有监督的微调，以及进行强化学习。通过对模型采用不同方法的训练，持续改进模型在特定任务上的性能。最后，本书将与读者一起探讨如何利用大型模型开发大模型时代的智能应用。

本书共9章，第1章讲解大型模型发展的历史及其带来的变革。第2章深入讲解大型模型内部结构的演进。第3章会尝试自己运行一个大模型。第4章介绍大型模型对模型训练和推理过程中带来的技术挑战和解决办法。第5章讲解如何进行大型模型的预训练以获取大模型的基本能力。

第6章讲解如何对大模型进行有监督的微调，使大型模型输出与人类意图对齐。第7章讲解如何通过强化学习进一步提升大型模型的表现。第8章讲解如何对大模型进行评估。第9章讲解如何利用大模型构建智能应用。

目录

  • 版权信息
  • 内容简介
  • 作者简介
  • 前言
  • 第1章 大模型时代
  • 1.1 大模型的发展历史
  • 1.1.1 注意力机制的发扬光大
  • 1.1.2 从GPT到InstructGPT
  • 1.1.3 ChatGPT惊艳登场
  • 1.1.4 全球首个AI程序员诞生
  • 1.2 大模型时代的新范式
  • 第2章 深入了解大模型
  • 2.1 Transformer横空出世
  • 2.1.1 词典生成
  • 2.1.2 词嵌入
  • 2.1.3 自注意力机制
  • 2.1.4 层归一化
  • 2.1.5 残差连接
  • 2.1.6 前馈模块
  • 2.1.7 Transformer的整体架构
  • 2.1.8 位置编码
  • 2.1.9 解码器的输入输出
  • 2.1.10 掩码机制
  • 2.1.11 交叉注意力
  • 2.1.12 线性分类头
  • 2.2 GPT
  • 2.2.1 GPT-1
  • 2.2.2 GPT-2
  • 2.2.3 GPT-3
  • 2.2.4 GPT-4
  • 2.3 OpenAI o1
  • 2.4 Llama
  • 2.4.1 Llama1
  • 2.4.2 Llama2
  • 2.4.3 Llama3
  • 第3章 运行第1个大模型
  • 3.1 HuggingFace介绍
  • 3.2 下载大模型
  • 3.3 运行大模型
  • 3.4 HuggingFace里的Tokenizer
  • 3.5 HuggingFace里的模型
  • 3.5.1 创建和保存模型
  • 3.5.2 控制大模型的输出
  • 第4章 大模型带来的技术挑战
  • 4.1 GPU的工作原理
  • 4.1.1 CPU和GPU的区别
  • 4.1.2 GPU的架构
  • 4.1.3 GPU里的存储
  • 4.1.4 Tensor Core
  • 4.2 大模型显存占用
  • 4.3 优化器
  • 4.3.1 指数加权平均
  • 4.3.2 SGD
  • 4.3.3 动量梯度下降
  • 4.3.4 RMSProp
  • 4.3.5 Adam
  • 4.3.6 AdamW
  • 4.4 混合精度训练
  • 4.4.1 混合精度训练原理
  • 4.4.2 在PyTorch里进行混合精度训练
  • 4.5 模型的量化技术
  • 4.5.1 量化技术的原理
  • 4.5.2 训练后动态量化
  • 4.5.3 训练后静态量化
  • 4.5.4 量化感知训练
  • 4.5.5 LLM.int8
  • 4.5.6 NF4量化
  • 4.6 梯度累加
  • 4.7 梯度检查点
  • 4.8 分布式训练
  • 4.8.1 分布式数据并行
  • 4.8.2 DeepSpeed ZeRO
  • 4.8.3 Accelerate
  • 4.9 参数高效微调
  • 4.9.1 提示词微调
  • 4.9.2 LoRA
  • 4.10 vLLM
  • 4.10.1 KV Cache
  • 4.10.2 Page Attention
  • 4.10.3 块共享
  • 4.10.4 代码示例
  • 4.11 FlashAttention
  • 第5章 大模型的预训练
  • 5.1 预训练的作用
  • 5.2 预训练的数据
  • 5.3 预训练的方法
  • 5.4 预训练Llama3.1
  • 5.4.1 最简训练代码
  • 5.4.2 数据清洗
  • 5.4.3 数据准备
  • 5.4.4 初始化模型
  • 5.4.5 模型预训练
  • 第6章 大模型的监督微调
  • 6.1 对话模板
  • 6.2 只关注回答
  • 6.3 噪声嵌入微调
  • 6.4 SFT Trainer
  • 第7章 大模型的强化学习
  • 7.1 强化学习基础
  • 7.1.1 强化学习里的基础概念
  • 7.1.2 策略梯度算法
  • 7.1.3 Actor-Critic算法
  • 7.1.4 广义优势估计算法
  • 7.2 近端策略优化
  • 7.3 直接偏好优化
  • 7.3.1 K-L散度
  • 7.3.2 Bradley-Terry模型
  • 7.3.3 DPO的训练目标
  • 7.4 利用TRL库进行PPO训练
  • 7.4.1 奖励模型
  • 7.4.2 PPO模型
  • 第8章 大模型的评估
  • 8.1 困惑度
  • 8.2 人工评估
  • 8.3 可解析的测评集
  • 8.3.1 MMLU
  • 8.3.2 MMLU-PRO
  • 8.3.3 IF-EVAL
  • 8.3.4 BBH
  • 8.3.5 MATH
  • 8.3.6 GPQA
  • 8.4 利用大模型评估
  • 第9章 构建大模型应用
  • 9.1 提示词工程
  • 9.1.1 明确的任务指示
  • 9.1.2 提供上下文信息
  • 9.1.3 赋予大模型角色
  • 9.1.4 给模型思考时间
  • 9.1.5 给模型参考示例
  • 9.2 LangChain介绍
  • 9.3 第1个LangChain程序
  • 9.4 构建一个聊天机器人
  • 9.5 LangChain的进阶功能
  • 9.5.1 对输出进行解析
  • 9.5.2 为提示词增加样例
  • 9.6 检索增强生成
  • 9.6.1 RAG流程
  • 9.6.2 文档分片
  • 9.6.3 向量嵌入模型
  • 9.6.4 向量存储
  • 9.6.5 Retriever
  • 9.6.6 生成回答
  • 9.7 RAG进阶
  • 9.7.1 问题转化
  • 9.7.2 混合检索
  • 9.7.3 索引增强
  • 9.7.4 检索结果重排
  • 9.8 智能体
  • 9.8.1 创建第1个智能体
  • 9.8.2 给智能体定义工具
  • 9.8.3 智能体使用工具的原理
  • 9.8.4 给智能体增加记忆
  • 9.8.5 人与智能体合作
  • 9.8.6 多智能体协作
展开全部

评分及书评

尚无评分
目前还没人评分

出版方

清华大学出版社

清华大学出版社成立于1980年6月，是由教育部主管、清华大学主办的综合出版单位。植根于“清华”这座久负盛名的高等学府，秉承清华人“自强不息，厚德载物”的人文精神，清华大学出版社在短短二十多年的时间里，迅速成长起来。清华大学出版社始终坚持弘扬科技文化产业、服务科教兴国战略的出版方向，把出版高等学校教学用书和科技图书作为主要任务，并为促进学术交流、繁荣出版事业设立了多项出版基金，逐渐形成了以出版高水平的教材和学术专著为主的鲜明特色，在教育出版领域树立了强势品牌。