3.0
用户推荐指数
互联网 类型
可以朗读 语音朗读
159千字 字数
2023-07-01 发行日期
展开全部

主编推荐语

BAT资深大模型专家撰写，深入解析ChatGPT技术、算法、原理和训练方法。

内容简介

本书是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的著作，也是一本能指导你搭建专属ChatGPT和实现大模型迁移及私有化的著作。本书得到了MOSS系统负责人邱锡鹏等多位专家的高度评价和鼎力推荐。

全书集理论、实战和产业应用于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究ChatGPT本身，还是正在研发或使用其他大模型，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。

目录

  • 版权信息
  • 赞誉
  • 前言
  • 第1章 了解ChatGPT
  • 1.1 ChatGPT的由来
  • 1.1.1 什么是ChatGPT
  • 1.1.2 ChatGPT的发展历史
  • 1.2 ChatGPT的工作流程
  • 1.3 ChatGPT用例
  • 1.3.1 日常任务
  • 1.3.2 编写代码
  • 1.3.3 文本生成
  • 1.3.4 办公自动化
  • 1.4 本章小结
  • 第2章 ChatGPT原理解构
  • 2.1 背景知识
  • 2.1.1 自然语言处理的发展历程
  • 2.1.2 大型语言模型的发展历程
  • 2.2 ChatGPT同类产品
  • 2.2.1 BlenderBot 3.0
  • 2.2.2 LaMDA
  • 2.2.3 Sparrow
  • 2.3 ChatGPT的工作原理
  • 2.3.1 预训练与提示学习阶段
  • 2.3.2 结果评价与奖励建模阶段
  • 2.3.3 强化学习与自我进化阶段
  • 2.4 算法细节
  • 2.4.1 标注数据
  • 2.4.2 建模思路
  • 2.4.3 存在的问题
  • 2.5 关于ChatGPT的思考
  • 2.6 本章小结
  • 第3章 预训练语言模型
  • 3.1 Transformer结构
  • 3.2 基于Encoder结构的模型
  • 3.2.1 BERT
  • 3.2.2 RoBERTa
  • 3.2.3 ERNIE
  • 3.2.4 SpanBERT
  • 3.2.5 MacBERT
  • 3.2.6 ALBERT
  • 3.2.7 NeZha
  • 3.2.8 UniLM
  • 3.2.9 GLM
  • 3.2.10 ELECTRA
  • 3.3 基于Decoder结构的模型
  • 3.3.1 GPT
  • 3.3.2 CPM
  • 3.3.3 PaLM
  • 3.3.4 OPT
  • 3.3.5 Bloom
  • 3.3.6 LLaMA
  • 3.4 基于Encoder-Decoder结构的模型
  • 3.4.1 MASS
  • 3.4.2 BART
  • 3.4.3 T5
  • 3.5 基于夸夸闲聊数据的UniLM模型实战
  • 3.5.1 项目简介
  • 3.5.2 数据预处理模块
  • 3.5.3 UniLM模型模块
  • 3.5.4 模型训练模块
  • 3.5.5 模型推理模块
  • 3.6 本章小结
  • 第4章 强化学习基础
  • 4.1 机器学习的分类
  • 4.1.1 有监督学习
  • 4.1.2 无监督学习
  • 4.1.3 强化学习
  • 4.2 OpenAI Gym
  • 4.2.1 OpenAI Gym API简介
  • 4.2.2 环境简介
  • 4.3 强化学习算法
  • 4.3.1 Q-learning算法
  • 4.3.2 SARSA算法
  • 4.3.3 DQN算法
  • 4.3.4 Policy Gradient算法
  • 4.3.5 Actor-Critic算法
  • 4.4 本章小结
  • 第5章 提示学习与大型语言模型的涌现
  • 5.1 提示学习
  • 5.1.1 什么是提示学习
  • 5.1.2 提示模板设计
  • 5.1.3 答案空间映射设计
  • 5.1.4 多提示学习方法
  • 5.2 上下文学习
  • 5.2.1 什么是上下文学习
  • 5.2.2 预训练阶段提升上下文学习能力
  • 5.2.3 推理阶段优化上下文学习的效果
  • 5.3 思维链
  • 5.4 基于提示的文本情感分析实战
  • 5.4.1 项目简介
  • 5.4.2 数据预处理模块
  • 5.4.3 BERT模型模块
  • 5.4.4 模型训练模块
  • 5.4.5 模型推理模块
  • 5.5 本章小结
  • 第6章 大型语言模型预训练
  • 6.1 大型预训练模型简介
  • 6.2 预训练模型中的分词器
  • 6.2.1 BPE
  • 6.2.2 WordPiece
  • 6.2.3 Unigram
  • 6.2.4 SentencePiece
  • 6.3 分布式深度学习框架
  • 6.3.1 并行范式简介
  • 6.3.2 Megatron-LM
  • 6.3.3 DeepSpeed
  • 6.3.4 Colossal-AI
  • 6.3.5 FairScale
  • 6.3.6 ParallelFormers
  • 6.3.7 OneFlow
  • 6.4 基于大型语言模型的预训练实战
  • 6.4.1 项目简介
  • 6.4.2 数据预处理模块
  • 6.4.3 执行模型训练
  • 6.5 基于大型语言模型的信息抽取实战
  • 6.5.1 项目简介
  • 6.5.2 数据预处理模块
  • 6.5.3 Freeze微调模块
  • 6.5.4 LoRA微调模块
  • 6.5.5 P-Tuning v2微调模块
  • 6.6 本章小结
  • 第7章 GPT系列模型分析
  • 7.1 GPT-1～GPT-4系列模型分析
  • 7.1.1 GPT-1和GPT-2模型
  • 7.1.2 GPT-3模型
  • 7.1.3 GPT-3的衍生模型：Code-X
  • 7.1.4 GPT-4模型
  • 7.2 InstructGPT模型分析
  • 7.2.1 模型简介
  • 7.2.2 数据收集
  • 7.2.3 模型原理
  • 7.2.4 模型讨论
  • 7.3 基于GPT-2模型的文本摘要实战
  • 7.3.1 项目简介
  • 7.3.2 数据预处理模块
  • 7.3.3 GPT-2模型模块
  • 7.3.4 模型训练模块
  • 7.3.5 模型推理模块
  • 7.4 本章小结
  • 第8章 PPO算法与RLHF理论实战
  • 8.1 PPO算法简介
  • 8.1.1 策略梯度算法回顾
  • 8.1.2 PPO算法原理剖析
  • 8.1.3 PPO算法对比与评价
  • 8.2 RLHF框架简介
  • 8.2.1 RLHF内部剖析
  • 8.2.2 RLHF价值分析
  • 8.2.3 RLHF问题分析
  • 8.3 基于PPO的正向情感倾向性生成项目实战
  • 8.3.1 项目任务与数据集分析
  • 8.3.2 数据预处理模块
  • 8.3.3 模型训练模块
  • 8.3.4 模型生成模块
  • 8.3.5 模型评估模块
  • 8.4 问题与思考
  • 8.5 本章小结
  • 第9章 类ChatGPT实战
  • 9.1 任务设计
  • 9.2 数据准备
  • 9.3 基于文档生成问题任务的类ChatGPT实战
  • 9.3.1 SFT阶段
  • 9.3.2 RM阶段
  • 9.3.3 RL阶段
  • 9.4 本章小结
  • 第10章 ChatGPT发展趋势
  • 10.1 AIGC的发展趋势
  • 10.1.1 AI云边协同
  • 10.1.2 AI工具应用
  • 10.1.3 AI可控生成
  • 10.1.4 AI辅助决策
  • 10.2 ChatGPT 2C应用场景
  • 10.2.1 个人助手
  • 10.2.2 知识导师
  • 10.2.3 创意集市
  • 10.2.4 情感伴侣
  • 10.3 ChatGPT 2B应用场景
  • 10.3.1 智能客服
  • 10.3.2 办公助手
  • 10.3.3 软件研发
  • 10.3.4 决策辅助
  • 10.4 行业参考建议
  • 10.5 本章小结
展开全部

评分及书评

3.0
8个评分
  • 用户头像
    给这本书评了
    5.0

    不是一遍就能看懂的。有很多底层逻辑方面的介绍，很详细，也很不容易理解。

      转发
      评论

    出版方

    机械工业出版社

    机械工业出版社是全国优秀出版社，自1952年成立以来，坚持为科技、为教育服务，以向行业、向学校提供优质、权威的精神产品为宗旨，以“服务社会和人民群众需求，传播社会主义先进文化”为己任，产业结构不断完善，已由传统的图书出版向着图书、期刊、电子出版物、音像制品、电子商务一体化延伸，现已发展为多领域、多学科的大型综合性出版社，涉及机械、电工电子、汽车、计算机、经济管理、建筑、ELT、科普以及教材、教辅等领域。