5.0 用户推荐指数
科技
类型
7.4
豆瓣评分
可以朗读
语音朗读
249千字
字数
2024-07-01
发行日期
展开全部
主编推荐语
全面介绍大模型技术的发展与应用。
内容简介
本书主要介绍了大模型的发展与演变、相关技术、应用场景、未来发展趋势和前景。本书首先回顾了大模型技术的起源和发展历程，然后介绍了数据预处理、Transformer、预训练与微调、模型推理和PyTorch框架等技术。此外，本书还通过具体的案例和实践展示了如何应用大模型技术来解决实际问题。
目录
- 版权信息
- 内容提要
- 推荐语
- 前言
- 资源与支持
- 第1章 大模型概述
- 1.1 大模型介绍
- 1.1.1 生成原理
- 1.1.2 关键技术
- 1.1.3 关键术语
- 1.2 大模型分类
- 1.2.1 按模型结构划分
- 1.2.2 按模态划分
- 1.2.3 按微调方式划分
- 1.2.4 带插件系统的大模型
- 1.3 大模型的开发流程
- 1.3.1 确定项目目标
- 1.3.2 数据准备
- 1.3.3 模型设计
- 1.3.4 模型训练
- 1.3.5 模型部署
- 1.3.6 模型应用
- 1.4 应用场景
- 1.5 未来发展方向
- 1.5.1 AI智能体
- 1.5.2 具身智能
- 1.6 小结
- 1.7 课后习题
- 第2章 数据预处理
- 2.1 文本数据预处理
- 2.1.1 构造方法
- 2.1.2 构造流程
- 2.1.3 处理手段
- 2.1.4 常用类库
- 2.2 图像数据预处理
- 2.2.1 图像去噪
- 2.2.2 图像重采样
- 2.2.3 图像增强
- 2.3 图文对数据预处理
- 2.4 Datasets库
- 2.4.1 安装与配置
- 2.4.2 使用方法
- 2.5 小结
- 2.6 课后习题
- 第3章 Transformer
- 3.1 注意力机制
- 3.1.1 自注意力机制
- 3.1.2 多头自注意力机制
- 3.2 Transformer简介
- 3.2.1 位置编码
- 3.2.2 整体结构
- 3.2.3 稀疏Transformer
- 3.3 Visual Transformer简介
- 3.3.1 模型结构
- 3.3.2 与Transformer对比
- 3.4 Q-Former
- 3.5 transformers库
- 3.5.1 基本组成
- 3.5.2 使用方法
- 3.5.3 微调实践
- 3.6 小结
- 3.7 课后习题
- 第4章 预训练
- 4.1 预训练介绍
- 4.1.1 发展历程
- 4.1.2 模型类型
- 4.1.3 掩码预训练
- 4.2 预训练任务
- 4.3 应用于下游任务的方法
- 4.3.1 迁移学习
- 4.3.2 微调
- 4.4 预训练模型的应用及评判基准
- 4.5 小结
- 4.6 课后习题
- 第5章 训练优化
- 5.1 模型训练挑战
- 5.2 训练优化技术
- 5.2.1 数据并行
- 5.2.2 模型并行
- 5.2.3 流水线并行
- 5.2.4 混合精度训练
- 5.3 训练加速工具
- 5.3.1 DeepSpeed
- 5.3.2 Megatron-LM
- 5.3.3 Colossal-AI
- 5.3.4 BMTrain
- 5.4 小结
- 5.5 课后习题
- 第6章 模型微调
- 6.1 监督微调
- 6.2 PEFT技术
- 6.2.1 Adapter tuning
- 6.2.2 Prefix tuning
- 6.2.3 Prompt tuning
- 6.2.4 P-tuning v1
- 6.2.5 P-tuning v2
- 6.2.6 LoRA
- 6.2.7 QLoRA
- 6.3 PEFT库
- 6.3.1 关键步骤
- 6.3.2 微调方法
- 6.4 小结
- 6.5 课后习题
- 第7章 模型推理
- 7.1 模型压缩和加速技术
- 7.1.1 模型量化
- 7.1.2 知识蒸馏
- 7.1.3 模型剪枝
- 7.1.4 稀疏激活
- 7.2 推理服务提升技术
- 7.2.1 KV Cache
- 7.2.2 PagedAttention
- 7.3 小结
- 7.4 课后习题
- 第8章 PyTorch框架
- 8.1 安装与配置
- 8.2 基础组件
- 8.2.1 张量
- 8.2.2 CUDA张量
- 8.2.3 Autograd
- 8.2.4 DataLoader
- 8.3 构建线性回归模型
- 8.4 构建Transformer模型
- 8.4.1 数据准备与参数设置
- 8.4.2 位置编码
- 8.4.3 掩码操作
- 8.4.4 注意力计算
- 8.4.5 前馈神经网络
- 8.4.6 编码器与解码器
- 8.4.7 构建Transformer
- 8.4.8 模型训练
- 8.4.9 模型测试
- 8.5 小结
- 8.6 课后习题
- 第9章 向量数据库
- 9.1 Milvus
- 9.1.1 安装与配置
- 9.1.2 Milvus 1.0的基本操作
- 9.1.3 Milvus 2.0的基本操作
- 9.2 Pinecone
- 9.2.1 注册与配置
- 9.2.2 基本操作
- 9.3 Chroma
- 9.3.1 安装与配置
- 9.3.2 基本操作
- 9.4 小结
- 9.5 课后习题
- 第10章 前端可视化工具
- 10.1 Gradio
- 10.1.1 Gradio安装
- 10.1.2 常用操作
- 10.1.3 Interface使用详解
- 10.1.4 Blocks使用详解
- 10.2 Streamlit
- 10.2.1 安装与配置
- 10.2.2 数据展示API
- 10.2.3 控件API
- 10.2.4 页面布局API
- 10.2.5 状态存储
- 10.3 小结
- 10.4 课后习题
- 第11章 LangChain
- 11.1 LangChain组件
- 11.1.1 Models
- 11.1.2 Prompts
- 11.1.3 Indexes
- 11.1.4 Memory
- 11.1.5 Chains
- 11.1.6 Agents
- 11.2 基础操作
- 11.2.1 Prompts的用法
- 11.2.2 Chains的用法
- 11.2.3 Agents的用法
- 11.2.4 Memory的用法
- 11.3 进阶实战
- 11.3.1 对话式检索问答
- 11.3.2 长短文本总结
- 11.3.3 结合向量数据库实现问答
- 11.4 基于私域数据的问答系统
- 11.4.1 环境准备
- 11.4.2 模型测试
- 11.4.3 构建提示词模板
- 11.4.4 生成词向量
- 11.4.5 创建向量数据库
- 11.4.6 构建问答系统
- 11.5 小结
- 11.6 课后习题
- 第12章 常用开源模型的部署与微调
- 12.1 ChatGLM3模型部署与微调
- 12.1.1 环境准备
- 12.1.2 载入模型
- 12.1.3 数据准备
- 12.1.4 定义模型
- 12.1.5 模型训练
- 12.1.6 保存模型
- 12.1.7 模型评估
- 12.2 Baichuan2模型部署与微调
- 12.2.1 环境准备
- 12.2.2 载入模型
- 12.2.3 数据准备
- 12.2.4 定义模型
- 12.2.5 模型训练
- 12.2.6 保存模型
- 12.2.7 模型评估
- 12.3 LLaMA2模型部署与微调
- 12.3.1 模型使用申请
- 12.3.2 环境准备
- 12.3.3 载入模型
- 12.3.4 数据准备
- 12.3.5 模型训练
- 12.3.6 保存模型
- 12.3.7 模型评估
- 12.4 小结
- 12.5 课后习题
- 参考文献
展开全部
评分及书评
5.0
4个评分
给这本书评了5.0大模型开发入门级的优秀参考书该书是一本全面且实用的大模型技术指南。它系统介绍了大模型的发展历程、关键技术，如数据预处理、transformer、预训练与微调。此外，书中还通过丰富的案例和实践，展示了如何将大模型技术应用于实际问题的解决，为读者提供了清晰的学习路径。本书的一大亮点是内容深入浅出。无论是初学者还是有一定基础的读者，都能从中找到适合自己的学习内容。同时，书中附带的源码和丰富的教学资源，为学习者提供了更多的实践机会，有助于更好地理解和掌握大模型技术。总体而言，《大模型导论》是学习大模型技术的优秀参考书，值得相关领域的读者一读。
出版方
人民邮电出版社
人民邮电出版社是工业和信息化部主管的大型专业出版社，成立于1953年10月1日。人民邮电出版社坚持“立足信息产业、面向现代社会、传播科学知识、服务科教兴国”，致力于通信、计算机、电子技术、教材、少儿、经管、摄影、集邮、旅游、心理学等领域的专业图书出版。
