科技 类型
可以朗读 语音朗读
195千字 字数
2024-12-01 发行日期
展开全部

主编推荐语

全面讲解RAG技术、应用与系统构建。

内容简介

人工智能已在多个行业得到成功应用，大模型的应用已成为突破性进展的重要驱动力，而在特定垂直领域，如医疗、法律、金融等，大模型微调面临独特的挑战和需求。

本书致力于大型语言模型微调与应用的关键技术，本书探讨两个热门应用方向：大模型的知识专业性和时效性。

本书剖析了垂直领域大模型训练的背景及意义，探讨大模型在垂直领域的迁移学习、应用部署与效果评估等核心内容，结合实际案例，深入浅出地解析了每个环节的关键问题和解决方案，引领读者了解行业内最新研究成果与发展趋势，方便读者快捷地嫁接到各个行业。

目录

  • 版权信息
  • 内容简介
  • 前言
  • 第1章 从零开始大模型之旅
  • 1.1 对话机器人历史
  • 1.1.1 人机同频交流
  • 1.1.2 人机对话发展历史
  • 1.2 人工智能
  • 1.2.1 从感知到创造
  • 1.2.2 通用人工智能
  • 1.2.3 发展方向
  • 1.2.4 本书焦点
  • 1.3 本章小结
  • 第2章 大模型私有化部署
  • 2.1 CUDA环境准备
  • 2.1.1 基础环境
  • 2.1.2 大模型运行环境
  • 2.1.3 安装显卡驱动
  • 2.1.4 安装CUDA
  • 2.1.5 安装cuDNN
  • 2.2 深度学习环境准备
  • 2.2.1 安装Anaconda环境
  • 2.2.2 服务器环境下的环境启动
  • 2.2.3 安装PyTorch
  • 2.3 GLM-3和GLM-4
  • 2.3.1 GLM-3介绍
  • 2.3.2 GLM-4介绍
  • 2.4 GLM-4私有化部署
  • 2.4.1 创建虚拟环境
  • 2.4.2 下载GLM-4项目文件
  • 2.4.3 安装项目依赖包
  • 2.4.4 下载模型权重
  • 2.5 运行GLM-4的方式
  • 2.5.1 基于命令行的交互式对话
  • 2.5.2 基于Gradio库的Web端对话应用
  • 2.5.3 OpenAI风格的API调用方法
  • 2.5.4 模型量化部署
  • 2.6 本章小结
  • 第3章 大模型理论基础
  • 3.1 自然语言领域中的数据
  • 3.1.1 时间序列数据
  • 3.1.2 分词
  • 3.1.3 Token
  • 3.1.4 Embedding
  • 3.1.5 语义向量空间
  • 3.2 语言模型历史演进
  • 3.2.1 语言模型历史演进
  • 3.2.2 统计语言模型
  • 3.2.3 神经网络语言模型
  • 3.3 注意力机制
  • 3.3.1 RNN模型
  • 3.3.2 Seq2Seq模型
  • 3.3.3 Attention注意力机制
  • 3.4 Transformer架构
  • 3.4.1 整体架构
  • 3.4.2 Self-Attention
  • 3.4.3 Multi-Head Attention
  • 3.4.4 Encoder
  • 3.4.5 Decoder
  • 3.4.6 实验效果
  • 3.5 本章小结
  • 第4章 大模型开发工具
  • 4.1 Huggingface
  • 4.1.1 Huggingface介绍
  • 4.1.2 安装Transformers库
  • 4.2 大模型开发工具
  • 4.2.1 开发范式
  • 4.2.2 Transformers库核心设计
  • 4.3 Transformers库详解
  • 4.3.1 NLP任务处理全流程
  • 4.3.2 数据转换形式
  • 4.3.3 Tokenizer
  • 4.3.4 模型加载和解读
  • 4.3.5 模型的输出
  • 4.3.6 模型的保存
  • 4.4 全量微调训练方法
  • 4.4.1 Datasets库和Accelerate库
  • 4.4.2 数据格式
  • 4.4.3 数据预处理
  • 4.4.4 模型训练的参数
  • 4.4.5 模型训练
  • 4.4.6 模型评估
  • 4.5 本章小结
  • 第5章 高效微调方法
  • 5.1 主流的高效微调方法介绍
  • 5.1.1 微调方法介绍
  • 5.1.2 Prompt的提出背景
  • 5.2 PEFT库快速入门
  • 5.2.1 介绍
  • 5.2.2 设计理念
  • 5.2.3 使用
  • 5.3 Prefix Tuning
  • 5.3.1 背景
  • 5.3.2 核心技术解读
  • 5.3.3 实现步骤
  • 5.3.4 实验结果
  • 5.4 Prompt Tuning
  • 5.4.1 背景
  • 5.4.2 核心技术解读
  • 5.4.3 实现步骤
  • 5.4.4 实验结果
  • 5.5 P-Tuning
  • 5.5.1 背景
  • 5.5.2 核心技术解读
  • 5.5.3 实现步骤
  • 5.5.4 实验结果
  • 5.6 P-Tuning V2
  • 5.6.1 背景
  • 5.6.2 核心技术解读
  • 5.6.3 实现步骤
  • 5.6.4 实验结果
  • 5.7 本章小结
  • 第6章 LoRA微调GLM-4实战
  • 6.1 LoRA
  • 6.1.1 背景
  • 6.1.2 核心技术解读
  • 6.1.3 LoRA的特点
  • 6.1.4 实现步骤
  • 6.1.5 实验结果
  • 6.2 AdaLoRA
  • 6.2.1 LoRA的缺陷
  • 6.2.2 核心技术解读
  • 6.2.3 实现步骤
  • 6.2.4 实验结果
  • 6.3 QLoRA
  • 6.3.1 背景
  • 6.3.2 技术原理解析
  • 6.4 量化技术
  • 6.4.1 背景
  • 6.4.2 量化技术分类
  • 6.4.3 BitsAndBytes库
  • 6.4.4 实现步骤
  • 6.4.5 实验结果
  • 6.5 本章小结
  • 第7章 提示工程入门与实践
  • 7.1 探索大模型潜力边界
  • 7.1.1 潜力的来源
  • 7.1.2 Prompt的六个建议
  • 7.2 Prompt实践
  • 7.2.1 四个经典推理问题
  • 7.2.2 大模型原始表现
  • 7.3 提示工程
  • 7.3.1 提示工程的概念
  • 7.3.2 Few-shot
  • 7.3.3 通过思维链提示法提升模型推理能力
  • 7.3.4 Zero-shot-CoT提示方法
  • 7.3.5 Few-shot-CoT提示方法
  • 7.4 Least-to-Most Prompting（LtM提示方法）
  • 7.4.1 Least-to-Most Prompting基本概念
  • 7.4.2 Zero-shot-LtM提示过程
  • 7.4.3 效果验证
  • 7.5 提示使用技巧
  • 7.5.1 B.R.O.K.E提示框架
  • 7.5.2 C.O.A.S.T提示框架
  • 7.5.3 R.O.S.E.S提示框架
  • 7.6 本章小结
  • 第8章 大模型与中间件
  • 8.1 AI Agent
  • 8.1.1 从AGI到Agent
  • 8.1.2 Agent概念
  • 8.1.3 AI Agent应用领域
  • 8.2 大模型对话模式
  • 8.2.1 模型分类
  • 8.2.2 多角色对话模式
  • 8.3 多角色对话模式实战
  • 8.3.1 messages参数结构及功能解释
  • 8.3.2 messages参数中的角色划分
  • 8.4 Function Calling功能
  • 8.4.1 发展历史
  • 8.4.2 简单案例
  • 8.5 实现多函数
  • 8.5.1 定义多个工具函数
  • 8.5.2 测试结果
  • 8.6 Bing搜索嵌入LLM
  • 8.6.1 昙花一现的Browsing with Bing
  • 8.6.2 需求分析
  • 8.6.3 Google搜索API的获取和使用
  • 8.6.4 构建自动搜索问答机器人
  • 8.7 本章小结
  • 第9章 LangChain理论与实战
  • 9.1 整体介绍
  • 9.1.1 什么是LangChain
  • 9.1.2 意义
  • 9.1.3 整体架构
  • 9.2 Model I/O
  • 9.2.1 架构
  • 9.2.2 LLM
  • 9.2.3 ChatModel
  • 9.2.4 Prompt Template
  • 9.2.5 实战：LangChain接入本地GLM
  • 9.2.6 Parser
  • 9.3 Chain
  • 9.3.1 基础概念
  • 9.3.2 常用的Chain
  • 9.4 Memory
  • 9.4.1 基础概念
  • 9.4.2 流程解读
  • 9.4.3 常用Memory
  • 9.5 Agents
  • 9.5.1 理论
  • 9.5.2 快速入门
  • 9.5.3 架构
  • 9.6 LangChain实现Function Calling
  • 9.6.1 工具定义
  • 9.6.2 OutputParser
  • 9.6.3 使用
  • 9.7 本章小结
  • 第10章 实战：垂直领域大模型
  • 10.1 QLoRA微调GLM-4
  • 10.1.1 定义全局变量和参数
  • 10.1.2 红十字会数据准备
  • 10.1.3 训练模型
  • 10.2 大模型接入数据库
  • 10.2.1 大模型挑战
  • 10.2.2 数据集准备
  • 10.2.3 SQLite3
  • 10.2.4 获取数据库信息
  • 10.2.5 构建tools信息
  • 10.2.6 模型选择
  • 10.2.7 效果测试
  • 10.3 LangChain重写查询
  • 10.3.1 环境配置
  • 10.3.2 工具使用
  • 10.4 RAG检索增强
  • 10.4.1 自动化数据生成
  • 10.4.2 RAG搭建
  • 10.5 本章小结
  • 参考文献
展开全部

评分及书评

尚无评分
目前还没人评分

出版方

电子工业出版社

电子工业出版社成立于1982年10月，是国务院独资、工信部直属的中央级科技与教育出版社，是专业的信息技术知识集成和服务提供商。经过三十多年的建设与发展，已成为一家以科技和教育出版、期刊、网络、行业支撑服务、数字出版、软件研发、软科学研究、职业培训和教育为核心业务的现代知识服务集团。出版物内容涵盖了电子信息技术的各个分支及工业技术、经济管理、科普与少儿、社科人文等领域，综合出版能力位居全国出版行业前列。