互联网 类型
可以朗读 语音朗读
123千字 字数
2025-07-01 发行日期
展开全部

主编推荐语

本书围绕大语言模型应用程序的安全问题展开。

内容简介

全书共12章，分三个部分层层递进。

第一部分（第1-3章）以真实案例引入大语言模型应用程序面临的安全挑战，介绍作者创立的应对项目及经验，同时探讨大语言模型应用架构与数据流控制的重要性，搭建知识框架。

第二部分（第4-9章）剖析开发大语言模型应用程序的主要风险，既包含注入攻击、敏感信息泄露等传统安全风险，也涵盖训练数据投毒、幻觉等新兴AI系统特有的问题，每章通过实际案例分析，揭示风险及影响，并给出预防和减轻风险的建议。

第三部分（第10-12章）通过科幻故事案例警示安全漏洞叠加的危害，阐述将安全实践融入软件开发全流程的方法，并展望大语言模型与AI技术的发展趋势，引入负责任的人工智能软件工程（RAISE）框架，助力读者维护软件安全。

目录

  • 版权信息
  • O'Reilly Media, Inc.介绍
  • 本书赞誉
  • 译者序
  • 前言
  • 第1章 聊天机器人之殇
  • 1.1 让我们谈谈Tay
  • 1.2 Tay的光速堕落
  • 1.3 为什么Tay会失控
  • 1.4 这是一个棘手的问题
  • 第2章 OWASP大语言模型应用十大安全风险
  • 2.1 关于OWASP
  • 2.2 大语言模型应用十大风险项目
  • 2.2.1 项目执行
  • 2.2.2 反响
  • 2.2.3 成功的关键
  • 2.3 本书与十大风险榜单
  • 第3章 架构与信任边界
  • 3.1 人工智能、神经网络和大语言模型：三者有何区别
  • 3.2 Transformer革命：起源、影响及其与LLM的关系
  • 3.2.1 Transformer的起源
  • 3.2.2 Transformer架构对AI的影响
  • 3.3 基于大语言模型的应用类型
  • 3.4 大语言模型应用架构
  • 3.4.1 信任边界
  • 3.4.2 模型
  • 3.4.3 用户交互
  • 3.4.4 训练数据
  • 3.4.5 访问实时外部数据源
  • 3.4.6 访问内部服务
  • 3.5 结论
  • 第4章 提示词注入
  • 4.1 提示词注入攻击案例
  • 4.1.1 强势诱导
  • 4.1.2 反向心理学
  • 4.1.3 误导
  • 4.1.4 通用和自动化对抗性提示
  • 4.2 提示词注入的影响
  • 4.3 直接与间接提示词注入
  • 4.3.1 直接提示词注入
  • 4.3.2 间接提示词注入
  • 4.3.3 关键差异
  • 4.4 缓解提示词注入风险
  • 4.4.1 速率限制
  • 4.4.2 基于规则的输入过滤
  • 4.4.3 使用专用大语言模型进行过滤
  • 4.4.4 添加提示结构
  • 4.4.5 对抗性训练
  • 4.4.6 悲观信任边界定义
  • 4.5 结论
  • 第5章 你的大语言模型是否知道得太多了
  • 5.1 现实世界中的案例
  • 5.1.1 Lee Luda案例
  • 5.1.2 GitHub Copilot和OpenAI的Codex
  • 5.2 知识获取方法
  • 5.3 模型训练
  • 5.3.1 基础模型训练
  • 5.3.2 基础模型的安全考虑
  • 5.3.3 模型微调
  • 5.3.4 训练风险
  • 5.4 检索增强生成
  • 5.4.1 直接网络访问
  • 5.4.2 访问数据库
  • 5.5 从用户交互中学习
  • 5.6 结论
  • 第6章 语言模型会做电子羊的梦吗
  • 6.1 为什么大语言模型会产生幻觉
  • 6.2 幻觉的类型
  • 6.3 实例分析
  • 6.3.1 虚构的法律先例
  • 6.3.2 航空公司聊天机器人诉讼案
  • 6.3.3 无意的人格诋毁
  • 6.3.4 开源包幻觉现象
  • 6.4 谁该负责
  • 6.5 缓解最佳实践
  • 6.5.1 扩展领域特定知识
  • 6.5.2 思维链推理：提高准确性的新路径
  • 6.5.3 反馈循环：用户输入在降低风险中的作用
  • 6.5.4 明确传达预期用途和局限性
  • 6.5.5 用户教育：以知识赋能用户
  • 6.6 结论
  • 第7章 不要相信任何人
  • 7.1 零信任解码
  • 7.2 为什么要如此偏执
  • 7.3 为大模型实施零信任架构
  • 7.3.1 警惕过度授权
  • 7.3.2 确保输出处理的安全性
  • 7.4 构建输出过滤器
  • 7.4.1 使用正则表达式查找个人信息
  • 7.4.2 评估毒性
  • 7.4.3 将过滤器链接到大模型
  • 7.4.4 安全转义
  • 7.5 结论
  • 第8章 保护好你的钱包
  • 8.1 拒绝服务攻击
  • 8.1.1 基于流量的攻击
  • 8.1.2 协议攻击
  • 8.1.3 应用层攻击
  • 8.1.4 史诗级拒绝服务攻击：Dyn事件
  • 8.2 针对大模型的模型拒绝服务攻击
  • 8.2.1 稀缺资源攻击
  • 8.2.2 上下文窗口耗尽
  • 8.2.3 不可预测的用户输入
  • 8.3 拒绝钱包攻击
  • 8.4 模型克隆
  • 8.5 缓解策略
  • 8.5.1 特定领域防护
  • 8.5.2 输入验证和清理
  • 8.5.3 严格的速率限制
  • 8.5.4 资源使用上限
  • 8.5.5 监控和告警
  • 8.5.6 财务阈值和告警
  • 8.6 结论
  • 第9章 寻找最薄弱环节
  • 9.1 供应链基础
  • 9.1.1 软件供应链安全
  • 9.1.2 Equifax数据泄露事件
  • 9.1.3 SolarWinds黑客攻击
  • 9.1.4 Log4Shell漏洞
  • 9.2 理解大语言模型供应链
  • 9.2.1 开源模型风险
  • 9.2.2 训练数据污染
  • 9.2.3 意外不安全的训练数据
  • 9.2.4 不安全的插件
  • 9.3 建立供应链追踪工件
  • 9.3.1 软件物料清单的重要性
  • 9.3.2 模型卡片
  • 9.3.3 模型卡片与软件物料清单的比较
  • 9.3.4 CycloneDX：SBOM标准
  • 9.3.5 机器学习物料清单的兴起
  • 9.3.6 构建机器学习物料清单示例
  • 9.4 大语言模型供应链安全的未来
  • 9.4.1 数字签名和水印技术
  • 9.4.2 漏洞分类和数据库
  • 9.5 结论
  • 第10章 从未来的历史中学习
  • 10.1 回顾OWASP大语言模型应用程序十大安全风险
  • 10.2 案例研究
  • 10.2.1 《独立日》：一场备受瞩目的安全灾难
  • 10.2.2 《2001太空漫游》中的安全缺陷
  • 10.3 结论
  • 第11章 信任流程
  • 11.1 DevSecOps的演进历程
  • 11.1.1 机器学习运维
  • 11.1.2 大模型运维
  • 11.2 将安全性构建到大模型运维中
  • 11.3 大模型开发过程中的安全性
  • 11.3.1 保护你的持续集成和持续部署
  • 11.3.2 大语言模型专用安全测试工具
  • 11.3.3 管理你的供应链
  • 11.4 运用防护机制保护应用程序
  • 11.4.1 防护机制在大模型安全策略中的作用
  • 11.4.2 开源与商业防护方案比较
  • 11.4.3 自定义防护机制与成熟防护机制的融合应用
  • 11.5 应用监控
  • 11.5.1 记录每个提示和响应
  • 11.5.2 日志和事件集中管理
  • 11.5.3 用户与实体行为分析
  • 11.6 建立你的AI红队
  • 11.6.1 AI红队测试的优势
  • 11.6.2 红队与渗透测试
  • 11.6.3 工具和方法
  • 11.7 持续改进
  • 11.7.1 建立和调整防护机制
  • 11.7.2 管理数据访问和质量
  • 11.7.3 利用人类反馈强化学习实现对齐和安全
  • 11.8 结论
  • 第12章 负责任的人工智能安全实践框架
  • 12.1 力量
  • 12.1.1 图形处理器
  • 12.1.2 云计算
  • 12.1.3 开源
  • 12.1.4 多模态
  • 12.1.5 自主智能体
  • 12.2 责任
  • 12.2.1 RAISE框架
  • 12.2.2 RAISE检查清单
  • 12.3 结论
  • 关于作者
  • 关于封面
展开全部

评分及书评

尚无评分
目前还没人评分

出版方

机械工业出版社

机械工业出版社是全国优秀出版社，自1952年成立以来，坚持为科技、为教育服务，以向行业、向学校提供优质、权威的精神产品为宗旨，以“服务社会和人民群众需求，传播社会主义先进文化”为己任，产业结构不断完善，已由传统的图书出版向着图书、期刊、电子出版物、音像制品、电子商务一体化延伸，现已发展为多领域、多学科的大型综合性出版社，涉及机械、电工电子、汽车、计算机、经济管理、建筑、ELT、科普以及教材、教辅等领域。