科技 类型
9.1 豆瓣评分
可以朗读 语音朗读
123千字 字数
2024-10-01 发行日期
展开全部

主编推荐语

助你理解、掌握PyTorch的优化技巧。

内容简介

本书致力于探索如何在大规模深度学习模型训练中，最大限度地提高性能和优化显存使用。本书面向深度学习从业者，尤其是希望深入了解并提升模型训练效率的工程师与研究人员。随着深度学习模型和数据规模的迅速增长，如何高效利用硬件资源，减少训练时间，成为当前AI系统工程的关键挑战。

本书内容涵盖从单机到分布式训练，从显存管理到性能分析的多种优化策略，力求通过丰富的代码实例和深入的原理讲解，使读者能够在实践中灵活应用这些方法。

目录

  • 版权信息
  • 作者简介
  • 内容简介
  • 前言
  • 01 欢迎来到这场大模型竞赛
  • 1.1 模型规模带来的挑战
  • 1.2 数据规模带来的挑战
  • 1.3 模型规模与数据增长的应对方法
  • 02 深度学习必备的硬件知识
  • 2.1 CPU与内存
  • 2.2 硬盘
  • 2.3 GPU
  • 2.4 分布式系统
  • 03 深知度识学习必备的PyTorch
  • 3.1 PyTorch的张量数据结构
  • 3.2 PyTorch中的算子
  • 3.3 PyTorch的动态图机制
  • 3.4 PyTorch的自动微分系统
  • 3.5 PyTorch的异步执行机制
  • 04 定位性能瓶颈的工具和方法
  • 4.1 配置性能分析所需的软硬件环境
  • 4.2 精确测量程序运行时间
  • 4.3 PyTorch性能分析器
  • 4.4 GPU专业分析工具
  • 4.5 CPU性能分析工具
  • 4.6 本章小结
  • 05 数据加载和预处理专题
  • 5.1 数据接入的准备阶段
  • 5.2 数据集的获取和预处理
  • 5.3 数据集的加载和使用
  • 5.4 数据加载性能分析
  • 5.5 本章小结
  • 06 单卡性能优化专题
  • 6.1 提高数据任务的并行度
  • 6.2 提高GPU计算任务的效率
  • 6.3 减少CPU和GPU间的同步
  • 6.4 降低程序中的额外开销
  • 6.5 有代价的性能优化
  • 6.6 本章小结
  • 07 单卡显存优化专题
  • 7.1 PyTorch的显存管理机制
  • 7.2 显存的分析方法
  • 7.3 训练过程中的显存占用
  • 7.4 通用显存复用方法
  • 7.5 有代价的显存优化技巧
  • 7.6 优化Python代码以减少显存占用
  • 7.7 本章小结
  • 08 分布式训练专题
  • 8.1 分布式策略概述
  • 8.2 集合通信原语
  • 8.3 应对数据增长的并行策略
  • 8.4 应对模型增长的并行策略
  • 8.5 本章小结
  • 09 高级优化方法专题
  • 9.1 自动混合精度训练
  • 9.2 自定义高性能算子
  • 9.3 基于计算图的性能优化
  • 9.4 本章小结
  • 10 GPT-2优化全流程
  • 10.1 GPT模型结构简介
  • 10.2 实验环境与机器配置
  • 10.3 显存优化
  • 10.4 性能优化
  • 结语
展开全部

评分及书评

尚无评分
目前还没人评分

出版方

清华大学出版社

清华大学出版社成立于1980年6月，是由教育部主管、清华大学主办的综合出版单位。植根于“清华”这座久负盛名的高等学府，秉承清华人“自强不息，厚德载物”的人文精神，清华大学出版社在短短二十多年的时间里，迅速成长起来。清华大学出版社始终坚持弘扬科技文化产业、服务科教兴国战略的出版方向，把出版高等学校教学用书和科技图书作为主要任务，并为促进学术交流、繁荣出版事业设立了多项出版基金，逐渐形成了以出版高水平的教材和学术专著为主的鲜明特色，在教育出版领域树立了强势品牌。