主编推荐语

系统阐述大模型轻量化的基本理论与实现方法。

内容简介

全书分为3部分，共10章。

第1部分（第1～5章），介绍大模型的背景与面临的问题，以及Transformer和MoE架构的基本原理；重点讲解模型压缩、训练加速和推理优化等核心技术，包括量化、蒸馏和剪枝等，并通过实际案例验证其效果。

第2部分（第6、7章），重点介绍端侧学习与计算引擎优化策略，尤其是动态Batch和异构执行的工程实现。

第3部分（第8～10章），针对高性能算子库与手工算子开发，分别以cuDNN、NEON、CUDA等为代表，揭示算子优化的细节，最后，以国产开源模型DeepSeek-V3为例，展现从训练到推理的综合优化方案。

目录