在人工智能领域飞速发展的今天，大模型的应用日益广泛，但随之而来的是模型部署与计算资源的严峻挑战。大模型轻量化技术应运而生，成为解决这一难题的关键。《大模型轻量化:模型压缩与训练加速》一书，犹如一盏明灯，为从事大模型发与优化的工程师以及研究人员照亮了前行的道路。 《大模型轻量化:模型压缩与训练加速》围绕大模型轻量化这一核心主题，展全面而深的阐述。第一部分介绍大模型的背景及挑战，讲解Transformer和MoE架构的基本原理，让读者对大模型有清晰的认知。聚焦模型压缩、训练加速与推理优化的核心技术，包括量化、蒸馏和剪枝等，并通过实际案例验证其效果，使读者能深刻理解这些技术的价值。
售 价：¥
纸质售价：¥101.90购买纸书
6.6
温馨提示：数字商品不支持退换货，不提供源文件，不支持导出打印
为你推荐
作者简介
内容简介
前言
第1部分 大模型概述与核心优化技术
第1章 大模型基本概念
1.1 大模型的兴起与发展
1.1.1 大规模神经网络
1.1.2 Transformer编码器－解码器
1.1.3 MoE架构
1.2 计算资源与性能瓶颈
1.2.1 GPU简介
1.2.2 TPU简介
1.2.3 网络带宽约束与分布式训练
1.2.4 大模型的训练时间与计算资源消耗问题
1.3 数据与隐私问题
1.3.1 急剧增加的数据量
1.3.2 数据隐私保护与合规性
1.4 模型部署与运维
1.4.1 模型部署基本概念
1.4.2 云计算与边缘计算
1.4.3 端侧部署
1.4.4 大模型运行与维护
1.5 本章小结
1.6 思考题
第2章 模型压缩、训练与推理
2.1 模型压缩概述
2.1.1 模型压缩简介
2.1.2 常见的模型压缩方法分类
2.2 训练加速基础
2.2.1 数据并行与模型并行
2.2.2 混合精度训练
2.2.3 分布式训练框架：Horovod
2.3 推理加速基础
2.3.1 硬件加速与推理引擎
2.3.2 低延迟与高吞吐量平衡
2.3.3 推理优化实战：批量推理
2.4 性能评估指标
2.4.1 计算复杂度与性能指标
2.4.2 延迟、吞吐量与精度之间的权衡
2.4.3 评估工具与基准测试
2.5 本章小结
2.6 思考题
第3章 模型格式转换
3.1 模型格式的定义与转换
3.1.1 常见的模型格式：ONNX、TensorFlow的SavedModel
3.1.2 模型格式转换实现
3.1.3 模型的兼容性问题
3.2 跨框架模型转换
3.2.1 TensorFlow到PyTorch的模型转换
3.2.2 ONNX与TensorFlow、PyTorch的兼容性
3.2.3 转换时的精度损失问题
3.3 硬件相关的格式转换
3.3.1 从PyTorch到TensorRT
3.3.2 ONNX模型与NVIDIA TensorRT的兼容性
3.3.3 模型格式与硬件加速的关系
3.4 模型格式转换的工具与库
3.4.1 使用ONNX进行跨平台转换
3.4.2 TensorFlow Lite与Edge模型优化
3.5 本章小结
3.6 思考题
第4章 图优化
4.1 算子融合技术
4.1.1 算子融合的原理
4.1.2 典型算子融合算法的实现
4.1.3 实验：算子融合对推理性能的提升
4.2 布局转换与优化
4.2.1 张量布局的原理
4.2.2 内存访问优化与布局选择
4.3 算子替换技术
4.3.1 用低开销算子替换高开销算子
4.3.2 常见的算子替换策略
4.4 显存优化
4.4.1 显存占用分析与优化
4.4.2 梯度检查点与显存共享
4.4.3 动态显存分配与内存池管理
4.5 本章小结
4.6 思考题
第5章 模型压缩
5.1 量化
5.1.1 定点量化与浮点量化的区别
5.1.2 量化算法与工具：TensorFlow Lite
5.1.3 量化带来的精度损失问题
5.2 知识蒸馏
5.2.1 知识蒸馏的基本概念与应用场景
5.2.2 知识蒸馏的损失函数与训练过程
5.2.3 如何选择蒸馏－教师网络模型
5.3 剪枝
5.3.1 网络剪枝基本原理
5.3.2 基于权重剪枝与结构化剪枝
5.3.3 剪枝后的精度恢复方案
5.4 二值化与极端压缩
5.4.1 二值化网络的构建与训练
5.4.2 二值化对计算与存储的影响
5.5 本章小结
5.6 思考题
第2部分 端侧学习与高效计算引擎优化
第6章 端侧学习、端侧推理及计算引擎优化
6.1 联邦学习概述
6.1.1 联邦学习的基本概念与应用
6.1.2 联邦学习中的隐私保护机制、通信与聚合算法
6.2 数据处理与预处理
6.2.1 数据清洗与增广技术
6.2.2 数据均衡与过采样策略
6.2.3 端侧数据处理的资源限制
6.3 Trainer与优化器设计
6.3.1 端侧训练的挑战与策略
6.3.2 高效优化器（如SGD、Adam）的选择
6.3.3 动态调整学习率与训练过程监控
6.4 损失函数的设计与选择
6.4.1 常见的损失函数与应用场景
6.4.2 多任务学习中的损失函数设计
6.4.3 损失函数的数值稳定性
6.5 Benchmark设计与性能评估
6.5.1 经典Benchmark与定制Benchmark
6.5.2 推理与训练性能的综合评估
6.5.3 性能瓶颈的识别与优化
6.6 IR的作用与优化
6.6.1 IR的定义及作用
6.6.2 IR转换与优化策略
6.7 Schema的设计与规范
6.7.1 数据格式与模型接口的设计
6.7.2 数据流与计算图的规范化
6.8 动态Batch与内存调度
6.8.1 动态Batch的选择与调整
6.8.2 内存调度与性能优化
6.8.3 优化内存利用率与减少内存溢出
6.9 异构执行与优化
6.9.1 GPU与CPU的异构计算模式原理
6.9.2 多核心与多节点并行优化
6.9.3 异构计算中的任务调度
6.10 装箱操作与计算图优化
6.10.1 通过装箱减少计算开销
6.10.2 装箱优化对计算图的影响
6.11 本章小结
6.12 思考题
第7章 高性能算子库简介
7.1 cuDNN算子库概述
7.1.1 cuDNN的主要功能
7.1.2 常用算子（卷积、池化等）的实现
7.1.3 算子加速实战：cuDNN在深度学习中的应用
7.2 MKLDNN算子库概述
7.2.1 MKLDNN与Intel硬件的优化
7.2.2 MKLDNN中的高效算子实现
7.2.3 多核支持与并行计算优化
7.3 算子库的选择与性能比较
7.3.1 cuDNN与MKLDNN的应用场景对比
7.3.2 在不同硬件平台上的表现
7.4 算子库的高效利用
7.4.1 如何选择合适的算子库
7.4.2 优化算子库接口与内存管理
7.4.3 算法重构：提高算子性能
7.5 本章小结
7.6 思考题
第3部分 高性能算子与深度学习框架应用
第8章 常用高性能算子开发实战
8.1 NEON与ARM架构优化
8.1.1 NEON指令集与深度学习加速
8.1.2 ARM架构上的并行计算优化
8.1.3 使用NEON实现卷积等算子加速
8.2 CUDA与GPU优化
8.2.1 CUDA编程模型与内存管理
8.2.2 CUDA流与核函数优化
8.2.3 高效利用GPU并行计算资源
8.3 Vulkan与图形加速
8.3.1 Vulkan的低级控制与优化
8.3.2 使用Vulkan进行推理加速
8.3.3 图形与计算并行加速的结合
8.4 AVX与OpenCL的优化
8.4.1 AVX与CPU优化的基本原理
8.4.2 OpenCL与跨平台加速
8.5 本章小结
8.6 思考题
第9章 TIK、YVM算子原理及其应用
9.1 TIK算子库的应用
9.1.1 TIK算子库与TensorFlow Lite的集成
9.1.2 使用TIK进行卷积与矩阵乘法加速
9.2 YVM算子库的应用
9.2.1 YVM在深度学习推理中的高效应用
9.2.2 YVM的硬件适配与优化
9.3 本章小结
9.4 思考题
第10章 基于DeepSeek-V3分析大模型训练降本增效技术
10.1 DeepSeek-V3架构概述
10.1.1 DeepSeek-V3的架构设计与创新
10.1.2 模型参数共享与层次结构优化
10.2 DeepSeek-V3的训练降本技术分析
10.2.1 FP8精度训练、混合精度训练与分布式训练
10.2.2 动态计算图
10.2.3 自适应批处理与梯度累积技术
10.2.4 Sigmoid路由机制
10.2.5 无辅助损失负载均衡算法
10.2.6 DualPipe算法
10.2.7 All-to-All跨节点通信
10.3 DeepSeek-V3的推理加速技术
10.3.1 量化与蒸馏在DeepSeek-V3中的应用
10.3.2 模型压缩与推理速度提升
10.4 本章小结
10.5 思考题
买过这本书的人还买过
读了这本书的人还在读
同类图书排行榜
购物车
个人中心
