人工智能飞速发展的当下，大模型已成为推动行业变革的核心力量。然而，对于许多从业者与爱好者而言，大模型背后的复杂算法、训练及微调过程犹如一座难以逾越的高山。《从零构建大模型：算法、训练与微调》这本书，宛如一位资深向导，引领读者一步步攀登这座高峰，深探索大模型的奥秘。 《从零构建大模型:算法、训练与微调》从最基础的构建模块手，以极为清晰且循序渐的方式，深度解析大模型的核心算法原理与实现细节。篇第 1 章对 Transformer 模型基本原理的阐述，犹如下坚实地基。自注意力机制、多头注意力以及位置编码等概念，不再是高高在上的理论，作者通过通俗易懂的讲解，让读者轻松理解这些关键要素如何为大模型的理解奠定基础，为后续深学习启大门。
售 价：¥
纸质售价：¥78.20购买纸书
6.7
温馨提示：数字商品不支持退换货，不提供源文件，不支持导出打印
为你推荐
作者简介
内容简介
前言
引言
一、大模型技术的发展历史
二、开发环境配置基础
第1章 Transformer模型基础
1.1 Seq2Seq模型
1.2 分词与嵌入层
1.3 自注意力与多头注意力机制
1.4 残差连接与层归一化
1.5 位置编码器
1.6 本章小结
1.7 思考题
第2章 GPT模型文本生成核心原理与实现
2.1 GPT-2核心模块
2.2 GPT模型的文本生成过程
2.3 模型效果评估与调优
2.4 本章小结
2.5 思考题
第3章 BERT模型核心实现与预训练
3.1 BERT模型的核心实现
3.2 预训练任务：掩码语言模型（MLM）
3.3 BERT模型的微调与分类任务应用
3.4 本章小结
3.5 思考题
第4章 ViT模型
4.1 图像分块与嵌入
4.2 ViT模型的核心架构实现
4.3 训练与评估ViT模型
4.4 ViT模型与注意力严格量化分析
4.5 本章小结
4.6 思考题
第5章 高阶微调策略：Adapter Tuning与P-Tuning
5.1 Adapter Tuning的实现
5.2 LoRA Tuning实现
5.3 Prompt Tuning与P-Tuning的应用
5.4 本章小结
5.5 思考题
第6章 数据处理与数据增强
6.1 数据预处理与清洗
6.2 文本数据增强
6.3 分词与嵌入层的应用
6.4 本章小结
6.5 思考题
第7章 模型性能优化：混合精度训练与分布式训练
7.1 混合精度训练的实现
7.2 多GPU并行与分布式训练的实现
7.3 梯度累积的实现
7.4 本章小结
7.5 思考题
第8章 对比学习与对抗训练
8.1 对比学习
8.2 基于对比学习的预训练与微调
8.3 生成式对抗网络的实现与优化
8.4 对抗训练在大模型中的应用
8.5 本章小结
8.6 思考题
第9章 自适应优化器与动态学习率调度
9.1 AdamW优化器与LAMB优化器的实现
9.2 基于梯度累积的优化技巧
9.3 动态学习率调度
9.4 Warmup与循环学习率调度
9.5 本章小结
9.6 思考题
第10章 模型蒸馏与剪枝
10.1 知识蒸馏：教师－学生模型
10.2 知识蒸馏在文本模型中的应用
10.3 模型剪枝技术
10.4 本章小结
10.5 思考题
第11章 模型训练实战
11.1 数据预处理与Tokenization细节
11.2 大规模预训练模型的设置与启动
11.3 预训练过程中的监控与中间结果保存
11.4 训练中断与恢复机制
11.5 综合案例：IMDB文本分类训练全流程
11.6 本章小结
11.7 思考题
第12章 模型微调实战
12.1 微调数据集的选择与准备
12.2 层级冻结与部分解冻策略
12.3 模型参数调整与优化技巧
12.4 微调后的模型评估与推理优化
12.5 综合微调应用案例
12.6 本章小结
12.7 思考题
买过这本书的人还买过
读了这本书的人还在读
同类图书排行榜
购物车
个人中心
