从零开始写大模型电子书

作者简介

内容简介

前言

本书特色

本书内容

读者对象

配套资源获取方式

意见反馈

致谢

第1篇 神经网络快速入门

第1章 神经网络基础

1.1 神经元

1.2 手算神经网络

1.3 手推前向传播

1.4 手推反向传播

第2章 手搓神经网络

2.1 写一个神经网络并训练

2.2 经典神经网络——CNN

2.3 经典神经网络——RNN

第2篇 Transformer架构基础

第3章 编解码架构概述

3.1 数据处理的高效邮递员——Auto encoder

3.2 温故而知新——VAE

3.3 深度学习中的猫鼠游戏——GAN

3.4 变形金刚——Transformer

第4章 Tokenization基础

4.1 文字转数字

4.2 词嵌入

第5章 Transformer架构的数学基础

5.1 向量和矩阵相乘的变换

5.2 空间变化的性质

5.3 层归一化

第3篇 Transformer模型剖析

第6章 Transformer架构概述

6.1 大语言模型概述

6.2 Transformer架构基础

第7章 词汇输入模块

7.1 Tokenization方法

7.2 位置编码

7.3 深入理解词嵌入与位置信息

第8章 注意力机制模块

8.1 注意力机制的运算

8.2 交叉注意力

8.3 多头注意力

第9章 输出模块

9.1 残差连接和Norm处理

9.2 全连接前馈神经网络

9.3 mask处理

9.4 最终输出逻辑及参数量

第10章 基于Transformer架构的模型训练、推理与优化

10.1 训练过程

10.2 推理过程

10.3 Seq2Seq的优化过程

第11章 Transformer模型的超参数

11.1 学习率

11.2 批处理数量batch_size

11.3 维度

11.4 多头注意力的头数

第4篇 Transformer进阶

第12章 手搓Transformer架构

12.1 Transformer的核心架构代码

12.2 Encoder代码详解

12.3 Decoder代码详解

第13章 经典大语言模型

13.1 只使用编码端的经典BERT模型剖析

13.2 只使用解码端的经典GPT模型剖析

13.3 BERT模型与GPT模型的对比

第14章 Transformer算法面试12问

14.1 Transformer模型为什么使用Layer Norm

14.2 在Transformer模型中FFN有什么作用

14.3 在Transformer模型中Position Embedding有什么作用

14.4 Transformer模型中的Weight Tying是什么

14.5 为什么大多数大语言模型都是仅解码器架构

14.6 在Transformer模型中Encoder和Decoder是如何交汇的

14.7 Transformer模型中的Layer Norm可以并行吗

14.8 什么是张量并行

14.9 在Transformer模型中为什么使用不同权重的矩阵生成Q和K

14.10 更深、更宽的Transformer网络是否意味着更强的训练模型

14.11 Transformer模型推理为何要做K、V缓存

14.12 在Transformer模型中K、V缓存是如何工作的

第5篇 GPT模型完全体验之MiniMind

第15章 大模型案例之MiniMind

15.1 MiniMind模型概述

15.2 项目简介

15.3 代码框架

第16章 MiniMind代码详解

16.1 输入部分

16.2 MiniMind中的Transformer架构

16.3 输出部分

16.4 微调过程

16.5 测试过程

第17章 MiniMind模型的安装

17.1 软硬件环境的配置

17.2 项目安装

第18章 MiniMind模型的训练

18.1 数据集

18.2 参数配置

18.3 预训练

第19章 MiniMind模型的微调

19.1 单轮对话微调

19.2 多轮对话微调

第20章 MiniMind模型的推理

20.1 测试模型的对话效果

20.2 测试模型的接龙效果

20.3 不同模型的对比