PyTorch深度学习入门与技术实践电子书

内容简介

前言

第1章　深度学习快速入门

1.1　各种深度学习应用

1.2　准备开发环境

1.2.1　Linux基础

1.2.2　Micro编辑器

1.2.3　在Linux系统中安装Python

1.2.4　选择Python版本

1.2.5　在Windows系统中安装Python

1.3　体验PyTorch

1.3.1　安装PyTorch

1.3.2　PyTorch中的计算图

1.3.3　用三阶多项式拟合函数

1.3.4　实现手写数字识别

1.4　本章小结

第2章　Python技术基础

2.1　变量

2.2　注释

2.3　简单数据类型

2.3.1　数值

2.3.2　字符串

2.3.3　数组

2.4　字面值

2.5　控制流

2.5.1　条件语句

2.5.2　循环语句

2.6　列表

2.7　元组

2.8　集合

2.9　字典

2.10　位数组

2.11　模块

2.12　函数

2.13　print函数

2.14　正则表达式

2.15　文件操作

2.15.1　读写文件

2.15.2　重命名文件

2.15.3　遍历文件

2.16　with语句

2.17　使用pickle模块序列化对象

2.18　面向对象编程

2.19　命令行参数

2.20　数据库

2.21　JSON格式

2.22　日志记录

2.23　异常处理

2.24　本章小结

第3章　PyTorch中的深度学习

3.1　神经网络基础

3.1.1　实现深度前馈网络

3.1.2　计算过程

3.2　卷积神经网络

3.3　PyTorch基础知识

3.3.1　创建张量

3.3.2　随机张量

3.3.3　零和一

3.3.4　范围张量

3.3.5　张量数据类型

3.3.6　从张量获取信息

3.3.7　操纵张量

3.3.8　深度学习中最常见的错误之一（形状错误）

3.3.9　求最小值、最大值、平均值、总和等

3.3.10　最大值、最小值的所处位置

3.3.11　更改张量数据类型

3.3.12　重塑、堆叠、压缩和解压

3.3.13　索引（从张量中选择数据）

3.3.14　PyTorch张量和NumPy

3.3.15　再现性（试图从随机中提取随机性）

3.4　transformer架构

3.4.1　编码器

3.4.2　解码器

3.4.3　生成概率分布

3.5　为PyTorch模型提供服务

3.6　本章小结

第4章　PyTorch开发深度学习应用

4.1　文本分类

4.1.1　准备数据集

4.1.2　定义网络

4.1.3　训练网络

4.2　开发聊天机器人

4.3　用Wav2Vec 2.0进行语音识别

4.4　机器翻译

4.5　本章小结

第5章　分布式PyTorch

5.1　PyTorch分布式概述

5.1.1　数据并行训练

5.1.2　基于RPC的分布式训练

5.2　数据并行

5.3　单机模型并行最佳实践

5.4　分布式数据并行入门

5.5　用PyTorch编写分布式应用程序

5.6　完全分片数据并行入门

5.7　基于完全分片数据并行的高级模型训练

5.8　分布式RPC框架入门

5.8.1　使用RPC和RRef的分布式强化学习

5.8.2　使用分布式Autograd和分布式优化器的分布式RNN

5.9　使用分布式RPC框架实现参数服务器

5.10　基于RPC的分布式流水线并行

5.10.1　步骤1：分区ResNet50模型

5.10.2　步骤2：将ResNet50模型分片拼接到一个模块中

5.10.3　步骤3：定义训练循环

5.10.4　步骤4：启动RPC进程

5.11　使用异步执行实现批量RPC处理

5.11.1　批量更新参数服务器

5.11.2　批量处理CartPole求解器

5.12　分布式数据并行与分布式RPC框架的结合

5.13　使用流水线并行性训练transformer模型

5.14　本章小结