《多模态大模型:从理论到实践》这本书，内容全面且条理清晰。该书精心规划为两部分，共12章。第一部分（第1~5章）主要聚焦于多模态大模型的理论基础与技术解析。它先是追溯了多模态大模型的发展历程，使读者能明晰该领域的演路径；着对机器学习与深度学习的核心技术行剖析，为后续学习筑牢根基；随后详细阐述Transformer架构、跨模态对齐和模态融合等关键技术，凸显其在多模态大模型里的关键作用；此外，还介绍预训练方法、自监督学习与提示学习、模型微调与优化等内容，助力读者全面掌握多模态大模型的理论框架与技术细节。
售 价：¥
纸质售价：¥78.20购买纸书
6.7
温馨提示：数字商品不支持退换货，不提供源文件，不支持导出打印
为你推荐
作者简介
内容简介
前言
第1部分 基础理论与技术解析
第1章 绪论
1.1 多模态与大模型简介
1.1.1 多模态数据的种类与特点
1.1.2 大模型的核心能力与应用领域
1.2 表征学习与迁移学习
1.2.1 表征学习
1.2.2 迁移学习
1.3 内容生成与模态对齐
1.3.1 模态对齐的实现方法与技术难点
1.3.2 多模态生成任务的典型案例
1.4 多模态大模型发展历程
1.4.1 单模态到多模态的发展路径
1.4.2 多模态大模型的技术里程碑汇总
1.5 本章小结
1.6 思考题
第2章 基础知识
2.1 机器学习关键技术详解
2.1.1 特征工程与模型选择
2.1.2 集成学习在多模态中的应用
2.2 深度学习基本原理与常用技术点
2.2.1 卷积神经网络
2.2.2 循环神经网络
2.2.3 分类器与多层感知机
2.2.4 激活函数
2.3 梯度下降与反向传播算法的原理与实现
2.3.1 梯度下降算法原理与实现
2.3.2 反向传播算法原理与实现
2.4 大模型在文本与图像处理中的应用
2.4.1 文本处理中的生成与理解任务
2.4.2 图像处理中的分割与检测
2.5 本章小结
2.6 思考题
第3章 多模态大模型核心架构
3.1 Transformer基本原理剖析
3.1.1 自注意力机制
3.1.2 编码器－解码器架构
3.2 跨模态对齐技术：注意力机制与嵌入对齐
3.2.1 嵌入空间的对齐方法与损失函数优化
3.2.2 多头注意力机制在对齐中的应用
3.3 模态融合数据级、特征级与目标级
3.3.1 数据级融合的实现与场景应用
3.3.2 特征级融合的建模方法与优化
3.4 模态解耦与共享学习框架
3.4.1 模态解耦的多任务学习策略
3.4.2 参数共享框架的设计与优化
3.5 本章小结
3.6 思考题
第4章 多模态大模型的预训练方法
4.1 文本与视觉联合预训练任务设计
4.1.1 文本任务的掩码建模与生成任务
4.1.2 视觉任务的特征提取与目标检测
4.2 自监督学习与多模态预训练
4.2.1 对比学习在多模态中的实现方法
4.2.2 重建任务的自监督学习实现
4.3 提示学习与指令微调
4.3.1 提示模板设计与输入增强技术
4.3.2 指令微调的适配流程与效果分析
4.4 数据高效利用迁移学习与混合监督
4.4.1 迁移学习的小样本适配技术
4.4.2 半监督学习的联合训练方法
4.5 本章小结
4.6 思考题
第5章 多模态大模型微调与优化
5.1 基于LoRA的轻量化微调
5.1.1 LoRA：参数冻结与动态注入技术
5.1.2 轻量化微调
5.2 参数高效微调
5.2.1 PEFT的技术原理与实现
5.2.2 微调效果的对比与性能评价
5.3 RLHF原理及实现
5.3.1 RLHF与奖励建模
5.3.2 RLHF在多模态任务中的实现
5.4 多任务学习与领域适配
5.4.1 多任务共享学习
5.4.2 领域适配与标注数据增强技术
5.5 本章小结
5.6 思考题
第2部分 高级应用与实践探索
第6章 视觉语言模型的实现
6.1 CLIP模型的原理与实现
6.1.1 文本视觉联合嵌入的实现技术
6.1.2 CLIP模型的预训练目标与任务迁移
6.2 BLIP-2模型在多模态生成中的应用
6.2.1 图像到文本生成的模型设计
6.2.2 多模态生成任务的优化策略
6.3 SAM模型在视觉任务中的实现
6.3.1 SAM模型的特征提取与训练方法
6.3.2 分割任务中的应用与性能分析
6.4 视频与语言多模态模型融合
6.4.1 视频嵌入与文本生成的联合建模
6.4.2 多模态视频任务的优化实践
6.5 本章小结
6.6 思考题
第7章 跨模态推理与生成
7.1 视觉问答与视觉常识推理
7.1.1 视觉问答模型的任务建模方法
7.1.2 常识推理中的视觉语义问题
7.2 跨模态文本生成：从图像到描述
7.2.1 图像描述生成模型训练方法
7.2.2 跨模态文本生成的关键技术
7.3 复杂场景中的视频生成与理解
7.3.1 视频生成任务
7.3.2 复杂场景的视频理解技术
7.4 跨模态对话与导航任务
7.4.1 对话系统中的多模态交互设计
7.4.2 导航任务的视觉与语义联合优化
7.5 本章小结
7.6 思考题
第8章 多模态大模型的推理优化
8.1 ONNX与TensorRT在多模态推理中的应用
8.1.1 ONNX模型的优化与转换流程
8.1.2 TensorRT的推理加速与量化技术
8.2 动态批量与自定义算子优化
8.2.1 动态批量推理的实现与性能分析
8.2.2 自定义算子的设计与任务适配
8.3 混合精度推理与内存优化技术
8.3.1 混合精度训练的实现与性能提升
8.3.2 内存优化技术在推理中的应用
8.3.3 多GPU的分布式推理任务调度
8.4 本章小结
8.5 思考题
第9章 多模态大模型的安全问题与可信问题
9.1 模型的可解释性与注意力可视化
9.1.1 注意力机制的可视化技术实现
9.1.2 模型行为的解释性方法
9.2 多模态大模型中的鲁棒性与偏见问题
9.2.1 模型鲁棒性提升的优化策略
9.2.2 偏见检测与缓解技术的应用
9.3 隐私保护与数据安全技术
9.3.1 模态分离与隐私保护框架设计
9.3.2 数据加密与安全分发技术实现
9.4 本章小结
9.5 思考题
第10章 多模态检索与推荐系统
10.1 跨模态检索算法与实现
10.1.1 跨模态检索中的嵌入空间设计
10.1.2 检索任务的多模态优化
10.2 图像视频与文本的联合检索
10.2.1 图文联合检索的模型实现
10.2.2 视频检索中的特征联合与优化
10.3 基于多模态的推荐系统
10.3.1 多模态嵌入在推荐任务中的应用
10.3.2 推荐系统的动态适配与更新
10.4 本章小结
10.5 思考题
第11章 多模态语义理解系统
11.1 系统架构与功能规划
11.1.1 系统核心模块的架构设计
11.1.2 功能规划与数据流转流程
11.2 使用开源框架实现跨模态生成
11.2.1 跨模态开发框架简介
11.2.2 模块实现
11.2.3 模块综合测试
11.3 模型优化与推理性能提升
11.3.1 生成任务中的模型优化
11.3.2 推理性能的加速与内存优化
11.3.3 系统部署
11.3.4 系统性能监控
11.4 本章小结
11.5 思考题
第12章 多模态问答系统
12.1 数据集准备与预处理
12.1.1 问答数据集的构建与清洗方法
12.1.2 数据增强技术在问答任务中的应用
12.2 视觉与文本问答模型的训练及API开发
12.2.1 跨模态问答模型的多任务训练
12.2.2 API接口设计与服务化集成
12.2.3 模型输出的解析与后处理实现
12.3 性能测试与部署实践
12.3.1 系统测试的指标与性能分析
12.3.2 部署优化与线上环境监控技术
12.4 本章小结
12.5 思考题
买过这本书的人还买过
读了这本书的人还在读
同类图书排行榜
购物车
个人中心
