《从零开始大模型开发与微调：基于PyTorch与ChatGLM》王晓华【文字版_PDF电子书_】
| 书名：从零开始大模型开发与微调：基于PyTorch与ChatGLM 作者：王晓华 出版社：清华大学出版社 译者：无 出版日期：2023-11 页数：376 ISBN：9787302647072 | 0.0 豆瓣评分 | 孔网购买 | 点击喜欢 | 全网资源sm.nayona.cn |
内容简介：
大模型是深度学习自然语言处理皇冠上的一颗明珠，也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架，以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，为读者揭示大模型开发技术。本书配套示例源代码、PPT课件。
《从零开始大模型开发与微调：基于PyTorch与ChatGLM》共18章，内容包括人工智能与大模型、PyTorch 2.0深度学习环境搭建、从零开始学习PyTorch 2.0、深度学习基础算法详解、基于PyTorch卷积层的MNIST分类实战、PyTorch数据处理与模型展示、ResNet实战、有趣的词嵌入、基于PyTorch循环神经网络的中文情感分类实战、自然语言处理的编码器、预训练模型BERT、自然语言处理的解码器、强化学习实战、只具有解码器的GPT-2模型、实战训练自己的ChatGPT、开源大模型ChatGLM使用详解、ChatGLM高级定制化应用实战、对ChatGLM进行高级微调。
《从零开始大模型开发与微调：基于PyTorch与ChatGLM》适合PyTorch深度学习初学者、大模型开发初学者、大模型开发人员学习，也适合高等院校人工智能、智能科学与技术、数据科学与大数据技术、计算机科学与技术等专业的师生作为教学参考书。
作者简介：
王晓华，高校计算机专业讲师，研究方向为云计算、大数据与人工智能。着有《PyTorch 2.0深度学习从零开始学》《Python机器学习与可视化分析实战》《谷歌JAX深度学习从零开始学》《Spark 3.0大数据分析与挖掘：基于机器学习》《TensorFlow深度学习应用实践》《OpenCV+TensorFlow深度学习与计算机视觉实战》《TensorFlow知识图谱实战》《TensorFlow人脸识别实战》《TensorFlow语音识别实战》《TensorFlow+Keras自然语言处理实战》《TensorFlow 2.0卷积神经网络实战》《Keras实战：基于TensorFlow2.2的深度学习实践》《TensorFlow 2.0深度学习从零开始学》《深度学习的数学原理与实现》。
目 录：
目 录
第1章 新时代的曙光—人工智能与大模型 1
1.1 人工智能：思维与实践的融合 1
1.1.1 人工智能的历史与未来 2
1.1.2 深度学习与人工智能 2
1.1.3 选择PyTorch 2.0实战框架 3
1.2 大模型开启人工智能的新时代 4
1.2.1 大模型带来的变革 4
1.2.2 最强的中文大模型—清华大学ChatGLM介绍 5
1.2.3 近在咫尺的未来—大模型的应用前景 6
1.3 本章小结 7
第2章 PyTorch 2.0深度学习环境搭建 8
2.1 环境搭建1：安装Python 8
2.1.1 Miniconda的下载与安装 8
2.1.2 PyCharm的下载与安装 11
2.1.3 Python代码小练习：计算Softmax函数 14
2.2 环境搭建2：安装PyTorch 2.0 15
2.2.1 Nvidia 10/20/30/40系列显卡选择的GPU版本 15
2.2.2 PyTorch 2.0 GPU Nvidia运行库的安装 15
2.2.3 PyTorch 2.0小练习：Hello PyTorch 18
2.3 生成式模型实战：古诗词的生成 18
2.4 图像降噪：手把手实战第一个深度学习模型 19
2.4.1 MNIST数据集的准备 19
2.4.2 MNIST数据集的特征和标签介绍 21
2.4.3 模型的准备和介绍 22
2.4.4 对目标的逼近—模型的损失函数与优化函数 24
2.4.5 基于深度学习的模型训练 24
2.5 本章小结 26
第3章 从零开始学习PyTorch 2.0 27
3.1 实战MNIST手写体识别 27
3.1.1 数据图像的获取与标签的说明 27
3.1.2 实战基于PyTorch 2.0的手写体识别模型 29
3.1.3 基于Netron库的PyTorch 2.0模型可视化 32
3.2 自定义神经网络框架的基本设计 34
3.2.1 神经网络框架的抽象实现 34
3.2.2 自定义神经网络框架的具体实现 35
3.3 本章小结 43
第4章 一学就会的深度学习基础算法详解 44
4.1 反向传播神经网络的前身历史 44
4.2 反向传播神经网络两个基础算法详解 47
4.2.1 最小二乘法详解 48
4.2.2 梯度下降算法 50
4.2.3 最小二乘法的梯度下降算法及其Python实现 52
4.3 反馈神经网络反向传播算法介绍 58
4.3.1 深度学习基础 58
4.3.2 链式求导法则 59
4.3.3 反馈神经网络的原理与公式推导 60
4.3.4 反馈神经网络原理的激活函数 64
4.3.5 反馈神经网络原理的Python实现 66
4.4 本章小结 70
第5章 基于PyTorch卷积层的MNIST分类实战 71
5.1 卷积运算的基本概念 71
5.1.1 基本卷积运算示例 72
5.1.2 PyTorch中的卷积函数实现详解 73
5.1.3 池化运算 75
5.1.4 Softmax激活函数 77
5.1.5 卷积神经网络的原理 78
5.2 实战：基于卷积的MNIST手写体分类 80
5.2.1 数据的准备 80
5.2.2 模型的设计 81
5.2.3 基于卷积的MNIST分类模型 82
5.3 PyTorch的深度可分离膨胀卷积详解 84
5.3.1 深度可分离卷积的定义 84
5.3.2 深度的定义以及不同计算层待训练参数的比较 86
5.3.3 膨胀卷积详解 87
5.3.4 实战：基于深度可分离膨胀卷积的MNIST手写体识别 87
5.4 本章小结 90
第6章 可视化的PyTorch数据处理与模型展示 91
6.1 用于自定义数据集的torch.utils.data工具箱使用详解 92
6.1.1 使用torch.utils.data. Dataset封装自定义数据集 92
6.1.2 改变数据类型的Dataset类中的transform的使用 93
6.1.3 批量输出数据的DataLoader类详解 98
6.2 实战：基于tensorboardX的训练可视化展示 100
6.2.1 可视化组件tensorboardX的简介与安装 100
6.2.2 tensorboardX可视化组件的使用 100
6.2.3 tensorboardX对模型训练过程的展示 103
6.3 本章小结 105
第7章 ResNet实战 106
7.1 ResNet基础原理与程序设计基础 106
7.1.1 ResNet诞生的背景 107
7.1.2 PyTorch 2.0中的模块工具 109
7.1.3 ResNet残差模块的实现 110
7.1.4 ResNet网络的实现 112
7.2 ResNet实战：CIFAR-10数据集分类 114
7.2.1 CIFAR-10数据集简介 114
7.2.2 基于ResNet的CIFAR-10数据集分类 117
7.3 本章小结 118
第8章 有趣的词嵌入 120
8.1 文本数据处理 120
8.1.1 Ag_news数据集介绍和数据清洗 120
8.1.2 停用词的使用 123
8.1.3 词向量训练模型Word2Vec使用介绍 125
8.1.4 文本主题的提取：基于TF-IDF 128
8.1.5 文本主题的提取：基于TextRank 132
8.2 更多的词嵌入方法—FastText和预训练词向量 134
8.2.1 FastText的原理与基础算法 135
8.2.2 FastText训练及其与PyTorch 2.0的协同使用 136
8.2.3 使用其他预训练参数来生成PyTorch 2.0词嵌入矩阵(中文) 140
8.3 针对文本的卷积神经网络模型简介—字符卷积 141
8.3.1 字符(非单词)文本的处理 141
8.3.2 卷积神经网络文本分类模型的实现—Conv1d(一维卷积) 148
8.4 针对文本的卷积神经网络模型简介—词卷积 151
8.4.1 单词的文本处理 151
8.4.2 卷积神经网络文本分类模型的实现—Conv2d(二维卷积) 153
8.5 使用卷积对文本分类的补充内容 155
8.5.1 汉字的文本处理 155
8.5.2 其他细节 157
8.6 本章小结 158
第9章 基于循环神经网络的中文情感分类实战 160
9.1 实战：循环神经网络与情感分类 160
9.2 循环神经网络理论讲解 165
9.2.1 什么是GRU 165
9.2.2 单向不行，那就双向 167
9.3 本章小结 168
第10章 从零开始学习自然语言处理的编码器 169
10.1 编码器的核心—注意力模型 170
10.1.1 输入层—初始词向量层和位置编码器层 170
10.1.2 自注意力层 172
10.1.3 ticks和Layer Normalization 177
10.1.4 多头注意力 178
10.2 编码器的实现 180
10.2.1 前馈层的实现 181
10.2.2 编码器的实现 182
10.3 实战编码器：拼音汉字转化模型 184
10.3.1 汉字拼音数据集处理 185
10.3.2 汉字拼音转化模型的确定 187
10.3.3 模型训练部分的编写 190
10.4 本章小结 191
第11章 站在巨人肩膀上的预训练模型BERT 193
11.1 预训练模型BERT 193
11.1.1 BERT的基本架构与应用 194
11.1.2 BERT预训练任务与微调 195
11.2 实战BERT：中文文本分类 198
11.2.1 使用Hugging Face获取BERT预训练模型 198
11.2.2 BERT实战文本分类 200
11.3 更多的预训练模型 203
11.4 本章小结 205
第12章 从1开始自然语言处理的解码器 206
12.1 解码器的核心—注意力模型 206
12.1.1 解码器的输入和交互注意力层的掩码 207
12.1.2 为什么通过掩码操作能够减少干扰 212
12.1.3 解码器的输出(移位训练方法) 213
12.1.4 解码器的实现 214
12.2 解码器实战—拼音汉字翻译模型 215
12.2.1 数据集的获取与处理 216
12.2.2 翻译模型 218
12.2.3 拼音汉字模型的训练 229
12.2.4 拼音汉字模型的使用 230
12.3 本章小结 231
第13章 基于PyTorch 2.0的强化学习实战 232
13.1 基于强化学习的火箭回收实战 232
13.1.1 火箭回收基本运行环境介绍 233
13.1.2 火箭回收参数介绍 234
13.1.3 基于强化学习的火箭回收实战 234
13.1.4 强化学习的基本内容 239
13.2 强化学习的基本算法—PPO算法 243
13.2.1 PPO算法简介 243
13.2.2 函数使用说明 244
13.2.3 一学就会的TD-error理论介绍 245
13.2.4 基于TD-error的结果修正 247
13.2.5 对于奖励的倒序构成的说明 248
13.3 本章小结 249
第14章 ChatGPT前身—只具有解码器的GPT-2模型 250
14.1 GPT-2模型简介 250
14.1.1 GPT-2模型的输入和输出结构—自回归性 251
14.1.2 GPT-2模型的PyTorch实现 252
14.1.3 GPT-2模型输入输出格式的实现 257
14.2 Hugging Face GPT-2模型源码模型详解 259
14.2.1 GPT2LMHeadModel类和GPT2Model类详解 259
14.2.2 Block类详解 270
14.2.3 Attention类详解 274
14.2.4 MLP类详解 281
14.3 Hugging Face GPT-2模型的使用与自定义微调 282
14.3.1 模型的使用与自定义数据集的微调 282
14.3.2 基于预训练模型的评论描述微调 285
14.4 自定义模型的输出 286
14.4.1 GPT输出的结构 286
14.4.2 创造性参数temperature与采样个数topK 288
14.5 本章小结 290
第15章 实战训练自己的ChatGPT 291
15.1 什么是ChatGPT 291
15.2 RLHF模型简介 293
15.2.1 RLHF技术分解 293
15.2.2 RLHF中的具体实现—PPO算法 296
15.3 基于RLHF实战的ChatGPT正向评论的生成 297
15.3.1 RLHF模型进化的总体讲解 297
15.3.2 ChatGPT评分模块简介 298
15.3.3 带有评分函数的ChatGPT模型的构建 300
15.3.4 RLHF中的PPO算法—KL散度 301
15.3.5 RLHF中的PPO算法—损失函数 303
15.4 本章小结 304
第16章 开源大模型ChatGLM使用详解 305
16.1 为什么要使用大模型 305
16.1.1 大模型与普通模型的区别 306
16.1.2 一个神奇的现象—大模型的涌现能力 307
16.2 ChatGLM使用详解 307
16.2.1 ChatGLM简介及应用前景 308
16.2.2 下载ChatGLM 309
16.2.3 ChatGLM的使用与Prompt介绍 310
16.3 本章小结 311
第17章 开源大模型ChatGLM 高级定制化应用实战 312
17.1 医疗问答GLMQABot搭建实战—基于ChatGLM搭建专业客服问答机器人 312
17.1.1 基于ChatGLM搭建专业领域问答机器人的思路 313
17.1.2 基于真实医疗问答的数据准备 314
17.1.3 文本相关性(相似度)的比较算法 315
17.1.4 提示语句Prompt的构建 316
17.1.5 基于单个文档的GLMQABot的搭建 316
17.2 金融信息抽取实战—基于知识链的ChatGLM本地化知识库检索与智能答案生成 318
17.2.1 基于ChatGLM搭建智能答案生成机器人的思路 319
17.2.2 获取专业(范畴内)文档与编码存储 320
17.2.3 查询文本编码的相关性比较与排序 322
17.2.4 基于知识链的ChatGLM本地化知识库检索与智能答案生成 325
17.3 基于ChatGLM的一些补充内容 327
17.3.1 语言的艺术—Prompt的前世今生 328
17.3.2 清华大学推荐的ChatGLM微调方法 329
17.3.2 一种新的基于ChatGLM的文本检索方案 330
17.4 本章小结 331
第18章 对训练成本上亿美元的ChatGLM进行高级微调 332
18.1 ChatGLM模型的本地化处理 332
18.1.1 下载ChatGLM源码与合并存档 332
18.1.2 修正自定义的本地化模型 335
18.1.3 构建GLM模型的输入输出示例 337
18.2 高级微调方法1—基于加速库Accelerator的全量数据微调 339
18.2.1 数据的准备—将文本内容转化成三元组的知识图谱 339
18.2.2 加速的秘密—Accelerate模型加速工具详解 342
18.2.3 更快的速度—使用INT8(INT4)量化模型加速训练 345
18.3 高级微调方法2—基于LoRA的模型微调 348
18.3.1 对ChatGLM进行微调的方法—LoRA 348
18.3.2 自定义LoRA的使用方法 349
18.3.3 基于自定义LoRA的模型训练 350
18.3.4 基于自定义LoRA的模型推断 352
18.3.5 基于基本原理的LoRA实现 355
18.4 高级微调方法3—基于Huggingface的PEFT模型微调 357
18.4.1 PEFT技术详解 358
18.4.2 PEFT的使用与参数设计 359
18.4.3 Huggingface专用PEFT的使用 360
18.5 本章小结 362
浏览器不支持脚本！
摘要：《从零开始大模型开发与微调：基于PyTorch与ChatGLM》王晓华是一部系统性指导大模型开发的实用手册，涵盖从基础架构搭建到模型微调的完整流程。文章首先对大模型技术的演变与发展趋势进行了概述，指出了PyTorch与ChatGLM在实现灵活性、可扩展性和高性能训练中的优势。随后，书中详细阐述了数据预处理、模型设计、训练策略以及微调技巧，为初学者和实践者提供了可操作的参考。通过丰富的案例与实验数据，读者能够理解模型开发的全流程，掌握优化模型性能的方法，并在实际应用中快速落地。本书不仅适合科研人员，还兼顾工程实践，使大模型的开发门槛显著降低，帮助读者在人工智能领域快速积累经验，提升实践能力。
1、大模型发展概述
书中首先回顾了大模型的发展历程，从早期的规则模型到现代深度学习模型，展现了计算能力、数据规模和算法优化的协同进化。作者指出，大模型的发展不仅依赖硬件进步，还受到开源框架和社区生态的推动。
通过分析现有的主流大模型架构，如Transformer、BERT及GPT系列，书中强调了模型参数规模、训练策略与推理效率之间的权衡关系。这为后续使用PyTorch进行模型构建提供了理论基础。
此外，书中还讨论了大模型在自然语言处理、图像生成和多模态应用中的实际价值，说明了选择合适任务和模型规模的重要性，为开发者提供了明确的方向指导。
2、PyTorch开发基础
王晓华对PyTorch框架的基本使用进行了系统讲解，从张量操作、自动求导到模型构建与训练，详细介绍了每个环节的核心原理。书中通过直观示例让读者理解计算图机制及梯度传递原理。
在模型设计部分，作者强调模块化开发和层级结构设计的重要性，通过继承nn.Module构建自定义模型，并讲解了常用的优化器和损失函数选择策略，使初学者能够快速上手。
书中还介绍了训练循环和调试方法，包括数据加载、批处理策略、梯度裁剪以及模型保存与加载机制。通过实战示例，读者可以掌握从数据准备到训练迭代的完整流程。
3、ChatGLM微调技巧
针对ChatGLM，书中重点讲解了微调策略，包括参数高效更新、LoRA技术以及少样本微调方法。作者通过实验数据说明不同策略对模型性能和训练成本的影响。
在实际操作层面，书中提供了微调管道设计的详细流程，包括数据集构建、训练超参数调整和验证指标评估，使读者能够系统掌握微调实践。
此外，作者还介绍了模型推理优化和部署技巧，包括量化、剪枝和内存优化策略，帮助读者在有限硬件资源下实现高效推理，并保证模型在生产环境中的稳定性。
4、实践案例解析
书中通过多个实际案例展示了从数据准备到模型上线的完整流程，包括文本生成、问答系统和多轮对话场景的应用示例。每个案例都结合具体代码和结果分析，让读者能够直观理解大模型应用。
作者对案例中的问题解决方法进行了深入分析，例如过拟合处理、学习率调节、数据增强方法，以及模型性能评估指标的选择和计算，为读者提供了可直接借鉴的经验。
最后，书中强调了团队协作和版本管理的重要性，包括代码复现、实验记录和模型迭代策略，使实践者能够在团队项目中高效推进大模型开发。
总结：
《从零开始大模型开发与微调：基于PyTorch与ChatGLM》王晓华通过系统的理论阐述和丰富的实战案例，全面展示了大模型从开发到微调的完整路径。书中内容条理清晰，既适合初学者掌握基础技能，也为有经验的开发者提供了优化思路。
全书强调实践性与可操作性，结合PyTorch框架和ChatGLM模型的具体案例，使读者能够快速将知识应用于实际项目。通过阅读和实践，读者可以有效提升大模型开发能力和应用水平，实现人工智能技术的落地价值。
本文由nayona.cn整理
联系我们
关注公众号
微信扫一扫
支付宝扫一扫
对占星塔罗感兴趣关注公众号
相关推荐
道光浒山志（嘉靖观海卫志 – 方志
如何自学 占星术 占星教程网盘 塔罗牌教程百度网盘 道光浒山志（嘉靖观海卫志 ：道光浒山志嘉靖观海卫志，当阳县志，砀山县志一-二道光浒山志[嘉靖观海卫志建水县志(全)与姚安民国县志…
新疆 麦盖提县志.pdf下载 | 西北地区 | 县志下载 | 中国地方史志网
如何自学 占星术 占星教程网盘 塔罗牌教程百度网盘 新疆 麦盖提县志.pdf下载 格式：PDF电子版 微信QQ： shuij56 县志简介 书名 : 麦盖提县志作者 :…
1999-沈阳市志 1998.pdf
如何自学 占星术 占星教程网盘 塔罗牌教程百度网盘 付费后下载高清电子版PDF文件 有需要联系v；加客服窗口的联系方式 摘要：《1999-沈阳市志 1998.pdf》作为沈阳市的地…
自贡市工商行政管理志 上册
如何自学 占星术 占星教程网盘 塔罗牌教程百度网盘 自贡市工商行政管理志 上册 PDF电子版 格式：PDF电子版 微信QQ： shuij56 县志简介 书名：自贡市工商行政管理志 …
对占星塔罗感兴趣关注公众号
中国佛教学术论典 75 禅与禅宗寺院建筑布局初探 云南傣族小乘佛教建筑研究 建筑宗教文化
如何自学 占星术 占星教程网盘 塔罗牌教程百度网盘 中国佛教学术论典 75 禅与禅宗寺院建筑布局初探 云南傣族小乘佛教建筑研究 建筑宗教文化PDF格式文档图书下载 哲学宗教 作 者…
