《图解大模型：生成式AI原理与实战》杰伊·阿拉马尔

如何自学 占星术 占星教程网盘 塔罗牌教程百度网盘

《图解大模型：生成式AI原理与实战》杰伊·阿拉马尔【文字版_PDF电子书_】

内容简介：

本书全程图解式讲解，通过大量全彩插图拆解概念，让读者真正告别学习大模型的枯燥和复杂。

全书分为三部分，依次介绍语言模型的原理、应用及优化。第一部分 理解语言模型(第1~3章)，解析语言模型的核心概念，包括词元、嵌入向量及Transformer架构，帮助读者建立基础认知。第二部分 使用预训练语言模型(第4~9章)，介绍如何使用大模型进行文本分类、聚类、语义搜索、文本生成及多模态扩展，提升模型的应用能力。第三部分 训练和微调语言模型(第10~12章)，探讨大模型的训练与微调方法，包括嵌入模型的构建、分类任务的优化及生成式模型的微调，以适应特定需求。

本书适合对大模型感兴趣的开发者、研究人员和行业从业者。读者无须深度学习基础，只要会用Python，就可以通过本书深入理解大模型的原理并上手大模型应用开发。书中示例还可以一键在线运行，让学习过程更轻松。

作者简介：

Jay Alammar

Cohere总监兼工程研究员，知名大模型技术博客Language Models & Co作者，DeepLearning.AI和Udacity热门机器学习和自然语言处理课程作者。

Jay的图解系列文章“The Illustrated Transformer”“The Illustrated DeepSeek-R1”全网疯传，累积了几百万专业读者。

目  录：

对本书的赞誉 xi

对本书中文版的赞誉 xiii

译者序 xv

中文版序 xxi

前言 xxiii

第 一部分　理解语言模型

第 1章　大语言模型简介 3

1.1　什么是语言人工智能 4

1.2　语言人工智能的近期发展史 4

1.2.1　将语言表示为词袋模型 5

1.2.2　用稠密向量嵌入获得更好的表示 7

1.2.3　嵌入的类型 9

1.2.4　使用注意力机制编解码上下文 10

1.2.5　“Attention Is All You Need” 13

1.2.6　表示模型：仅编码器模型 16

1.2.7　生成模型：仅解码器模型 18

1.2.8　生成式AI元年 20

1.3　“LLM”定义的演变 22

1.4　LLM的训练范式 22

1.5　LLM的应用 23

1.6　开发和使用负责任的LLM 24

1.7　有限的资源就够了 25

1.8　与LLM交互 25

1.8.1　专有模型 26

1.8.2　开源模型 26

1.8.3　开源框架 27

1.9　生成你的第 一段文本 28

1.10　小结 30

第 2章　词元和嵌入 31

2.1　LLM的分词 32

2.1.1　分词器如何处理语言模型的输入 32

2.1.2　下载和运行LLM 33

2.1.3　分词器如何分解文本 36

2.1.4　词级、子词级、字符级与字节级分词 37

2.1.5　比较训练好的LLM分词器 39

2.1.6　分词器属性 47

2.2　词元嵌入 48

2.2.1　语言模型为其分词器的词表保存嵌入 49

2.2.2　使用语言模型创建与上下文相关的词嵌入 49

2.3　文本嵌入(用于句子和整篇文档) 52

2.4　LLM之外的词嵌入 53

2.4.1　使用预训练词嵌入 53

2.4.2　word2vec算法与对比训练 54

2.5　推荐系统中的嵌入 57

2.5.1　基于嵌入的歌曲推荐 57

2.5.2　训练歌曲嵌入模型 58

2.6　小结 60

第3章　LLM的内部机制 61

3.1　Transformer模型概述 62

3.1.1　已训练Transformer LLM的输入和输出 62

3.1.2　前向传播的组成 64

3.1.3　从概率分布中选择单个词元(采样/解码) 66

3.1.4　并行词元处理和上下文长度 68

3.1.5　通过缓存键 值加速生成过程 70

3.1.6　Transformer块的内部结构 71

3.2　Transformer架构的最新改进 79

3.2.1　更高效的注意力机制 79

3.2.2　Transformer块 83

3.2.3　位置嵌入：RoPE 85

3.2.4　其他架构实验和改进 87

3.3　小结 87

第二部分　使用预训练语言模型

第4章　文本分类 91

4.1　电影评论的情感分析 92

4.2　使用表示模型进行文本分类 93

4.3　模型选择 94

4.4　使用特定任务模型 96

4.5　利用嵌入向量的分类任务 99

4.5.1　监督分类 99

4.5.2　没有标注数据怎么办 102

4.6　使用生成模型进行文本分类 105

4.6.1　使用T5 106

4.6.2　使用ChatGPT进行分类 110

4.7　小结 113

第5章　文本聚类和主题建模 114

5.1　ArXiv文章：计算与语言 115

5.2　文本聚类的通用流程 116

5.2.1　嵌入文档 116

5.2.2　嵌入向量降维 117

5.2.3　对降维后的嵌入向量进行聚类 119

5.2.4　检查生成的簇 120

5.3　从文本聚类到主题建模 122

5.3.1　BERTopic：一个模块化主题建模框架 124

5.3.2　添加特殊的“乐高积木块” 131

5.3.3　文本生成的“乐高积木块” 135

5.4　小结 138

第6章　提示工程 140

6.1　使用文本生成模型 140

6.1.1　选择文本生成模型 140

6.1.2　加载文本生成模型 141

6.1.3　控制模型输出 143

6.2　提示工程简介 145

6.2.1　提示词的基本要素 145

6.2.2　基于指令的提示词 147

6.3　高级提示工程 149

6.3.1　提示词的潜在复杂性 149

6.3.2　上下文学习：提供示例 152

6.3.3　链式提示：分解问题 153

6.4　使用生成模型进行推理 155

6.4.1　思维链：先思考再回答 156

6.4.2　自洽性：采样输出 159

6.4.3　思维树：探索中间步骤 160

6.5　输出验证 161

6.5.1　提供示例 162

6.5.2　语法：约束采样 164

6.6　小结 167

第7章　高级文本生成技术与工具 168

7.1　模型输入/输出：基于LangChain加载量化模型 169

7.2　链：扩展LLM的能力 171

7.2.1　链式架构的关键节点：提示词模板 172

7.2.2　多提示词链式架构 174

7.3　记忆：构建LLM的对话回溯能力 177

7.3.1　对话缓冲区 178

7.3.2　窗口式对话缓冲区 180

7.3.3　对话摘要 181

7.4　智能体：构建LLM系统 185

7.4.1　智能体的核心机制：递进式推理 186

7.4.2　LangChain中的ReAct实现 187

7.5　小结 190

第8章　语义搜索与RAG 191

8.1　语义搜索与RAG技术全景 191

8.2　语言模型驱动的语义搜索实践 193

8.2.1　稠密检索 193

8.2.2　重排序 204

8.2.3　检索评估指标体系 207

8.3　RAG 211

8.3.1　从搜索到RAG 212

8.3.2　示例：使用LLM API进行基于知识的生成 213

8.3.3　示例：使用本地模型的RAG 213

8.3.4　高级RAG技术 215

8.3.5　RAG效果评估 217

8.4　小结 218

第9章　多模态LLM 219

9.1　视觉Transformer 220

9.2　多模态嵌入模型 222

9.2.1　CLIP：构建跨模态桥梁 224

9.2.2　CLIP的跨模态嵌入生成机制 224

9.2.3　OpenCLIP 226

9.3　让文本生成模型具备多模态能力 231

9.3.1　BLIP-2：跨越模态鸿沟 231

9.3.2　多模态输入预处理 235

9.3.3　用例1：图像描述 237

9.3.4　用例2：基于聊天的多模态提示词 240

9.4　小结 242

第三部分　训练和微调语言模型

第 10章　构建文本嵌入模型 247

10.1　嵌入模型 247

10.2　什么是对比学习 249

10.3　SBERT 251

10.4　构建嵌入模型 253

10.4.1　生成对比样本 253

10.4.2　训练模型 254

10.4.3　深入评估 257

10.4.4　损失函数 258

10.5　微调嵌入模型 265

10.5.1　监督学习 265

10.5.2　增强型SBERT 267

10.6　无监督学习 271

10.6.1　TSDAE 272

10.6.2　使用TSDAE进行领域适配 275

10.7　小结 276

第 11章　为分类任务微调表示模型 277

11.1　监督分类 277

11.1.1　微调预训练的BERT模型 279

11.1.2　冻结层 281

11.2　少样本分类 286

11.2.1　SetFit：少样本场景下的高效微调方案 286

11.2.2　少样本分类的微调 290

11.3　基于掩码语言建模的继续预训练 292

11.4　命名实体识别 297

11.4.1　数据准备 298

11.4.2　命名实体识别的微调 303

11.5　小结 305

第 12章　微调生成模型 306

12.1　LLM训练三步走：预训练、监督微调和偏好调优 306

12.2　监督微调 308

12.2.1　全量微调 308

12.2.2　参数高效微调 309

12.3　使用QLoRA进行指令微调 317

12.3.1　模板化指令数据 317

12.3.2　模型量化 318

12.3.3　LoRA配置 319

12.3.4　训练配置 320

12.3.5　训练 321

12.3.6　合并权重 322

12.4　评估生成模型 322

12.4.1　词级指标 323

12.4.2　基准测试 323

12.4.3　排行榜 324

12.4.4　自动评估 325

12.4.5　人工评估 325

12.5　偏好调优、对齐 326

12.6　使用奖励模型实现偏好评估自动化 327

12.6.1　奖励模型的输入和输出 328

12.6.2　训练奖励模型 329

12.6.3　训练无奖励模型 332

12.7　使用DPO进行偏好调优 333

12.7.1　对齐数据的模板化 333

12.7.2　模型量化 334

12.7.3　训练配置 335

12.7.4　训练 336

12.8　小结 337

附录　图解DeepSeek-R1 338

浏览器不支持脚本！

图解学习 大模型 微调

摘要：《图解大模型：生成式AI原理与实战》是由杰伊·阿拉马尔（Jay Alammar）所编著的一本详尽解析生成式AI的书籍。作者通过图解和实例的方式，深入浅出地向读者展示了大模型和生成式AI的核心原理及应用实践。全书结构严谨，从基础理论到实际操作，覆盖了大模型的构建、训练、调优、生成式AI的关键技术以及如何在实际项目中使用生成式AI模型等多个方面。作者通过生动的插图和通俗的语言，让复杂的AI理论更加易懂。本书既适合AI领域的初学者，也为有一定基础的研究人员和开发者提供了深刻的技术洞察。本文章将从四个方面详细解析本书的核心内容，帮助读者更好地理解和掌握生成式AI的技术原理及应用。

1、生成式AI的基本原理

《图解大模型：生成式AI原理与实战》首先介绍了生成式AI的基础概念，特别是大模型的定义和生成式AI的工作机制。生成式AI是指一种能够根据输入数据生成新的数据的技术，这些数据可以是文本、图像、声音等多种形式。作者详细解释了生成模型与判别模型的区别，生成模型通过学习输入数据的分布来生成新的数据，而判别模型则专注于区分不同类别的数据。

书中进一步讨论了生成式AI的核心技术，例如自回归模型和生成对抗网络（GAN）。自回归模型通过基于前一个数据生成下一个数据点，而GAN则通过对抗性训练，让生成器与判别器相互对抗，从而提高生成模型的精度。这两种模型的讲解不仅帮助读者理解生成式AI的技术架构，也揭示了它们在实际应用中的优势和局限。

此外，作者还深入浅出地介绍了生成式AI背后的数学原理，包括概率论和优化算法的应用。通过对这些复杂概念的图解，书中的内容变得更加直观，帮助读者清晰理解每个技术细节如何在实际生成过程中发挥作用。

2、大模型的训练与优化

在《图解大模型：生成式AI原理与实战》中，大模型的训练和优化是一个非常重要的章节。书中详细阐述了大模型训练的步骤和面临的挑战。大模型训练涉及海量的数据和计算资源，而如何高效地训练这些模型是AI研究中的一大难题。作者通过图解的方式，分析了不同的训练策略，如批量训练、增量训练以及分布式训练等。

针对大模型训练中的计算资源瓶颈，作者介绍了现代AI硬件（如GPU、TPU）如何加速训练过程。此外，书中还详细描述了分布式训练技术，如何将大规模模型的训练任务分解到多个节点上，从而提升计算效率和缩短训练时间。

优化方面，书中提出了多种优化算法，如Adam、RMSProp等，作者通过图示和实例演示了这些算法如何在训练过程中调节学习率，从而加速模型收敛并减少过拟合现象。通过这些内容，读者可以深入理解大模型训练的技巧和策略，并掌握如何在实际项目中应对训练中的各种挑战。

3、生成式AI在实际项目中的应用

《图解大模型：生成式AI原理与实战》不仅讲解了理论，还详细探讨了生成式AI在实际项目中的应用。在这一部分，作者通过多个实际案例，展示了生成式AI在文本生成、图像生成、自动编程等领域的成功应用。例如，在文本生成方面，作者详细分析了GPT系列模型如何在自然语言处理（NLP）任务中生成流畅且符合上下文的文本。

在图像生成领域，书中介绍了基于生成对抗网络（GAN）和变分自编码器（VAE）的技术，展示了如何通过这些技术生成高质量的图像。作者还讲解了在艺术创作、游戏设计等领域，生成式AI如何帮助创作者快速生成高质量的设计作品。

此外，书中还探讨了生成式AI在商业中的应用场景。例如，如何利用生成式AI优化广告创意、进行内容自动化生成等。通过实际案例，作者展示了生成式AI的强大能力以及它在各行业中如何带来创新和变革。

4、生成式AI的未来发展趋势

在《图解大模型：生成式AI原理与实战》的最后部分，作者展望了生成式AI的未来发展趋势。随着技术的不断进步，生成式AI将不仅仅局限于文本和图像生成，未来可能在视频生成、语音生成以及更多领域得到应用。作者特别提到，生成式AI将越来越具有人类创作的能力，它将不仅是辅助工具，而是创造性工作的核心。

同时，书中还讨论了生成式AI的伦理问题和社会影响。随着生成式AI生成内容的能力不断提升，如何应对假新闻、虚假信息和版权问题等社会挑战成为亟待解决的问题。作者强调，AI伦理和法规的制定将是未来发展的重要方向，只有在保障安全和合规的前提下，生成式AI才能健康发展。

最后，书中展望了生成式AI与其他先进技术的结合，如量子计算与AI的融合、自动驾驶与AI的结合等。这些新兴领域的结合，将推动生成式AI技术的边界，带来更多创新的应用场景。

总结：

《图解大模型：生成式AI原理与实战》是一本兼具理论深度和实践指导的著作，书中不仅系统讲解了生成式AI的核心原理，还通过丰富的图解和实际案例帮助读者更好地理解和应用这些技术。从大模型的训练和优化到生成式AI在各行各业的广泛应用，作者深入浅出地阐述了AI技术的方方面面，是学习和应用生成式AI的必备指南。

通过本书的学习，读者能够全面掌握生成式AI的基本原理与应用技巧，提升在AI领域的实践能力和创新能力。在未来，生成式AI将在更多领域发挥巨大作用，因此掌握这些知识将为读者在AI技术应用和创新中提供有力支持。

本文由nayona.cn整理

点击联系需要东西方神秘学学习资料，专业的咨询

只要网页介绍资料，全部都有，还有很多还没来得及更新
每天更新200-300款资料
全网最大最全的神秘学资料平台
请需要什么资料，直接在对话框直接联系我，24小时在线，方便快捷
请需要什么资料，直接在对话框直接联系我，24小时在线，方便快捷
请需要什么资料，直接在对话框直接联系我，24小时在线，方便快捷

           

联系我们

关注公众号

打赏 微信扫一扫 支付宝扫一扫

雅书

对占星塔罗感兴趣关注公众号