【AIPM一文弄懂】大语言模型 概念/架构/训练/评估/微调
输入“/”快速插入内容
【AIPM一文弄懂】大语言模型 概念/架构/训练/评估/微调
【AIPM一文弄懂】大语言模型 概念/架构/训练/评估/微调
用户811用户8112024年4月24日修改
我们将探讨一个新兴的应用开发领域，其中大语言模型（LLM）扮演着核心角色。过去一年，生成式 AI 工具如 ChatGPT、Bing Chat、Bard 和 Dall-E 展示了它们根据用户自然语言请求生成类似人类内容的能力，这一能力让我们印象深刻。这些工具的对话功能使它们上市后迅速被广泛接受，并获得了高度关注。在这个阶段，我们已经认识到生成式 AI 及其核心模型——大语言模型的潜力。然而，LLM 不仅仅限于语言生成，它们也可以作为推理引擎，为智能应用程序提供决策支持。本书将详细讨论如何构建由 LLM 驱动的应用程序，包括理论基础和技术实现，涵盖多个应用场景，并介绍新兴的软件开发组件和框架。
第一部分，我们将介绍 LLM 的理论、市场上最有前景的 LLM 以及新兴的 LLM 驱动应用程序的框架。然后，我们将进入实践部分，我们将使用各种 LLM 实现许多应用程序，涵盖不同的场景和实际问题。最后，我们在第三部分总结这本书，涵盖 LLM 领域的新兴趋势，以及如何通过负责任 AI 实践来减轻 AI 工具的风险。
那么，让我们开始深入了解我们即将进入的背景。本章为大语言模型（LLM）提供了一个介绍和深入探讨，这是一组强大的深度学习神经网络，具有生成式 AI 的领域。在本章中，我们将介绍以下内容：
•
对 LLM 的理解，它们与经典机器学习模型的区别以及相关的术语；
•
最受欢迎的 LLM 架构的概览；
•
LLM 是如何训练和使用的；
•
基础 LLM 与微调 LLM 的比较。
在本章结束时，你将对 LLM 是什么、它们是如何工作的以及如何使它们更加适合你的应用程序有基本的了解。这还为本书实践部分中 LLM 的具体使用奠定了基础，我们将看到如何在应用程序中嵌入 LLM。
概念：大模型是什么？大语言模型又是什么？
大语言模型（LLM）是基于深度学习技术构建的模型，它们通过学习大量的未标注文本数据来捕捉语言的复杂性。这些模型擅长处理各种自然语言任务，包括但不限于文本识别、摘要、翻译、预测以及文本生成。LLM是生成式人工智能（AI）的一个分支，也是大型基础模型（LFM）的关键组成部分。接下来，我们将深入研究LFM和LLM的兴起、发展及其技术架构，这是理解它们运作机制和在应用中有效利用它们的关键。
我们首先比较LFM和LLM与传统AI模型的差异，探讨它们如何代表人工智能领域的重大范式转变。接着，我们将详细解释LLM的技术细节，包括它们是如何处理数据、如何工作以及它们产出的背后机制。
AI范式转变：基础模型的介绍
基础模型是一种经过预训练的生成式 AI 模型，具有广泛的适用性，能够应对各种不同的任务。这些模型通过在庞大且多样的数据集上进行广泛训练，掌握了数据中的通用模式和关系，这不仅限于文本数据，也包括图像、音频、视频等多种数据格式。这个预训练阶段为模型在不同领域提供了扎实的理解基础，为后续的微调工作打下了坚实的基础。
基础模型是为了迁移学习而设计的，这意味着它们能够有效地将在预训练阶段学到的知识应用到新的相关任务上。这种知识的迁移提高了它们的适应性，使它们能够快速且有效地掌握新任务，而且只需要相对较少的额外训练。
基础模型的一个显著特点是其大规模的架构，拥有数百万甚至数十亿个参数。这种大规模的参数使得它们能够捕捉数据中的复杂模式和关系，因此在各种任务中都能展现出卓越的性能。
由于其全面的预训练和迁移学习能力，基础模型展现了强大的泛化能力。这意味着它们能够在多种任务中表现出色，并且能够高效地适应新见过的数据，无需为每个任务都训练一个单独的模型。
这种人工神经网络设计范式的转变带来了显著的优势，因为基础模型凭借其多样化的训练数据集，能够根据用户的需求适应不同的任务，同时不会牺牲性能或效率。在过去，我们需要为每个任务（如命名实体识别或情感分析）创建和训练专门的神经网络，而现在，基础模型提供了一个统一且强大的解决方案，适用于多个应用场景。
图1：从特定任务模型到通用模型
从现在起，当我们讨论专注于语言理解和生成的 foundation models 时，我们指的是 LLM（大语言模型）。