它们使用手动标记的数据进行训练，例如包含不同动物照片的数据库，以及人类为每种动物编写的文本描述。这些类型的训练数据虽然在某些情况下有效，但制作成本极高。即使是现在，也没有那么多经过适当标记和分类的数据可用于训练 LLM。 相反，GPT-1 采用了生成式预训练，即给它一些基本规则，然后输入大量未标记的数据——几乎是整个开放互联网。
然后让它地处理所有这
些数据，并形成自己对文本规则 塞浦路斯电报数据 和关系的理解。 随着 OpenAI 继续开发预训练过程，它能够使用大量数据（包括非文本数据）创建更强大的模型。例如，GPT-4o使用相同的基本思想进行训练，尽管除了文本之外，其训练数据还包括图像和音频。
这样，它不仅可以了解苹
果是什么，还可以了解苹果的样子。 当然，你并不知道 面向千禧一代销售产品的 条实用建议：电子商务指南 使用无监督学习会得到什么，因此每个 GPT 模型也都经过“微调”，以使其行为更可预测、更合适。有几种方法可以做到这一点（我将介绍），但它通常使用监督学习的形式。 Transformer 架构 所有这些训练旨在创建一个深度学习神经网络——一种复杂、多层次、加权的、模仿人类大脑的算法——这使得 ChatGPT 能够学习文本数据中的模式和关系，并通过预测给定句子中接下来的文本来创建类似人类的反应。
该网络使用了一种称为transformer 架构（GPT 中的 T）的东 电子邮件线索带领 西，早在 2017 年的一篇研究论文中就提出了它。它对于当前 AI 模型的蓬勃发展至关重要。 虽然听起来很复杂（而且解释起来确实很复杂），但 Transformer 模型从根本上简化了 AI 算法的设计方式。