ChatGPT 是基于 OpenAI 的 GPT（Generative Pre-trained Transformer）模型 实现的，其核心技术围绕现代深度学习、自然语言处理和大规模预训练展开。以下是 ChatGPT 的主要核心技术和相关理论：

Transformer 架构（最核心的技术，第二篇会详细说这个）
ChatGPT 的核心是 Transformer，这是 2017 年提出的一种深度学习模型架构，极大地改变了自然语言处理的格局。 • 自注意力机制（Self-Attention） 捕获输入序列中每个单词与其他单词之间的关系，使模型能够理解上下文和长距离依赖关系。 • 多头注意力机制（Multi-Head Attention） 提供多种视角，捕获句子中不同层次的语义信息。 • 位置编码（Positional Encoding） 给输入单词添加位置信息，让模型能够识别单词的顺序。