大规模数据训练 • 数据来源：互联网上的多种语言数据，包括百科文章、新闻、代码、社交媒体文本等。 • 数据清洗：通过去重、去噪、剔除敏感内容，确保数据质量。 • 多语言能力：模型能处理多种语言，部分归功于多语言数据的预训练。

强化学习与人类反馈（RLHF）(最核心技术，后面会详细讲)

ChatGPT 的高质量对话能力得益于强化学习与人类反馈（Reinforcement Learning from Human Feedback, RLHF）的使用。 • 人类反馈数据 标注者对模型输出质量进行评分，生成标注数据集。 • 奖励模型（Reward Model） 通过人类反馈数据训练的奖励模型，评估生成结果的优劣。 • 强化学习优化 使用奖励模型优化 GPT 的输出，使其生成更符合用户期望的内容。