预训练和微调（AI通用技术）
GPT 的训练分为两个阶段：

1）预训练（Pre-training） • 目标：利用大量无标注文本数据，学习通用语言模型。 • 方法：通过自回归任务（预测序列中下一个单词）训练模型：

2）微调（Fine-tuning） • 目标：通过更小的高质量数据集或用户反馈数据（如 RLHF）调整模型，使其适应特定任务或提升对话能力。 • 技术：监督学习（Supervised Learning）或强化学习（Reinforcement Learning）。