1. 为什么要预训练？
2018 年之前，NLP 常常为每个任务单独训练模型，数据依赖大、泛化差。GPT-1 认为语言建模就是一个通用的「自监督」目标：预测下一个 token 的概率。当模型学会语言结构后，只需少量有标签数据就能微调到具体任务。
核心公式
预训练目标是最大化 ∑ log P(w_t | context_t; θ)。微调阶段在 Transformer 顶部添加任务层，最小化对应的
cross-entropy。
2. 两阶段训练流程
- 预训练设置：上下文窗口 512，12 层 Transformer Decoder，隐藏维度 768，注意力头 12，参数约 117M。
- 微调策略：在每个任务上附加一个浅层分类器或指针网络，部分任务引入任务描述 + 输入拼接。
3. 模型解剖
- 只保留解码器堆叠（没有 encoder），依靠 mask 强制自回归。
- 前馈层使用 GELU 激活；LayerNorm 放在残差之后（Post-LN）。
- 微调阶段在最后一层上接 task head，例如 MLP 分类器或 pointer network。
4. 多任务适配技巧
- 自然语言提示：在输入前拼接诸如 “Question: … Answer:” 的提示，统一不同任务的输入格式。
- Span Prediction：对于问答任务，模型预测 answer span 的起止位置（类似 Pointer Networks）。
- 无标签数据增强：使用语言模型生成的候选句子来扩展训练数据，缓解过拟合。
5. 局限与启发
虽然 GPT-1 在多个 GLUE 任务上领先于同年代模型，但仍存在如下限制：
- 数据规模小：BookCorpus 仅 ~5GB 文本，语域单一。
- 任务仍需微调：模型无法直接零样本推理。
- 上下文长度 512，无法覆盖长文本推理。
即便如此，GPT-1 证明了「先学语言，再学任务」的可行性，并为 GPT-2 的扩大规模与 zero-shot 实验铺平道路。