Training Language Models to Follow Instructions with Human Feedback

핵심: GPT-3를 단순 next-token generator에서 instruction-following assistant로 바꾸기 위해 SFT → Reward Model → PPO/PPO-ptx RLHF 파이프라인을 제시한 논문.

Metadata

Paper: Training Language Models to Follow Instructions with Human Feedback
Authors: Long Ouyang et al.
arXiv: 2203.02155 · 2022
Category: RL for LLMs / Post-training · RLHF and instruction tuning
Keywords: InstructGPT, RLHF, SFT, Reward Model, PPO, PPO-ptx, KL penalty, alignment

Compressed note

One-line summary

사람이 원하는 답변을 reward/objective로 바꾼다

InstructGPT는 “helpful, honest, harmless한 assistant”라는 애매한 목표를 demonstration data, preference ranking, scalar reward model, PPO objective로 변환한 RLHF 파이프라인이다.

Core pipeline

SFT → RM → PPO/PPO-ptx

사람이 쓴 좋은 답변으로 SFT를 하고, 사람이 선호한 답변 ranking으로 Reward Model을 학습한 뒤, RM 점수가 높은 답변을 더 자주 만들도록 PPO로 policy model을 업데이트한다.

Key distinction

Reward Model은 최종 대화 모델이 아니다

RM은 prompt-response를 보고 scalar reward를 주는 채점 모델이다. 사용자와 대화하는 최종 모델은 RM이 아니라, RM reward를 기준으로 PPO/PPO-ptx 학습된 policy model이다.

Why this technique appeared

GPT-3의 pretraining objective는 웹 텍스트의 다음 토큰을 맞히는 것이다. 하지만 사용자가 원하는 것은 다음 토큰 예측이 아니라, 지시를 이해하고 유용하고 사실적이며 위험하지 않은 답변을 하는 assistant다.

즉, pretraining objective와 실제 사용자 objective 사이의 mismatch가 있었다. InstructGPT는 이 mismatch를 사람의 demonstration과 preference feedback으로 줄이려 했다.

Pipeline

Pretrained GPT-3
  ↓
SFT: human-written demonstrations
  ↓
Reward Model: human preference rankings → scalar reward
  ↓
PPO / PPO-ptx: optimize policy for RM score while staying near SFT
  ↓
InstructGPT

SFT: 사람이 쓴 좋은 답변을 따라 하도록 supervised fine-tuning.
RM: 같은 prompt에 대한 여러 답변 ranking을 pairwise comparison으로 바꾸고, winner가 loser보다 높은 reward를 받도록 학습.
PPO: RM 점수를 높이도록 policy를 업데이트하되, 업데이트가 과격해지지 않게 제어.
PPO-ptx: PPO에 pretraining objective를 섞어 기존 언어능력 저하를 줄인다.

Objective intuition

RL 단계의 목표는 단순히 RM 점수만 높이는 것이 아니다. RM은 proxy이기 때문에 그대로 최적화하면 reward hacking이 생긴다. 그래서 InstructGPT는 세 가지 힘을 같이 둔다.

RM reward: 사람이 선호할 만한 답변을 만들수록 좋다.
KL penalty: SFT model의 답변 분포에서 너무 멀어지지 마라.
Pretraining mix: RLHF 중 원래 language modeling 능력을 잃지 마라.

중요한 구분: InstructGPT objective는 “어떤 답변이 좋은가”를 정의하고, PPO clipped surrogate objective는 그 reward를 기준으로 policy를 안정적으로 업데이트하는 알고리즘이다.

Takeaways

Alignment as data transformation: 사람 선호 → ranking → pairwise comparison → reward model → RL objective.
KL is a safety rail: RM 점수만 최적화하면 proxy exploit이 생기므로 SFT model 근처에 묶어둔다.
PPO-ptx reduces alignment tax: instruction-following을 개선하면서 기존 NLP 능력 저하를 줄이려는 장치다.
Position in the study map: CoT/ReAct는 inference-time prompting/agent protocol이고, InstructGPT는 model 자체를 human feedback으로 post-train하는 학습 파이프라인이다.