RLHF

Khái niệm Huấn luyện & Suy luận

Reinforcement learning from human feedback — the technique behind ChatGPT's manners.

Bạn đang xem hồ sơ giải thích khái niệm: thuật ngữ này có nghĩa là gì theo ngôn ngữ thông thường, và các hồ sơ liên quan đến nó.

RLHF trains a reward model from human preference comparisons, then optimizes the language model against it. Introduced at scale by InstructGPT (2022), it is why assistants follow instructions and refuse harm — and its quirks (sycophancy, reward hacking) drive research into alternatives like constitutional AI and direct preference optimization.

Kết nối của mục này với phần còn lại của hệ thống

Các liên kết của hồ sơ này trong nháy mắt — nhấp vào một nhóm để chuyển đến nhóm đó.

Giới thiệu

InstructGPT — RLHF at Scale (2022)

Dựa trên

InstructGPT — RLHF at Scale (2022)

Liên quan

Constitutional AI (2022) Alignment Post-training (RLHF, RLVR and after)

Nguồn

InstructGPT paper ↗

Hồ sơ được xem xét tính đến 2026-01-15 — xem Phương pháp luận.