Mục cơ sở dữ liệu · 12 hồ sơ
Nghiên cứu
The papers the modern stack is built on — from the transformer to scaling laws, RLHF and reasoning models.
Ghi chép thực địa
Hàng chục tài liệu PDF làm nền tảng cho hàng nghìn tỷ đô la hạ tầng. Đây là những bài báo nơi các ý tưởng xuất hiện lần đầu — hầu hết dễ đọc đến bất ngờ, và mỗi mục ở đây cho bạn biết điều gì quan trọng mà không cần đến toán học.
Bắt đầu với ba khái niệm này
AI
Attention Is All You Need (2017)
Tám tác giả, một kiến trúc, tất cả những gì xuất hiện từ đó đến nay.
TC
Training Compute-Optimal LLMs — Chinchilla (2022)
Sự điều chỉnh đã thay đổi cách mọi mô hình được huấn luyện.
DR
DeepSeek-R1 — Reasoning via RL (2025)
Công thức nguồn mở cho khả năng suy luận — được công bố trong khi các đối thủ vẫn giữ bí mật.
Foundational papers
12
AI
Attention Is All You Need (2017)
The eight Google authors who invented the transformer.
A(
AlexNet (2012)
The ImageNet result that started the deep-learning era — on two gaming GPUs.
CA
Constitutional AI (2022)
Anthropic's method: models critique themselves against written principles.
DR
DeepSeek-R1 — Reasoning via RL (2025)
The open recipe for reasoning models — a Nature cover, from a hedge fund's lab.
DD
Denoising Diffusion Probabilistic Models (2020)
The DDPM paper behind every image and video generator.
F(
FlashAttention (2022)
The kernel trick that made long context affordable.
HA
Highly Accurate Protein Structure Prediction (2021)
AlphaFold 2 in Nature — the result that won a Nobel.
I—
InstructGPT — RLHF at Scale (2022)
How raw language models became assistants people can use.
LM
Language Models are Few-Shot Learners (2020)
The GPT-3 paper: capability from scale, tasks from prompts.
LL
LoRA: Low-Rank Adaptation (2021)
Fine-tuning for the GPU-poor — tiny adapters instead of full weights.
SL
Scaling Laws for Neural Language Models (2020)
Kaplan et al.: loss falls as a power law in compute — the investment thesis, quantified.
TC
Training Compute-Optimal LLMs — Chinchilla (2022)
DeepMind's correction: most models were undertrained on data.