Common Crawl
データセット
Webコーパス
The nonprofit web archive nearly every LLM ate first.
これはデータセットのレコードです。学習用データのコレクションについて、収録内容とそれを学習したモデルを紹介します。
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
スタック全体とのつながり
このレコードのリンク一覧 — グループをクリックするとジャンプします。
学習に使用
出典
レコードのレビュー時点： 2026-01-15 — 表示 調査手法.