Common Crawl
Датасет
Веб-корпус
The nonprofit web archive nearly every LLM ate first.
Перед вами запись о датасете — коллекции обучающих данных: что в неё входит и какие модели на ней обучались.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
Место в общей экосистеме
Ссылки этой записи с первого взгляда — нажмите на группу, чтобы перейти к ней.
Применяется для обучения
Источники
Запись актуальна на 2026-01-15 — смотреть Методология.