Common Crawl
데이터셋
웹 코퍼스
The nonprofit web archive nearly every LLM ate first.
현재 보고 계신 것은 데이터셋 레코드입니다: 학습용 데이터 모음 — 어떤 데이터가 담겨 있으며 어떤 모델이 이를 학습했는지를 다룹니다.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
전체 스택에서의 연결 구조
이 레코드의 링크를 한눈에 확인하세요 — 그룹을 클릭하면 해당 위치로 이동합니다.
학습에 사용됨
출처
검토 기준일 2026-01-15 — 보기 방법론.