Ana Sayfa › Veri kümeleri › Common Crawl
Common Crawl
Veri kümesi
Web Derlem
The nonprofit web archive nearly every LLM ate first.
Bir veri kümesi kaydına bakıyorsunuz: bir eğitim verisi koleksiyonu — içinde ne olduğu ve hangi modellerin ondan öğrendiği.
Common Crawl has archived the open web monthly since 2008 — petabytes of pages that, filtered and deduplicated, form the backbone of most pre-training corpora (GPT-3's largest component; ancestor of C4, RefinedWeb, FineWeb). A tiny nonprofit's crawler quietly became the most economically consequential dataset on Earth — and the center of the consent-and-copyright fight.
Bu, yığının geri kalanıyla nasıl bağlantılı?
Bu kaydın bağlantılarına hızlı bakış — bir gruba tıklayarak o bölüme atlayın.
Eğitimde kullanıldığı modeller
Kaynaklar
İncelenen kayıt tarihi: 2026-01-15 — görüntüle Metodoloji.