Datasets | AI Infrastructure Database

Opciones

DATOS Y API

Acceso JSON gratuito de solo lectura a los datos en caché del sitio.

Modo oscuro

Vista guiada
¿Nuevo en el mundo de los chips, los centros de datos y la jerga de modelos? Explicamos los términos clave mientras navegas, en lenguaje claro. Los mismos datos, con la ayuda integrada.

Vista experta
Ya conoces el stack. Solo los datos: limpios, rápidos y compactos, sin explicaciones adicionales. Esta es la vista predeterminada.

Idioma de la interfaz

Notas de campo

Los modelos son lo que consumen, y este es el menú. El patrón que vale la pena notar: el texto libre de la web ha sido esencialmente consumido, por eso los registros más recientes aquí tratan de curación y síntesis, no de scraping.

Empiece por estos tres

CC Common Crawl El archivo web de una pequeña organización sin ánimo de lucro que alimentó la revolución de la IA sin proponérselo. F& FineWeb & FineWeb-Edu El estado del arte del mundo open — 15 billones de tokens, receta incluida. L5 LAION-5B El dataset detrás de la generación de imágenes open — y su historia de advertencia.

Training datasets & corpora

7

CC Common Crawl The nonprofit web archive nearly every LLM ate first. C4 C4 Google's cleaned Common Crawl — the reproducible baseline. F& FineWeb & FineWeb-Edu Hugging Face's 15-trillion-token state of the art in open pre-training data. IM ImageNet The 14-million-image labeled dataset that started the deep-learning era. L5 LAION-5B 5.85 billion image-text pairs — the fuel of open image generation, and its scandal. RE RedPajama The open reproduction of Llama's training mix. TP The Pile EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.