Datasets | AI Infrastructure Database

Opções

DADOS E API

Acesso JSON gratuito e somente leitura aos dados em cache do site.

Modo escuro

Visão Guiada
Novo no universo de chips, data centers e jargão de modelos? Explicamos os termos-chave enquanto você navega, em linguagem clara. Os mesmos dados, com ajuda integrada.

Visão Especializada
Você já conhece o stack. Só os dados: limpos, rápidos e compactos, sem explicações extras. Esta é a visualização padrão.

Idioma da interface

Notas de campo

Os modelos são o que consomem, e este é o cardápio. O padrão que vale notar: o texto gratuito da web foi essencialmente consumido, razão pela qual os registros mais recentes aqui tratam de curadoria e síntese, não de raspagem.

Comece por estes três

CC Common Crawl O arquivo web de uma pequena organização sem fins lucrativos que, sem querer, alimentou a revolução da IA. F& FineWeb & FineWeb-Edu O estado da arte do mundo aberto — 15 trilhões de tokens, receita incluída. L5 LAION-5B O dataset por trás da geração aberta de imagens — e sua história de alerta.

Training datasets & corpora

7

CC Common Crawl The nonprofit web archive nearly every LLM ate first. C4 C4 Google's cleaned Common Crawl — the reproducible baseline. F& FineWeb & FineWeb-Edu Hugging Face's 15-trillion-token state of the art in open pre-training data. IM ImageNet The 14-million-image labeled dataset that started the deep-learning era. L5 LAION-5B 5.85 billion image-text pairs — the fuel of open image generation, and its scandal. RE RedPajama The open reproduction of Llama's training mix. TP The Pile EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.