Datasets | AI Infrastructure Database

オプション

データ＆API

サイトのキャッシュデータへの無料読み取り専用JSONアクセス。

ダークモード

ガイドビュー
チップ、データセンター、モデルの専門用語に不慣れな方へ：閲覧しながら重要な用語をわかりやすく解説します。同じデータを、ヘルプ付きでご利用いただけます。

エキスパートビュー
あなたはすでに全体像を把握している。データだけをお届けします。クリーンで、速く、コンパクトに。余分な説明は不要。これがデフォルト表示です。

表示言語

フィールドノート

モデルはその食べ物でできている、そしてこれがメニューだ。注目すべきパターンは：ウェブの無償テキストはほぼ消費し尽くされた。だから最新レコードはスクレイピングではなく、キュレーションと合成についてのものとなっている。

まずこの三つから

CC Common Crawl AIの革命を意図せず育てた、小さな非営利団体のウェブアーカイブ。 F& FineWeb & FineWeb-Edu オープンな世界の最先端――15兆トークン、レシピ付き。 L5 LAION-5B オープンな画像生成を支えたデータセット――そしてその教訓。

Training datasets & corpora

7

CC Common Crawl The nonprofit web archive nearly every LLM ate first. C4 C4 Google's cleaned Common Crawl — the reproducible baseline. F& FineWeb & FineWeb-Edu Hugging Face's 15-trillion-token state of the art in open pre-training data. IM ImageNet The 14-million-image labeled dataset that started the deep-learning era. L5 LAION-5B 5.85 billion image-text pairs — the fuel of open image generation, and its scandal. RE RedPajama The open reproduction of Llama's training mix. TP The Pile EleutherAI's 825 GB of curated diversity — open-source pre-training's foundation.