Hugging Face Blog·· 11 時間前
NVIDIAとAI4Bharat、2.8兆トークンのインド語言語コーパスとオープンなデータ生成パイプラインを公開
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI による要約
NVIDIAはIIT MadrasのAI4Bharatラボと共同でNemotron-pretraining-Indic-v1を公開した。約2.8兆トークンで22のインド言語をカバーし、うち2,601.0億が現地文字トークン、224.6億がローマ字化トークン。カウントにはGemma-4トークナイザーを使用。
入選の記録
基準 60公式・一次情報1 回目 582 回目 58
入選せず二回の合計 116 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：介绍印地语预训练语料与数据生成管线
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Hugging Face Blog · huggingface.co