Hugging Face Blog·· 3 小时前精选AI 评分75
NVIDIA与AI4Bharat等将发布2.8万亿token印度语预训练语料及开放生成流程
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA与IIT Madras、AI4Bharat等将发布约2.8万亿token的Nemotron-pretraining-Indic-v1，并开放用于生成该语料的GPU加速流程。
推荐理由
明确给出语种、token统计、质量阈值和训练建议，并将开放数据生成流程，有助于团队评估复现与混合训练方案。
来源：Hugging Face Blog · huggingface.co