Hugging Face Blog·· 4 小时前精选AI 评分58
Nemotron-pretraining-Indic-v1 发布：2.8 万亿 token、22 种印度语言的开源预训练数据
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA 与 IIT Madras AI4Bharat 联合发布约 2.8 万亿 token 的 Nemotron-pretraining-Indic-v1 印度语言预训练语料。
推荐理由
22 种印度语言共 2.8 万亿 token 的预训练数据与可复现的生成流水线一并开源，团队可在自有数据上沿用这套方法。
来源：Hugging Face Blog · huggingface.co