AI圈报
论文研究精选

面壁智能联合清华、OpenBMB开源最大中文预训练合成数据集及千万级SFT数据集,公开MiniCPM5-1B核心数据

信息来源:公众号:面壁智能(MiniCPM)·
原始标题:国内首次!面壁智能开源千万级 SFT 与最大中文合成数据,MiniCPM5-1B 核心数据公开

内容摘要

面壁智能联合清华大学、OpenBMB发布并开源两大数据集:Ultra-FineWeb-L3(超600B Tokens,中文200B+,为当前最大中文预训练合成数据集)和UltraData-SFT-2605(国内首个千万级同时含深思考与非思考标注的SFT数据集)。两者基于UltraData数据分级治理体系构建,在MiniCPM5-1B训练流程中得到完全验证,覆盖预训练退火到后训练SFT全链路。已上线UltraData网站与HuggingFace,免费开放。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源公众号:面壁智能(MiniCPM)
站内情报编号intel-062f4d97e5b199c6277ee8ad