AI圈报
产品发布 / 更新精选

小红书 dots infra 开源 BigMac:突破多模态大模型训练的帕累托前沿

信息来源:公众号:小红书技术(dots.llm)·
原始标题:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿

内容摘要

小红书开源 BigMac,一种面向原生多模态场景的流水并行训练新范式。它通过依赖安全的嵌套流水线,在不增加 LLM 流水线空泡、保持激活显存有界的同时,高效实现多模态流水训练。相比基线,BigMac 训练速度提升 1.08~1.9 倍,并在 global batch size 增大时保持稳定显存占用,目前已应用于 dots 多模态模型生产训练。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源公众号:小红书技术(dots.llm)
站内情报编号intel-7519b810302306e0988ad0ea