图像生成器是通用视觉学习者

研究表明，图像生成训练能像大语言模型预训练一样，让模型学习到强大、通用的视觉表征。通过将视觉任务的输出参数化为RGB图像，研究团队将感知任务重构为图像生成任务。基于Nano Banana Pro指令微调构建的通用模型Vision Banana，在涉及2D和3D理解的一系列任务上取得了最先进的结果，在分割任务上媲美Segment Anything Model 3，在度量深度估计上超越Depth Anything系列。这些成果通过轻量级指令微调实现，且未损害基础模型的图像生成能力。图像生成预训练正成为一种通用的视觉学习范式，可能成为构建兼顾生成与理解的基础视觉模型的核心路径。