Nvidia发布Cosmos-Transfer1：开启多模态世界生成新时代

Cosmos-Transfer1：多模态世界生成的创新力作

Nvidia推出的Cosmos-Transfer1模型，在世界生成领域引发变革。这一自适应多模态世界生成模型，凭借独特技术，为模拟环境创建带来新可能。

强大的生成能力

Cosmos-Transfer1能基于多种模态的空间控制输入，如分割、深度和边缘，生成世界模拟。通过真实物理引擎生成模拟视频数据，并提升其真实性和多样性。

该模型支持单一模态和多模态控制生成，还能进行风格变换，生成多种现实风格内容，展现出卓越性能。

独特的技术路线

作为具有自适应多模态控制的世界生成器，Cosmos-Transfer1包含多个控制分支，应用时空控制图加权输出，反馈到主生成分支，以获最佳输出质量。

显著的训练成果

Nvidia对Cosmos-Transfer1进行多方面训练，如Cosmos-Transfer1-7B及其针对自动驾驶的版本，还训练UpscaleControlNet提升视频分辨率。

全面的效果评估

借助TransferBench评估数据集，Nvidia对Cosmos-Transfer1进行多维度评估，对比单模态和多模态，研究不同模式权重影响。

开放的Cosmos平台

NVIDIA Cosmos平台为物理人工智能开发者提供支持，包含可免费商业使用的预训练模型和训练脚本，Cosmos-Transfer1模型可通过Hugging Face获取。