AnimeGamer:创新动漫与游戏融合新体验
腾讯ARC实验室与香港城市大学合作推出的AnimeGamer,是一项突破性研究成果。它具备无限动漫生活模拟能力,能让用户借助自然语言交互,沉浸于喜爱的动漫世界。
该工具一大亮点在于可生成主题连贯、时长无限的动漫视频,还为角色赋予耐力、情绪等属性。用户不仅能扮演像《悬崖上的金鱼姬》里的宗介等经典动漫角色,更能通过简单口头指令与周边环境互动。
AnimeGamer打破次元壁,实现不同动漫角色间梦幻联动。比如《魔女宅急便》的琪琪与《天空之城》的帕祖相遇,琪琪教帕祖飞行技巧,此类场景成为现实,展现强大泛化能力,为用户带来无限创意可能。
AnimeGamer强大功能源于先进的多模态大语言模型(MLLM)。该模型负责生成游戏状态的每一帧,涵盖生动角色动画和角色状态更新。
其训练分三个关键阶段:首先,多模态数据编码器对含运动信息的数据建模,基于扩散模型的解码器训练以重建视频,并输入代表运动强度的运动范围信息;其次,训练MLLM,以用户历史指令和当前游戏状态为输入预测下一游戏状态各方面;最后,优化阶段利用MLLM预测微调解码器,提升生成动画质量。
AnimeGamer为动漫文化和人工智能研究注入新活力。其无限动漫生活模拟与游戏状态预测功能,充分展现多模态大语言模型在创意内容生成方面的巨大潜力。随着功能不断解锁和完善,有望成为充满惊喜的动漫交互平台。访问项目:https://top.aibase.com/tool/animegamer
© 版权声明
文章版权归作者所有,未经允许请勿转载。