EasyControl:为DiT模型带来高效灵活控制的创新框架

AI快讯2个月前发布 niko
9 0
AiPPT - 一键生成ppt

在人工智能图像生成领域,扩散模型正从基于Unet的架构向基于Transformer的架构(DiT)转变。不过,DiT生态系统在插件支持、效率以及多条件控制方面仍存挑战。近期,小酒z团队推出了创新框架EasyControl,旨在为DiT模型提供高效且灵活的条件控制,堪称DiT的强大“ControlNet”。

核心优势显著:EasyControl并非简单的模型堆叠,而是精心设计的统一条件DiT框架。其引入轻量级条件注入LoRA模块、位置感知训练范式,结合因果注意力与KV缓存技术,在模型兼容性(即插即用、风格保留控制)、生成灵活性(支持多种分辨率、宽高比及多条件组合)和推理效率上表现卓越。

多条件控制强大:EasyControl突出特点是具备强大的多条件控制能力。代码库显示它支持多种控制模型,如Canny边缘检测、深度信息、HED边缘草图、图像修复、人体姿态(类似OpenPose)和语义分割(Seg)等。用户通过输入不同控制信号,能精准引导DiT模型生成特定结构、形状和布局的图像。

吉卜力风格转换惊艳:除基础结构控制外,EasyControl在风格转换上表现出色,尤其在吉卜力风格转换方面。研究团队仅用100张真实亚洲人脸和GPT -4生成的吉卜力风格对应图像训练出专用LoRA模型,该模型能在保留面部特征的同时将人像转换为经典吉卜力动画风格。

目前,EasyControl团队已发布推理代码和预训练权重。未来还将发布空间预训练权重、主题预训练权重和训练代码,进一步提升其功能。EasyControl的出现为基于Transformer的扩散模型注入强大控制能力,有望成为DiT模型生态系统的重要组成部分。项目链接:https://top.aibase.com/tool/easycontrol

© 版权声明
Trea - 国内首个原生AI IDE