新型AI图像编辑系统PhotoDoodle的创新突破

AI快讯12小时前发布 niko
2 0
AiPPT - 一键生成ppt

新型AI图像编辑系统的革新字节跳动联合中国与新加坡大学研究团队,推出的AI图像编辑系统PhotoDoodle,正改写图像创作格局。该系统以创新技术为依托,为创意表达开启新路径。

基于FLUX.1模型的改良架构PhotoDoodle核心源于OmniEditor系统,其借助LoRA(低秩自适应)技术,对Flux.1图像生成模型优化。这种方式无需重塑原始模型权重,通过添加小型矩阵,实现从细微概念调整到完整风格转变。之后,利用EditLoRA变体训练OmniEditor,使其能复制独特艺术风格,通过与艺术家合作的精选图像对,掌握风格精髓。

“位置编码克隆”的创新优势PhotoDoodle的“位置编码克隆”技术是一大亮点。它让AI记住原始图像像素位置,添加新元素时保持构图完整,新元素自然融入背景。此技术解决传统图像编辑AI痛点,且无需额外参数训练,提升处理效率。

卓越的实际测试表现与展望在实际测试中,PhotoDoodle能处理复杂指令,在基准测试中表现出色,超越同类产品。目前虽需数十对图像和数千训练步骤掌握新风格,但研究团队已着眼单图像训练,发布相关数据集并开源代码,为未来研究奠基。

© 版权声明
智谱清言 - 国产最强AI模型