MimicBrush:上传图片参考,实现原图局部风格重绘
近日,香港大学的研究团队提出了一种新型的图像编辑技术,名为 MimicBrush。该技术采用零参考图像编辑的方式,使用户能够更便捷地实现图像编辑,无需过多描述编辑的具体效果。
传统的图像编辑往往需要用户准确描述编辑后的期望效果,然而这一点常常是比较困难的。MimicBrush 技术的创新之处在于,用户只需指定待编辑的区域,并提供一张参考图片,无需担心参考图片与原始图片的匹配问题。这种设计要求系统能够自动理解参考图片,从而完成编辑任务。
简单的说,MimicBrush 可以实现输入要修改的图片和参考图,在图片中圈出要改的地方,会按照参考图的风格进行修改。
产品入口:https://top.aibase.com/tool/mimicbrush
为了实现这一目标,研究团队提出了 MimicBrush 模型,该模型通过自监督学习的方式,从视频片段中随机选择两帧图像,对其中一帧进行部分遮盖,然后学习从另一帧图像中恢复被遮盖的区域。基于扩散先验的 MimicBrush 模型能够自动捕捉图像之间的语义对应关系。
实验结果表明,MimicBrush 技术在各种测试案例下均表现出了良好的有效性和优越性,相比现有的替代方案具有更高的编辑准确度和效率。为了促进进一步的研究,研究团队还构建了一个基准测试集,以便更好地评估和比较其他相关技术的表现。
MimicBrush 功能特点:
*零拍摄图像编辑 * 允许用户在没有原始目标图像的情况下进行图像编辑,通过参考仿制的方式实现编辑效果。
参考仿制 : 使用参考图像来指导编辑过程,使用户能够实现所需的图像编辑效果。
文本到图像对齐 : 利用 CLIP 编码器和 VAE 实现文本到图像的对齐,从而实现文本描述到图像编辑的功能。
图像深度预测 : 使用深度模型进行图像深度的预测,以支持更加准确的编辑效果。
纹理转移 * 提供了纹理转移功能,使用户能够在编辑过程中保持原始形状或进行形状转移。
MimicBrush 可实现的部分效果案例
局部编辑:
纹理风格转移