06月
16日
MagicTryOn 视频虚拟试穿系统发布,突破高动态场景服饰交互局限
牛透社 6 月 16 日消息,研究团队发布视频虚拟试穿框架 MagicTryOn,该产品具备时空联合建模与分层细节优化技术,旨在通过模拟服装在视频中与人体动作的自然互动,展现出服装在动态变化中的真实效果。
MagicTryOn 基于大型视频扩散变换器(Diffusion Transformer),与传统的 U-Net 架构不同,MagicTryOn 基于 Wan2.1 视频模型,通过全面的自注意力机制共同建模视频的时空一致性。在 MagicTryOn 的设计中,研究者们引入了一种粗到细的服装保留策略。在粗略阶段,模型在嵌入阶段整合服装标记,而在细化阶段则结合了多种服装相关的条件信息,如语义、纹理和轮廓线,从而在去噪声阶段增强了服装细节的表达。
此外,研究团队还提出了一种基于掩码的损失函数,以进一步优化服装区域的真实感。为了验证 MagicTryOn 的有效性,研究者在多个图像和视频试穿数据集上进行了广泛的实验。结果表明,该方法在综合评估中优于现有的最先进技术,并且能够很好地推广到实际场景中。