家做网站上海华东民航机场建设公司网站

家做网站,上海华东民航机场建设公司网站,南京做网站公司地点,wordpress的feed概述 本文提出了一种新方法#xff0c;即 LAMIC#xff0c;用于在可控图像生成过程中使用多张参考图像进行带有布局信息的高质量合成。 传统的扩散模型在基于单个参考图像生成时具有优势#xff0c;但在处理多个参考图像时#xff0c;会出现 不一致的身份退化 …概述本文提出了一种新方法即 LAMIC用于在可控图像生成过程中使用多张参考图像进行带有布局信息的高质量合成。传统的扩散模型在基于单个参考图像生成时具有优势但在处理多个参考图像时会出现 不一致的身份退化 和 布局崩溃 等问题。此外许多现有方法需要额外的训练和大型数据集限制了其通用性和可扩展性。LAMIC 基于多模态扩散变换器 (MMDiT)这是一种无需学习的零拍摄方法可生成多个图像和文本并结合区域规范边界框和掩码。特别是它引入了使用群体隔离注意力GIA的实体分离和使用区域调制注意力RMA的布局控制以忠实再现空间布局同时防止语义混淆。在评估实验中它在身份保持、背景一致性和布局准确性等指标上都优于现有方法并在多参考和复杂组合中表现出卓越的性能。由于采用了无需额外学习的高效框架这项研究在电影制作和叙事生成等实际应用中显示出巨大的潜力。建议的方法LAMIC 的核心思想是构建一种标记表示法将参考图像、文本描述和布局信息整合在一起然后将其输入 MMDiT从而实现多参考图像的一致合成。首先每个参照物都被定义为一个 VTS 三元组由视觉V、文本T和空间S三个元素组成并添加了实体之间的关系跨实体交互CEI和非控制区域U。然后这些信息被转换成一个综合的标记序列并在 MMDiT 中作为一致的表征进行处理。在此过程中将引入组隔离注意GIA以拦截每个 VTS 组之间不必要的相互干扰防止不同实体的特征混杂在一起。此外还在生成的早期阶段应用区域调制注意力RMA以保持每个空间区域的独立性并在后期阶段将它们整合在一起。这样就能准确再现角色定位和背景一致性并能处理复杂的布局。重要的是该方法不需要额外的训练或微调可以直接扩展现有的单一参考模型因此在实际操作中既高效又通用。实验为了评估所提出的 LAMIC 方法作者在现有的 XVerseBench 数据集上扩展了各种参考图像人物、动物、物体、衣服和场景和相应的布局信息。在实验设置中使用了两张、三张和四张参考图像作为输入并在多个指标上进行了性能比较包括 ID 保留率 (ID-S)、背景相似度 (BG-S)、外观一致性 (IP-S) 和美学评价 (AES)。此外还使用了新提出的包含率IN-R和填充率FI-R来定量评估产品对布局指示的遵从程度。结果表明LAMIC 在所有情况下的平均得分AVG都优于现有方法尤其是在 ID 保留和背景一致性方面。即使在难度极高的三页和四页参考任务中LAMIC 也比传统方法平均提高了 4 到 8 分。此外消融实验也证实了这两种机制的有效性去除 GIA 和 RMA 后性能显著下降。此外通过调整 RMA 的应用比例观察到了布局精度和整体视觉平滑度之间的权衡得出的结论是 0.05 的比例是最佳的。总之LAMIC 无需额外学习就能达到最先进的性能并有可能成为多参考图像合成的新标准。