青岛网站建设哪家好phpcms怎么做网站

青岛网站建设哪家好,phpcms怎么做网站,新乡做网站报价,网站开发这行怎么样以 CLIP 为代表的视觉语言模型#xff08;VLM#xff09;在大规模图文数据上进行了预训练#xff0c;具备强大的通用视觉识别能力。然而#xff0c;在细粒度识别任务上#xff0c;VLM 往往难以区分相近类别之间的细微差异#xff0c;识别能力显著下降。 以 CLIP ViT-B/16…以 CLIP 为代表的视觉语言模型VLM在大规模图文数据上进行了预训练具备强大的通用视觉识别能力。然而在细粒度识别任务上VLM 往往难以区分相近类别之间的细微差异识别能力显著下降。以 CLIP ViT-B/16 为例在仅包含 10 个粗粒度类别的 CIFAR10 数据集上其识别准确率可达到 90%但在包含 200 个细粒度鸟类类别的 CUB 数据集上准确率却只有约 50%。为了提升 VLM 的细粒度识别能力现有方法通常采用如下方式i引入可训练模块Adapter/Prompt Tuning并利用少量标注样本进行微调ii或是依赖参考样本构建类别原型缓存通过检索原型信息辅助 VLM 进行识别。虽然这些方法能够带来一定的性能提升但对标注数据或参考样本的依赖在一定程度上削弱了 VLM 的通用性。针对这一问题在 AAAI 2026 的论文中来自四川大学、南洋理工大学的研究团队受到人类认知模式的启发提出了 SCANSystem-2 enhanced visual recognition一种无需训练、不依赖标注数据或是参考样本、在推理时即插即用的 VLM 增强方法。论文标题Endowing Vision-Language Models with System 2 Thinking for Fine-Grained Visual Recognition论文链接https://pengxi.me/wp-content/uploads/2025/11/SCAN.pdf代码链接https://github.com/XLearning-SCU/2026-AAAI-SCAN研究背景赋予 VLM 精细思考的能力试想一下如果需要从 200 种鸟类中判断一张图像所属的具体类别人类会怎么做对于这类复杂的识别任务人类通常难以直接做出精确判断而是会经历一个从“粗步筛查”到“仔细辨别”的分析过程。从认知科学的角度来看这一分析过程依赖两个互补的认知系统即快速决策的“系统 1” 和精细思考的“系统 2”。 系统 1快思考一种直觉驱动的思维模式依赖经验进行快速决策响应迅速但容易受偏差影响。例如在看到上图中的鸟后大脑会立即形成“这是一只黑色的鸟”的初步判断并迅速排除外观明显不符的类别将候选范围限定在“黑色鸟类”相关的若干类别中。本文实验发现VLM 具备类似系统 1 的快速决策能力。如下图所示尽管 VLM 在细粒度识别任务上的 Top-1 准确率不高和人类一样难以直接做出精确判断但其 Top-20 候选集中往往极大概率包含正确类别即 VLM 能够通过快速决策稳定地筛选出合理的候选类别集合。 系统 2慢思考一种分析驱动的思维模式依赖精细思考处理复杂任务决策更精确但耗时较长。为了进一步确定具体类别人类通常会查阅相关知识获取候选类别的区分性特征如羽毛纹路、头部颜色等与图像中观察到的特征进行对比分析并基于特征匹配程度推理出最终结果。既然 VLM 天然具备类似系统 1 的快速决策能力那能否通过增加一个具备精细分析能力的系统 2模拟人类双系统协作的认知方式来提升 VLM 的细粒度感知能力受此启发论文提出了 SCANSystem-2 enhanCed visuAl recogNition一个即插即用的测试时增强模块在无需训练的前提下增强 VLM 的细粒度识别能力。方法SCAN 的核心思想是在不改变原有 VLM 的前提下引入一个具备“系统 2” 慢思考能力的模块进行细致分析从而提升 VLM 的细粒度识别能力。整体流程如下图所示。1系统 1基于 VLM 进行候选筛选利用 VLM 在预训练阶段获得的通用识别能力从所有类别中排除与识别目标存在显著外观差异的类别为后续推理提供合理的候选集合。2系统 2基于关键区分属性进行推理为了进一步确定具体类别人类通常会查阅相关知识获取候选类别的区分性特征并与图像中观察到的特征进行对比分析。受此启发论文中提出的系统 2 主要包含以下三个步骤。推理关键区分属性利用大语言模型LLM中内蕴的专业知识自动生成一组能够区分候选类别的关键属性如翅膀花纹鸟喙形状等。获取文本描述类别名中蕴含的信息有限利用 LLM 可以获得每个类别在特定属性下的外观描述从而显式地表明细粒度类别之间的外观差异。此外通过可视化 VLM 的注意力分布发现在多模态信息处理的过程中模型容易受到背景中无关纹理的干扰。因此对于待识别的图像同样利用 LMM 基于特定属性进行描述仅保留与类别区分相关的细节信息过滤掉背景等无关因素。最终如下图所示获得了基于同一组区分属性的类别描述和图像描述。文本空间下的分析推理使用文本重排序模型将图像描述与候选集合中的类别描述进行比较推理获得相似度分数。3基于不确定度的系统 12 协同识别通过系统 1 和系统 2 分别获得了快速决策和精细推理的相似度分数核心问题在于如何确定二者的融合权重。由于 VLM 对不同目标的识别能力存在差异采用固定权重难以取得普遍最优的识别结果更为理想的方式是能够根据 VLM 的预测结果进行动态调整。现有方法基于证据理论将模型为每个类别输出的 logit 视为“证据”在预测类别的同时显式给出模型对预测结果的不确定度。但如下图a所示在细粒度任务上这种建模方式的区分能力有限。在细粒度场景下本文观察到当不存在大量干扰类别时VLM 往往能自信地给出预测此时 Top-1 类别的相似度显著高于其余候选即 Top1 与其他类别之间的相似度差值较大。反之当存在大量外观相近的干扰类别时相似类别之间的相似度分数较为接近Top1 与其他类别之间的相似度差值较小。因此研究团队提出以 Top-1 与其余候选之间的相似度差值作为“证据”设计了一种新的不确定度建模方法。如下图c所示这种不确定度建模方式在细粒度识别任务中能够更清晰地区分预测正确与预测错误的情况。实验在 Flowers-102、CUB-200、Food-101 等八个细粒度数据集上SCAN 能够在无需标注数据、无需参考样本、无需额外训练的前提下显著地提升 VLM 的细粒度识别能力。将 CLIP RN50 作为基座模型引入 SCAN 能使平均识别准确率提升 15.70%56.22%→71.92%。将 CLIP ViT-B/16 作为基座模型引入 SCAN 能使平均识别准确率提升 10.53%63.74%→74.27%。对于在更大规模数据上训练的 SigLIP 上引入 SCAN 仍然能使平均识别准确率提升 3.35%表明了 SCAN 作为一种即插即用方法的通用能力。此外对于在海量的生物数据上进行了针对性训练的 BioCLIP它在 CUB 等生物数据集上识别能力远超 CLIPSigLIP达到了 78.48%。在引入 SCAN 后识别准确率仍能能提升至 79.13%0.65%表明即使是经过精细训练的面向垂直领域的 VLM仍然能通过 SCAN 提升推理时的识别能力。进一步地本文还与当前主流的多模态大模型进行对比。从下表中结果可以看出即便是经过大量细粒度数据进行训练的 Qwen2.5-VL 仍劣于本文方法SCAN。换言之除了通过不断增大模型规模和训练数据量及多样性以期持续提升性能在推理阶段中直接增强基础模型的能力亦不失为一种可行的方案。总结针对 VLM 在细粒度识别任务上的能力瓶颈研究团队受到人类“系统 1 系统 2” 认知模式的启发将 VLM 类比为快速决策的系统 1通过引入一个具备精细思考能力的系统 2 来提升 VLM 的细粒度识别能力。总体而言SCAN 无需额外训练也不依赖标注数据和参考样本在推理阶段即插即用即可为多类 VLM 带来性能提升。相关实验结果不仅证明了 SCAN 的有效性和通用性也表明在细粒度识别等具有挑战性的视觉任务中除了通过扩大数据量和参数量构建更强大的预训练模型之外同样有必要探索如何提升现有模型在推理时的能力。更多阅读#投 稿 通 道#让你的文字被更多人看到如何才能让更多的优质内容以更短路径到达读者群体缩短读者寻找优质内容的成本呢答案就是你不认识的人。总有一些你不认识的人知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁促使不同背景、不同方向的学者和学术灵感相互碰撞迸发出更多的可能性。PaperWeekly 鼓励高校实验室或个人在我们的平台上分享各类优质内容可以是最新论文解读也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个让知识真正流动起来。稿件基本要求• 文章确系个人原创作品未曾在公开渠道发表如为其他平台已发表或待发表的文章请明确标注• 稿件建议以markdown格式撰写文中配图以附件形式发送要求图片清晰无版权问题• PaperWeekly 尊重原作者署名权并将为每篇被采纳的原创首发稿件提供业内具有竞争力稿酬具体依据文章阅读量和文章质量阶梯制结算投稿通道• 投稿邮箱hrpaperweekly.site• 来稿请备注即时联系方式微信以便我们在稿件选用的第一时间联系作者• 您也可以直接添加小编微信pwbot02快速投稿备注姓名-投稿△长按添加PaperWeekly小编现在在「知乎」也能找到我们了进入知乎首页搜索「PaperWeekly」点击「关注」订阅我们的专栏吧·