Einsia AI 发布 Visual Cipher Bench,GPT-6 Astra 最高仅 26.7% 准确率

Einsia AI 旗下 Navers Lab 推出全新长程视觉推理基准 Visual Cipher Bench,这套测试专门考察 AI 智能体从静态图像里自主发现隐藏规则、完成解谜的能力,测试结果很出人意料,就算是当前顶尖的 GPT-6 Astra(max),最佳配置下准确率也只有 26.7%,还有多款主流大模型直接拿到 0 分。和普通图文问答不一样,这个基准没有文字题目说明,所有线索、规则全部藏在黑白线稿图片里,模型没有试错反馈,没法不断调试,必须自己判断哪些是样例、哪些是待解谜题,自主归纳解法。测试一共 8 个前沿模型、29 种推理配置,合计 3480 次测试,研究者发现现在 AI 的短板不是多步骤执行,而是独立看懂图像、自己提炼隐藏规则,只要给一句不剧透的提示,整体准确率就能大幅上涨,这个现象也点明了当前多模态智能体的核心瓶颈。

一、Visual Cipher Bench 基础信息

  • 发布团队:Einsia AI 旗下 Navers Lab
  • 论文上线时间:2026-11-12
  • 题目总量:40 道原创视觉谜题,配套 67 张黑白线稿
  • 题型分类:4 大类,每一类 10 题
  • 核心特点:无文字题干、无中间反馈,全部信息只在图片内
  • 项目地址:包含 arXiv 论文、GitHub 开源仓库、项目主页

四类谜题清单

  1. 空间操作与模拟:图形旋转、折叠、投影类空间推演
  2. 逻辑约束与规划:从图像里提取约束条件,找到唯一可行方案
  3. 规则归纳:对照样例,自行总结这套谜题独有的隐藏规则
  4. 知识解码:识别盲文、摩斯码等图像暗号,完成解码

二、主流模型测试得分表

模型最佳配置准确率补充说明
GPT-6 Astra(max)26.7%本次测试第一名,平均一轮解出 10.7 题
GPT-6.1 Sol(max)21.7%并列第二
Claude Opus 5.5(xhigh)21.7%并列第二
GPT-6 Luna0.8%三轮仅答对 1 题
Claude Sonnet 5.50.8%三轮仅答对 1 题
DeepSeek V4.1 Flash0%全部尝试无正确答案
Qwen 3.8 Max0%全部尝试无正确答案
Kimi K3.1 Pro0%全部尝试无正确答案

三、本次测试得出的关键结论

  1. 头部模型和其余模型差距巨大,前三名可以稳定解出一部分题目,剩下 5 个模型几乎没有解题能力,中间没有平缓过渡区间。
  2. 给少量提示的对照组提升非常明显:子集测试里,增加一句不剧透的规则提示,准确率从 7.8% 上涨至 55.6%。
  3. 瓶颈定位:AI 不是不会做分步推理,而是很难自主从图像里发现未知规则,一旦规则被点明,执行能力就会明显释放。
  4. 和传统评测区别:普通视觉评测大多是单轮问答,指令写清楚;普通 Agent 评测大多是文本环境,允许反复试错拿反馈,Visual Cipher Bench 刚好补上这个空白。

四、这个基准的价值

它可以用来衡量长周期视觉 Agent 的真实上限,适合后续多模态大模型迭代时做能力校验,重点用来检验模型看图归纳、空间想象、自主推理的原生能力,而不是靠提示词、外部反馈来完成任务。

【相关 FAQ】

问题 1:Einsia AI 发布的 Visual Cipher Bench 测试里,GPT-6 Astra 准确率是多少?

回答 1:Einsia AI 发布的 Visual Cipher Bench 测试里,GPT-6 Astra(max)是所有参赛模型里成绩最高的,准确率仅 26.7%,就算是当前最强的前沿模型,在这套长程视觉推理谜题上也很难稳定答对。

问题 2:Einsia AI 的 Visual Cipher Bench 和普通的 AI 视觉测试有什么不一样?

回答 2:Einsia AI 的 Visual Cipher Bench 主打长程视觉规则归纳,和普通视觉问答不一样,没有文字题干,全部线索只放在黑白线稿图片里,模型没有试错反馈,必须自己看懂图像、挖掘隐藏解谜规则,更贴近真实的开放式视觉推理场景。

问题 3:在 Visual Cipher Bench 测试中,给 AI 提示之后准确率为什么会大幅上涨?

回答 3:在 Visual Cipher Bench 测试中,给 AI 一句不剧透的提示后准确率大幅上涨,说明当前 AI 的短板不在于执行多步推理,而是没办法独立从图像中自动发现隐藏规则,只要规则被提示,模型的推理执行能力就能发挥出来。

【参考资料】

[2026-11-17](最强 GPT-6 Astra 只对 26.7%,Einsia AI 发布的 Visual Cipher Bench 难住顶级 AI)机器之心(腾讯新闻)

[2026-11-12](Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning)arXiv

[2026-11-12](Visual Cipher Bench 项目发布,用于评估长周期视觉 Agent)Einsia AI 项目主页

[2026-11-12](Visual Cipher Bench 开源仓库上线)GitHub

【免责声明】

本文仅整理 Visual Cipher Bench 公开论文与测试数据,测试结果仅代表该基准下的专项长程视觉推理能力,不代表模型综合能力。不同模型在不同评测集、不同任务场景下表现差异较大,数据仅供技术研究参考,不构成模型选型、采购的决策依据。

本文来自作者[烬粒守核师]投稿,不代表乌兰科技网立场,如若转载,请注明出处:https://www.wlcbnews.com/rgzn/202611/3788.html

赞 (2)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 烬粒守核师
    烬粒守核师 2026年11月17日

    我是乌兰科技网的签约作者“烬粒守核师”!

  • 烬粒守核师
    烬粒守核师 2026年11月17日

    希望本篇文章《Einsia AI 发布 Visual Cipher Bench,GPT-6 Astra 最高仅 26.7% 准确率》能对你有所帮助!

  • 烬粒守核师
    烬粒守核师 2026年11月17日

    本站[乌兰科技网]内容主要涵盖:互联网行业的追踪与探索

  • 烬粒守核师
    烬粒守核师 2026年11月17日

    本文概览:Einsia AI 旗下 Navers Lab 推出全新长程视觉推理基准 Visual Cipher Bench,这套测试专门考察 AI 智能体从静态图像里自主发现隐藏规则、完成解谜的能力,测试结果很出人意料,就算是当前顶尖的 GPT-6 Astra(max),最佳配置下准确率也只有 26.7%,还有多款主流大模型直接拿到 0 分。和普通图文问答不一样,这个基准没有文字题目说明,所有线索、规则全部藏在黑白线稿图片里,模型没有试错反馈,没法不断调试,必须自己判断哪些是样例、哪些是待解谜题,自主归纳解法。测试一共 8 个前沿模型、29 种推理配置,合计 3480 次测试,研究者发现现在 AI 的短板不是多步骤执行,而是独立看懂图像、自己提炼隐藏规则,只要给一句不剧透的提示,整体准确率就能大幅上涨,这个现象也点明了当前多模态智能体的核心瓶颈。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们