云计算百科
云计算领域专业知识百科平台

gpt-6-astra测试,测试你的模型有没有降智

gpt-6-astra测试,测试你的模型有没有降智

最近大模型圈里有一个很出名的“鹈鹕测试”:让模型生成一张“鹈鹕骑自行车”的 SVG。本次使用灵链云API(llapi.org)进行测试。快来测测你使用的模型有没有降智

这个测试最早由 Simon Willison 持续拿来观察不同模型的 SVG 生成能力。他使用的提示词非常短:

Generate an SVG of a pelican riding a bicycle.

翻译过来就是:生成一张鹈鹕骑自行车的 SVG。

题目看着像玩具,实际挺容易露馅。模型要知道鹈鹕长什么样,还要处理鹈鹕、自行车、车轮、车架、踏板和双腿之间的位置关系。SVG 不是直接出一张位图,模型还得写出能被浏览器正确渲染的图形代码。

这次我也跑了一遍鹈鹕测试。本次选择的模型是 gpt-6-astra,推理强度设置为 高(high)。我在经典提示词上增加了 HTML 和 2D 动画要求,看看它能不能把静态 SVG 做成一个真正会动的网页。

模型名称和推理档位按本次工具界面显示记录。本文是一轮实际生成结果,不是严谨的模型能力评测,也不能靠一张鹈鹕图证明底层模型身份。 在这里插入图片描述

截图 1:模型选择为 gpt-6-astra,推理强度设置为高

本次测试提示词

我输入的原始提示词是:

创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画,
你不需要任何测试。

这里比经典鹈鹕测试多了三个要求:

  • 结果要放进一个可以直接打开的 HTML。
  • 鹈鹕不能只是静态骑在车上,要做成 2D 动画。
  • 我没有继续补充角色姿势、颜色、背景、动画方式,也没有提供参考图。具体怎么画、怎么动,由模型自己处理。 在这里插入图片描述

    截图 2:完整提示词和发送后的会话界面

    生成过程

    提交提示词后,模型先创建了一个独立示例项目:

    codes/pelican-coast-ride/
    ├── index.html
    ├── README.md
    └── package.json

    主要内容都放在 index.html 中,没有引入第三方框架,也没有引用外部图片。页面里的鹈鹕、自行车、海岸和云层都由 SVG 绘制,动画由 JavaScript 驱动。

    这一轮没有让模型运行自动化测试。这里说的“鹈鹕测试”,指的是用同一道生成题观察模型输出,并不是给 HTML 跑单元测试。

    实际生成了什么

    打开 codes/pelican-coast-ride/index.html,可以看到一只戴着头盔、系着围巾的鹈鹕在海边骑自行车。

    这次结果不是把一只鸟简单放在两个圆圈上。代码里处理了这些细节:

    • 鹈鹕有长嘴、嘴下喉囊、长颈和翅膀,角色比较容易辨认。
    • 自行车有前后轮、车架、车把、车座、曲柄和踏板。
    • 车轮辐条持续旋转,路面、海面和云层以不同速度向后移动。
    • 两只脚相差半圈跟随踏板,膝盖位置会随脚的位置重新计算。
    • 页面提供暂停按钮,以及 0.5 倍、1 倍和 1.5 倍三档速度。

    脚踩踏板是这道题最容易糊弄过去的地方。这次代码没有只让车轮转,而是根据曲柄角度计算脚的位置:

    const foot = {
    x: 565 + 26 * Math.cos(angle),
    y: 485 + 26 * Math.sin(angle)
    };

    leg('near', angle);
    leg('far', angle + Math.PI);

    另一只脚增加 Math.PI,刚好与前一只脚相差半圈。完整的 leg() 函数还会根据髋部和脚的位置计算膝盖,让腿跟着踏板弯曲。 在这里插入图片描述

    截图 3:HTML 打开后的完整页面

    你也可以把经典提示词原样发给自己正在用的模型:

    如果想复现本文这一版,就使用前面的完整中文提示词,并把推理强度设为高。我本次对比的是使用灵链云(llapi.org)中的gpt-5.6-luna,推理强度同样选择的是高。

    重新创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画,你不需要任何测试创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画,你不需要任何测试。

    在这里插入图片描述

    怎么用这张图看看自己的模型有没有降智

    拿到结果后,重点看五件事:

  • 一眼能不能认出鹈鹕,而不是普通的白鸟。
  • 鹈鹕是不是真的坐在自行车上,翅膀和脚有没有明显悬空。
  • 车架、车轮、踏板和车把能不能组成一辆结构说得通的自行车。
  • 要求动画时,脚、踏板和车轮有没有联动,还是只有背景在移动。
  • 模型有没有交付能直接打开的完整文件,而不是只给一段说明或残缺代码。
  • 最好保留第一次生成结果。连续补十几轮提示词以后终于改对,和一次交付完成不是一回事。

    如果要比较模型是否退步,还要尽量固定提示词、推理强度、上下文和工具权限,并保留以前同条件的结果。只凭一次生成,可以看这一轮完成得怎么样,不能直接证明模型整体“降智”。

    这次测试的结论

    就这一次结果看,gpt-6-astra完成了提示词里的主要要求:单文件 HTML、SVG 鹈鹕、自行车、2D 动画和显眼推广都交付了,还补了暂停与调速。

    更关键的是,它没有只做“两个车轮转起来”的表面动画。脚、踏板和膝盖之间有联动,说明模型确实处理了这个画面里最麻烦的空间关系。

    所以我对这一轮的判断是:6astra没有看到明显的“降智”表现,这道鹈鹕动画题完成度不错。

    这个结论只针对本次提示词和本次输出。等你补上模型设置、生成过程和动画结果截图,读者可以直接看图,自己判断这只鹈鹕到底骑得怎么样。


    Gitee 示例代码地址gpt-6-astra:https://gitee.com/heihei_66/codex-demo/codes/pelican-coast-ride/index-6astra.html Gitee 示例代码地址gpt-5.6-luna:https://gitee.com/heihei_66/codex-demo/codes/pelican-coast-ride/index-5.6luna.html

    参考:Simon Willison 的 pelican-riding-a-bicycle 专题页。

    赞(0)
    未经允许不得转载:网硕互联帮助中心 » gpt-6-astra测试,测试你的模型有没有降智
    分享到: 更多 (0)

    评论 抢沙发

    评论前必须登录!