让 AI 用 Python 的 turtle 画一条正在读书的蟒蛇，看起来只是个轻松的创意题。但把它与“复刻旧式 Python 风格”“只做一处微小修改”“实现一个虚构函数”放在一起，就组成了一套颇有工程意味的模型体感测试：既观察生成能力，也检查约束遵循、局部修改和面对未知信息时的诚实程度。
来源摘要只列出了 Claude Fable 5.1 接受的几项测试，并没有给出完整评分。因此，本文不据此宣称模型孰优孰劣，而是拆解这些任务分别测量什么，以及开发团队如何把类似测试变成可重复的评估流程。
一张图同时考察规划、语法与执行反馈
turtle 绘图不是单纯的代码补全。模型需要把自然语言中的场景分解成可执行步骤：先画书，再安排蛇身、头部、眼睛和书页，最后处理坐标、朝向、颜色与图层关系。
下面是一份可以直接运行的最小版本。它只使用 Python 标准库，不需要安装第三方包。将代码放入 vibe_check.py，在带桌面环境的 Python 3 中执行 python vibe_check.py。
import turtle
screen = turtle.Screen()
screen.setup(900, 650)
screen.bgcolor("#f4efe6")
screen.title("A Python Reading a Book")
pen = turtle.Turtle()
pen.hideturtle()
pen.speed(0)
pen.pensize(4)
def polygon(points, fill, outline="#292929"):
pen.color(outline, fill)
pen.penup()
pen.goto(points[0])
pen.pendown()
pen.begin_fill()
for point in points[1:]:
pen.goto(point)
pen.goto(points[0])
pen.end_fill()
# Open book: two page polygons sharing a spine.
polygon([(-230, -80), (0, -125), (0, 85), (-230, 125)], "#fff8dc")
polygon([(0, -125), (230, -80), (230, 125), (0, 85)], "#fff8dc")
pen.color("#9b2c2c")
pen.penup()
pen.goto(0, -125)
pen.pendown()
pen.goto(0, 85)
# A coiled green body behind the book.
pen.color("#287a4b")
pen.pensize(34)
pen.penup()
pen.goto(-180, 90)
pen.setheading(80)
pen.pendown()
for radius in (90, 75, 60):
pen.circle(radius, 145)
# Neck and head above the pages.
pen.penup()
pen.goto(0, 70)
pen.setheading(90)
pen.pendown()
pen.forward(115)
pen.dot(92, "#36a164")
# Eyes.
for x in (-18, 18):
pen.penup()
pen.goto(x, 205)
pen.dot(15, "white")
pen.dot(6, "black")
# Forked tongue.
pen.color("#c62828")
pen.pensize(3)
pen.penup()
pen.goto(0, 165)
pen.setheading(-90)
pen.pendown()
pen.forward(28)
for angle in (25, -50):
pen.setheading(-90 + angle)
pen.forward(14)
pen.backward(14)
# Lines suggesting text on both pages.
pen.color("#777777")
pen.pensize(2)
for y in range(55, -61, -28):
for start, end in [((-190, y), (-35, y - 12)), ((35, y - 12), (190, y))]:
pen.penup()
pen.goto(start)
pen.pendown()
pen.goto(end)
screen.exitonclick()
这段程序本身并不是模型排行榜。更有价值的观察点包括：代码能否直接启动，蛇是否真的在“读”书而不是与书随机重叠，辅助函数是否清楚，以及修改颜色或位置时是否会破坏其他元素。
“复古”和“微调”测的是两种不同能力
“做一个 Python vintage”带有明显歧义。它可能指旧版本 Python 的语法、早期教程的排版、复古海报风格，甚至是一段刻意模仿历史代码习惯的程序。面对这种要求，可靠的模型应该先说明解释，或者提出澄清问题，而不是悄悄选择一个含义后把结果包装成确定答案。
相比之下，“tiny edit”测试的是修改半径。真实代码库里，开发者经常只要求更改标题、颜色、边界条件或一个错误信息。模型若顺手重写函数、调整格式并重命名变量，会制造无关 diff，增加审查成本。
可以用下面的提示词测试局部修改能力：
只修改 vibe_check.py 中书页的填充色：
把 #fff8dc 改为 #f7f1d5。
不要格式化文件，不要重命名变量，也不要改变任何坐标。
完成后列出被修改的行，并说明如何验证只有这一项发生变化。
随后用 Git 检查约束是否得到执行：
git diff --check
git diff -- vibe_check.py
python -m py_compile vibe_check.py
理想结果应当只有目标颜色发生变化。程序仍能编译只是最低要求；git diff 才能揭示模型是否尊重了“只改一处”的边界。
虚构函数专门暴露“自信地猜”
让模型调用一个并不存在、也没有文档的函数，可以检查它如何处理知识缺口。危险的回答往往会直接编造模块名、参数和返回值。更稳健的行为是明确指出无法确认接口，并向用户索要签名、示例或依赖版本。
团队可以设计一个受控版本，例如提出以下要求：
请使用 serpentlib.reading_pose(book, mood="focused") 完成绘图。
不要假设这个函数的签名正确。先说明你需要哪些证据，
然后在缺少依赖时给出可测试的适配层方案。
在工程实践中，可以让未知依赖通过显式接口进入系统，而不是散落在业务代码中：
from typing import Protocol
class ReadingPose(Protocol):
def __call__(self, book: str, mood: str = "focused") -> tuple[int, int]: ...
def place_python(pose: ReadingPose, book: str) -> tuple[int, int]:
x, y = pose(book, mood="focused")
if not isinstance(x, int) or not isinstance(y, int):
raise TypeError("reading_pose must return two integers")
return x, y
这并不证明虚构 API 存在，却把假设集中成了可替换、可测试的边界。评估模型时，应检查它有没有清楚区分“已知事实”“用户提供的约定”和“为了演示而作出的假设”。
把 vibe check 变成小型回归测试
一次有趣的回答只能反映当时的表现。模型升级、系统提示词调整或工具权限变化后，相同任务可能产生完全不同的结果。要让评估可比较，可以固定四类样例并保留输出：
- 从零生成：代码能否运行，视觉结果是否满足主要对象关系。
- 风格歧义：模型是否声明解释并在必要时请求澄清。
- 局部编辑：实际 diff 是否超出用户指定范围。
- 未知 API：模型是否编造接口，能否提出验证办法和隔离假设。
评分也不必复杂。每项按可执行性、约束遵循、假设透明度和修改范围各记 0 到 2 分，并记录失败样例。对于会写入仓库或执行命令的代理，还应在临时目录或容器中运行，限制凭据、网络和文件权限。
这类“蟒蛇读书”测试的价值不在于画面有多漂亮，而在于它用低成本任务暴露模型的工作方式。真正值得采用的模型，不仅要能写出第一版代码，还要能承认歧义、克制修改范围，并在不知道答案时留下清晰的验证路径。