测测这道题有没有大语言模型能做对?

问题内容:

将2,0,1,9,20,19排成一列,得到的8位数(首位不为0)有多少种?

答案:498

注:据我的测试,R1 思考了近10分钟没做对,各位佬可以试试

5 个赞

我觉得我收集的题目都能建个测试集了。
名字我都想好了,ModelDo :crazy_face:

1 个赞

期待佬友

哈哈,只是开个玩笑,不过似乎后面我可以开个贴更新一下论坛收集的题目
(有些题似乎还能用来分辨o3-mini-hign和o3-mini-low)


O1貌似也不行

2 个赞

V3, Sonnet 失败

1 个赞

做出来答案多少
我现在见过 600,360等等

18(V3);2550(Sonnet)

离谱…等等看有无 o1 pro 的巨佬来测

我用chat01的试试 :thinking:

1 个赞

我测了下

对不对

这个错了离谱了

这是个悲伤的故事

o3-mini-high做出来600,错误


更新:o3-mini-high多问一句之后可以做对:


完整记录:

qwq也做不出来

bing也是运行了代码,的出来的结果也是1890

啊,也是吗


我让它给出代码,从定义数字这一步就开始错了 :tieba_087:

嗯。。。这么看来我的AI应该还有的救