关于模型好坏个人看法

[lezishen (𝓵𝓮𝔃𝓲𝓼𝓱𝓮𝓷)]

1.周树人问题
2.随便找五个中药材 很管用 很多模型根本不知道那是啥 别问太常见的
3.唐诗三百首里面挑几句话问问
4.问一个具象化的事 打比方 如何安装DOCKER 我不说是谁 张嘴就是CE版本的
但凡问咋安装的 我估计都不知道CE是啥
5.让他当绿茶 你品 一眼看出来的 就不好 不知不觉茶的才是好模型
PS 你傻乐就是好模型
6.看格式 一些根本不咋分段 还有一些代码都不能直接复制粘贴
以上纯属最简单方法

[Lainnamed (噗噗熊)]

2,3别人可能根本就没训练过这方面。其他倒是可以

[lezishen (𝓵𝓮𝔃𝓲𝓼𝓱𝓮𝓷)]

其实4o 谷歌还真知道 国产反而很多不知道

[ves (八嘎小天皇)]

貌似没有几个模型能答对的。
试了通义、质谱、gemini 1.5、gpt-4,4o 等等

在一场赛跑比赛中，如果第二名超越了我，那我现在是第几名？

[liuliudi]

Claude3.5对了

[handsome (大帅哥)]

这些针对国外的模型，国内的还要提高一些难度

[errsa (jiakai)]

正确答案是不是第二名啊？

claude 3.5 sonnet答对了没有？

[ves (八嘎小天皇)]

对，就是第二名

[errsa (jiakai)]

好的，gemini advanced也能答对。GPT系列、通义千问等确实都错了。

[ves (八嘎小天皇)]

哈哈哈，个模型体质不一样，我用gemini 1.5 pro貌似都没对

[JFeng]

@ves

在一场赛跑比赛中，如果第二名超越了我，那我现在是第几名？

通义千问如果你后面指出他错了，那么在问就对了，缺失逻辑训练

[Varc]

1. 在一场赛跑比赛中，如果第二名超越了我，那我现在是第几名？
2. 在一场赛跑比赛中，如果我超越了第二名，那我现在是第几名？

答案：都是第二名。
这俩问题一块问，好像目前的模型全不行。

[BigBigBigSnowMan (大大大雪人)]

opus能答对

[print]

deepseek 可以

[print]

deepseek 就可以，coder更强

[prya (pry周内在)]

claude-3.5都不行

[BigBigBigSnowMan (大大大雪人)]

我用deepseekcoder试了试，怎么得出了错误结果？

[print]

看名字就知道coder是编码的。 你用通用模型

[BigBigBigSnowMan (大大大雪人)]

@print

你用通用模型

还是一样的

[print]

母鸡呀。

你的模型比较笨