如题
大模型究竟是如何预测出计算的结果的呢? 难道喂给他的数据中包含所有的除法的结果吗?
听听大家的看法
gpt是通过py运行代码计算
claude不知道是不是一样的
首先明确的是,不用工具、位数不太大的情况下模型真能实现较高精度除法,点名表扬 DeepSeek:
基本上除了最后一个都有小数点后 4 位精度,甚至数字比较小的时候能到 10+ 位。
之前 X 上就有人发现了,估计是用了合成数据吧,具体就不清楚了
这边用的是open web UI,应该也是gcp调用的
最后一个结果怎么(不说准确性)差了千倍![]()
虽然的确很强,但是我们不是在探讨计算的内部原理吗?怎么开始比拼算数能力了?![]()
现在的大模型都是在预测,甚至中间还有随机性,和定量计算是两码事,应该就是靠记答案
现在的光凭gpt框架就能实现计算陌生算术应该是做不到的,原理上就不可能,除非使用了别的框架
那我这算是运气好了呗,正好问到他会的啦?
mark ~
如果是合成数据 有可能出现两个不同模型 同样地计错某算式
事实上,考虑到神经网络是函数的通用拟合器( 万能逼近定理 )而除法显然可以表示为一个 \mathbb{R} \times \mathbb{R} \backslash \{0\} \to \mathbb{R} 的(连续)函数,所以… 理论上当然可以拟合。就算经过分词等操作我觉得这个结论应该仍然可以维持。
实际上做得到很可能是因为训练的时候使用了大量相关合成数据,加上大语言模型本身的规模庞大吧,不知道有没有相关研究
应该吧,至少原理上我理解不了它如何能算对
完全听不懂,但是很厉害的样子 现在一大堆研究数学模型的,肯定有相关研究吧
可能是让他step by step了?