Can LLMs Be Computers?

Can LLMs Be Computers?

摘要

大模型虽能解复杂数学题，却在简单多步计算上栽跟头。我们直接在Transformer里造了台计算机，把C代码变成可执行的token流，让模型自己跑程序。关键突破是让注意力查询从线性扫描升级为对数时间，实现百万步精准执行。比如10×10矩阵的最小成本匹配，模型不靠外部工具，30k token/秒的速度直接输出结果。这证明Transformer不仅能描述计算，还能真正内化计算。