北大千问带来数学版CriticGPT，AI帮助纠错

【蜂耘网  人工智能】不管你有没有被互联网上的抬杠文学气过，你都得承认，合理的抬杠在某些时候可以帮助揪出错误，完善理论。

“你这里不对呀！”然后我们就会思考这里怎么了，到底怎样才能完美到无可反驳。

人类可以用这样的方式完善自己，AI也一样可以通过这种方式进步。OpenAI就有这样一个工具，名为CriticGPT。

这款工具能够“评估”ChatGPT写的代码，并找出其中错误的部分，这样AI就可以完成自我审查，降低错误率。

在人工与AI的混合审查测试中，CriticGPT找出了85%的错误，人类只找到了25%。

可惜的是，这款工具只能应用于代码纠错，但问世之后却让人眼前一亮，迸发更多灵感。

应用领域暂时是狭隘的，但它的逻辑确实完美且可以广泛应用的，只要将同样的逻辑运用于不同的领域，那不就能诞生各种不同的专门审查工具了吗？

数学是一门严谨的学科，对错自有天壤之别。审查AI在数学领域有很大机会一展身手。

在CriticGPT问世没多久，北大千问团队就搞出来了数学版，名为Math-Minos。

数学中包含大量需要推理的部分，推理过程，失之毫厘差之千里，如何提升推理水平，保证推理正确率呢？全部依赖人工审查吗？在AI时代，当然是使用数学专用的验证器，机械代替人工。

在Math-Minos出现之前，数学验证器的原理的二元分类标签。但实际使用中，可以明显感受到它有用但不多。错了吗？错哪里了？数学验证器面对这些问题是会有无力感的。

但Math-Minos知道，是这里错了，还有严谨分析，为什么错了。这是因为Math-Minos有逐步自然语言反馈机制，结合传统二元分类标签，既简化了任务，还增加了准确率。

到底有多准确？

在ORM设置中，Math-Minos把Mistral-7B（验证器）的准确率提高至87.3%，在MATH数据集中也提升至了37.4%。虽然之前的准确率为86.2%和35.9%，从数据上看仅提升了1%到2%，但这一小小提升，足以带来很多不同。   

同样，在PRM设置下，它依然能为数学验证器带来部分提升，与Self-Consistency结合的设置下也是一样，总体提升率均为1个百分点左右。

推理往往由多个步骤组成，这就导致错误原因并不那么好定位分析，而错误原因也可能多种多样。为了搞清楚错误原因，研究人员统计了五大类错误。

最常见的是累积错误，即一步错，导致的步步错。除此之外，还有计算错误，令人匪夷所思的无关错误、逻辑错误，最后是无法分类的其他错误。

统计数据后，研究团队建立了元评估集，评估了验证器的审查能力。

最终的结果是，Math-Minos表现优秀，全面超越传统ORM，让数学验证器的性能大幅提升。

有了更强的工具，数学工作者和研究者将释放更多精力，这对数学事业来说是一件值得高兴的事。

不过，工具总归是工具，正如数学天才陶哲轩的AI体验总结中提到的那样，它可以帮助到自己，但别想靠AI飞升。

（蜂耘人工智能网  责任编辑：梅子）