北大千问带来数学版CriticGPT,AI帮助纠错
【蜂耘网 人工智能】不管你有没有被互联网上的抬杠文学气过,你都得承认,合理的抬杠在某些时候可以帮助揪出错误,完善理论。
“你这里不对呀!”然后我们就会思考这里怎么了,到底怎样才能完美到无可反驳。
人类可以用这样的方式完善自己,AI也一样可以通过这种方式进步。OpenAI就有这样一个工具,名为CriticGPT。
这款工具能够“评估”ChatGPT写的代码,并找出其中错误的部分,这样AI就可以完成自我审查,降低错误率。
在人工与AI的混合审查测试中,CriticGPT找出了85%的错误,人类只找到了25%。
可惜的是,这款工具只能应用于代码纠错,但问世之后却让人眼前一亮,迸发更多灵感。
应用领域暂时是狭隘的,但它的逻辑确实完美且可以广泛应用的,只要将同样的逻辑运用于不同的领域,那不就能诞生各种不同的专门审查工具了吗?
数学是一门严谨的学科,对错自有天壤之别。审查AI在数学领域有很大机会一展身手。
在CriticGPT问世没多久,北大千问团队就搞出来了数学版,名为Math-Minos。
数学中包含大量需要推理的部分,推理过程,失之毫厘差之千里,如何提升推理水平,保证推理正确率呢?全部依赖人工审查吗?在AI时代,当然是使用数学专用的验证器,机械代替人工。
在Math-Minos出现之前,数学验证器的原理的二元分类标签。但实际使用中,可以明显感受到它有用但不多。错了吗?错哪里了?数学验证器面对这些问题是会有无力感的。
但Math-Minos知道,是这里错了,还有严谨分析,为什么错了。这是因为Math-Minos有逐步自然语言反馈机制,结合传统二元分类标签,既简化了任务,还增加了准确率。
到底有多准确?
在ORM设置中,Math-Minos把Mistral-7B(验证器)的准确率提高至87.3%,在MATH数据集中也提升至了37.4%。虽然之前的准确率为86.2%和35.9%,从数据上看仅提升了1%到2%,但这一小小提升,足以带来很多不同。
同样,在PRM设置下,它依然能为数学验证器带来部分提升,与Self-Consistency结合的设置下也是一样,总体提升率均为1个百分点左右。
推理往往由多个步骤组成,这就导致错误原因并不那么好定位分析,而错误原因也可能多种多样。为了搞清楚错误原因,研究人员统计了五大类错误。
最常见的是累积错误,即一步错,导致的步步错。除此之外,还有计算错误,令人匪夷所思的无关错误、逻辑错误,最后是无法分类的其他错误。
统计数据后,研究团队建立了元评估集,评估了验证器的审查能力。
最终的结果是,Math-Minos表现优秀,全面超越传统ORM,让数学验证器的性能大幅提升。
有了更强的工具,数学工作者和研究者将释放更多精力,这对数学事业来说是一件值得高兴的事。
不过,工具总归是工具,正如数学天才陶哲轩的AI体验总结中提到的那样,它可以帮助到自己,但别想靠AI飞升。
(蜂耘人工智能网 责任编辑:梅子)
在CriticGPT问世没多久,北大千问团队就搞出来了数学版,名为Math-Minos。
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2022-08-25
- 2022-10-13
- 2022-10-24
- 2022-09-30
- 2022-10-18
- 2023-03-29
- 2022-11-17
- 2022-10-25
-
一文了解查理·芒格:为什么他是巴菲特最推崇的人
来源:
①巴菲特写道,“如果没有查理的灵感、智慧和参与,伯克希尔-哈撒韦公司不可能发展到今天的地位”;
②芒格曾表示,“如果世上未曾有过查理·芒格这个人,巴菲特的业绩依然会像现在这么漂亮 ”
③两周前,芒格还公开在节目中维护93岁的老友巴菲特。넶95 2023-11-29 -
面壁者,拉里·佩奇
来源:中欧商业评论
这两年,硅谷钢铁侠埃隆·马斯克在社交媒体上口无遮拦,这为他的公司引来了铺天盖地的负面新闻,然而,他的好友、谷歌联合创始人拉里·佩奇却因为看不到人同样被媒体炮轰多时。他已经在公共视野中消失太久了。넶210 2022-06-15 -
百岁中科院院士文圣常逝世!被誉为我国海浪研究的“点灯人”
来源:南方都市报
3月21日上午,中国海洋大学发布讣告,中国科学院院士、著名物理海洋学家、该校教授文圣常,因病医治无效,于3月20日15时37分在山东青岛逝世,享年101岁。넶253 2022-03-21
-
-
-
南京人工智能大会即将召开!汇聚业界智慧 共探AI无限可能
来源:蜂耘网
南京人工智能大会计划于6月27日在南京举行,大会以“产业变革,抓住机遇”为主题,共同探讨人工智能产业的最新技术、新的应用场景以及未来的发展趋势等问题。넶78 2024-06-18
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06
- 2024-09-06