突发:马斯克Grok开源!
【蜂耘网 人工智能】就在刚刚(当地时间3月17日),马斯克的AI创企xAI正式发布了此前备受期待大模型Grok-1,其参数量达到了3140亿,远超OpenAI GPT-3.5的1750亿。
这是迄今参数量最大的开源大语言模型,遵照Apache 2.0协议开放模型权重和架构。
Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,这种MOE架构重点在于提高大模型的训练和推理效率,形象地理解,MOE就像把各个领域的“专家”集合到了一起,遇到任务派发给不同领域的专家,最后汇总结论,提升效率。决定每个专家做什么的是被称为“门控网络”的机制。
xAI已经将Grok-1的权重和架构在GitHub上开源。
GitHub地址: https://github.com/xai-org/grok-1?tab=readme-ov-file
目前Grok-1的源权重数据大小大约为300GB。
截至北京时间3月18日上午7时许,Grok-1项目收获了3400颗星。
Grok-1是马斯克xAI自2023年7月12日成立以来发布的首个自研大模型。xAI特别强调说这是他们自己从头训练的大模型。Grok-1没有针对特定应用进行微调。
xAI是马斯克去年刚刚成立的明星AI创企,其目的之一就是与OpenAI、谷歌、微软等对手在大模型领域进行竞争,其团队来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等诸多知名企业和研究机构。
此前马斯克刚刚“怒喷”OpenAI不够“Open”,后脚这就开源了自家的顶级3410亿参数自研大模型Grok-1。虽然马斯克在预热到发布的过程中也“放了几次鸽子”,但最终他并没有食言。
今天,xAI还公布了Grok-1的更多细节:
基础模型基于大量文本数据训练,未针对特定任务进行微调。
3140亿参数的Mixture-of-Experts模型,其对于每个token,活跃权重比例为25%。
xAI从2023年10月开始使用自定义训练堆栈在JAX和Rust之上从头开始训练。
但此次xAI并没有放出Grok-1的具体测试成绩,其与OpenAI即将发布的GPT-5的大模型王者之战,必将成为业内关注的焦点。
当然,马斯克发大模型,怎么会少的了大佬隔空对线“互怼”?
xAI官方消息刚刚发布,ChatGPT的官方账号马上就跟马斯克在X平台上进行了互动,在Grok官方账号评论下回复道:“偷了我的笑话。”
马斯克自然不会示弱,马上说请告诉我OpenAI“Open”之处在哪里。
马斯克高仿号也马上跑过来添油加醋,说我们都知道是Sam在运营ChatGPT的账号。
值得一提的是,此次xAI发布Grok-1消息的封面图片,是由Midjourney生成,Grok给出了提示文本:一个神经网络的3D插图,具有透明节点和发光连接,展示不同粗细和颜色的连接线的不同权重(A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines)。
原图:
(蜂耘人工智能网 责任编辑:行云)
6个月掏出3410亿参数自研大模型,马斯克说到做到!
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
-
外商看广交会上的“高新尖”|3D打印碗碟玩出花 隧道里烧出“金属瓷”
来源:广州日报
作为日常生活必需品之一,陶瓷类制品在广交会上素来颇受外国客商欢迎。而在本次广交会上,国内的参展商不仅带来了琳琅满目的陶瓷制品,更是通过装备、工艺、材料的革新,将陶瓷制作“玩出花”——不仅科技含量高、造型美观多变,而且环保又耐用,惊艳了外商的同时,也将“中国制造”的名号进一步打响。2024-04-29
-
首个!美国空军实验室开发3D打印单块火箭发动机推力室
来源:3D科学谷
近年来,美国军方一直是增材制造最热衷的采用者之一。 就在近日,总部位于美国加利福尼亚州长滩的Relativity Space 还与美国空军研究实验室 (AFRL) 签订了一份价值 870 万美元的合同,以探索增材制造中的实时缺陷检测。2024-04-29
- 2022-08-25
- 2022-10-24
- 2022-10-13
- 2022-09-30
- 2023-03-29
- 2022-10-18
- 2022-11-17
- 2022-10-25
-
一文了解查理·芒格:为什么他是巴菲特最推崇的人
来源:
①巴菲特写道,“如果没有查理的灵感、智慧和参与,伯克希尔-哈撒韦公司不可能发展到今天的地位”;
②芒格曾表示,“如果世上未曾有过查理·芒格这个人,巴菲特的业绩依然会像现在这么漂亮 ”
③两周前,芒格还公开在节目中维护93岁的老友巴菲特。넶31 2023-11-29 -
面壁者,拉里·佩奇
来源:中欧商业评论
这两年,硅谷钢铁侠埃隆·马斯克在社交媒体上口无遮拦,这为他的公司引来了铺天盖地的负面新闻,然而,他的好友、谷歌联合创始人拉里·佩奇却因为看不到人同样被媒体炮轰多时。他已经在公共视野中消失太久了。넶137 2022-06-15 -
百岁中科院院士文圣常逝世!被誉为我国海浪研究的“点灯人”
来源:南方都市报
3月21日上午,中国海洋大学发布讣告,中国科学院院士、著名物理海洋学家、该校教授文圣常,因病医治无效,于3月20日15时37分在山东青岛逝世,享年101岁。넶164 2022-03-21
-
2023人工智能产业生态峰会(深圳站)即将举行!
来源:蜂耘网
本届大会以“产业变革 · 抓住机遇”为主题,聚焦国内人工智能的最新技术理念与解决方案,邀请众多行业大咖、专家学者分享最新的研究成果、技术、解决方案、行业报告、未来发展趋势等。넶156 2023-07-04 -
物流“黑科技”全力竞发 中国(广州)国际物流装备与技术展览会5月强势来袭!
来源:蜂耘网
立足华南联通世界,物流“黑科技”全力竞发!中国(广州)国际物流装备与技术展览会5月强势来袭!넶80 2023-05-05 -
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29
- 2024-04-29