Llama 3.1震撼全球，Meta发布最强AI开源大模型，直接一夜封神

【蜂耘网  人工智能】震撼全球的重大消息，美国人工智能公司Meta推出迄今为止最强大的开源模型Llama 3.1系列，Llama3.1包含8B、70B和450B三个参数规模，其中最引人注目的是Llama 3.1 405B。

这个信息量有多大，看Llama3.1分量有多重就知道了。

可以这么说，Llama 3.1 405B是目前Meta公司最强大的模型，也是迄今为止全球最强大的开源大模型，Meta创始人扎克伯格称其为“业内顶尖水准的”AI模型。

在Meta公布Llama 3.1的同时，扎克伯格立马在博客中为这次发布站台造势。扎克伯格表示，Llama 3.1 版本将成为行业的一个转折点，大多数开发人员将开始主要使用开源，开源AI是未来的发展方向。

说Llama 3.1强大，并不是吹的，Meta对Llama3.1进行了全面性能评估。

基于超150个基准测试集的评测结果显示，Meta的旗舰模型Llama3.1 405B在常识、可操作性、数学等一系列任务中，可以直接媲美 GPT-4o、Claude 3.5 Sonnet、Gemini Ultra 等业界顶级大模型。

Llama3.1 405B 甚至在多项基准测试中超过了这些大模型等，比如在现实场景中，Llama 3.1 405B 进行了与人工评估的比较，其总体表现比GPT-4o、Claude 3.5 Sonnet更优。

此外，Llama 3.1 的 8B 小模型超越了同数量级的所有开源/闭源模型。

具体来说，新一代语言模型的优势有几方面：

1、上下文窗口更大：Llama 3.1三个版本的模型上下文窗口都从8K增加到了128K，相当于扩大16倍，这也就意味着此模型能更好地理解复杂的问题和上下文。

2、多语言支持：同时支持8种语言，对于不同语言的问题和任务，都能够进行有效地处理。

3、推理能力更强大：更强的的推理能力意味着能够更好地解决复杂的问题和做出合适的决定。

4、工具使用方面：支持使用各种工具来实现更高级别的用例和功能。

为了孕育出这款强大的基础模型，研究团队基于15万亿个Tokens，对Llama 3.1 -405B模型进行训练。而为了达到如此训练规模，团队使用了1.6万块H100的GPU。

Meta官方表示，Llama 3.1 405B是Meta有史以来首次以这么大规模进行训练的Llama模型。

此外，研究团队也在训练过程中做了优化。采用迭代后训练程序，每一轮都使用直接偏好优化和监督微调，为每轮创建最高质量的合成数据、提升每项功能的性能。还选择标准解码器Transformer 模型架构，最大限度提高训练的稳定性。整体而言保持了模型开发过程的可扩展性和简单性。

Llama 3.1 405B能够胜任数据合成生成、RAG函数调用、针对特定应用的模型评估、监督微调、实时和批量推理等多种复杂的任务。在实际应用中，Llama 3.1 405B 能够帮助我们实现一系列创新的工作流程。

就拿数据合成生成来说，一般而言，数据是模型学习和理解世界的基石，大模型训练需要大量真实世界的数据支撑。

但Llama 3.1 405B有了这种合成数据的生成和处理技术的应用，就能够创建大量高质量的训练数据。意味着他们并不全依赖真实世界的数据，而可以通过算法生成的数据来训练模型。

Llama 3.1模型发布后，所有高级功能对开发者开放，包括合成数据生成等高级工作流。对开发者来说，利用开源可以训练、微调和蒸馏自己的模型，这样可以降低成本、促进创新，而且因为更透明的开发而提高安全性。

比如在成本使用的角度，开发者可以在他们自己的基础设施上运行 Llama 3.1 405B 上的推理，成本大约是使用像 GPT-4o 这样的封闭模型的50%。

值得注意的是新开源协议里，允许使用 Llama 模型（包括 405B 模型）的输出来改进其他模型，这是 LLM 开源领域的首创。

开发者如果想要使用Meta的开源模型，最直接的方式是通过Meta.ai平台，但目前这一途径仅对美国用户开放。也可以通过DataBricks、NVIDIA、AWS等多个平台或者接口间接使用Llama 3.1 405B......

从历史意义上来讲，对于Llama 3.1的开源，Meta 官方表示：“到目前为止，开源大型语言模型在功能和性能方面大多落后于封闭式模型。现在，我们正迎来一个由开源引领的新时代。”

这些年，人工智能技术给人类带来了深刻的变革，但人工智能是一个有门槛的领域，并不是每个人都可以随意在这有所建树。

因此，也带来了一些问题，人类越是依赖人工智能，也就越依赖极少数掌握顶端人工智能技术的企业。

而Llama 3.1大模型的开源，可以大大降低开发门槛，起码能在一定程度上进行技术平权，避免其成为极少数人牟暴利的手段。    

（蜂耘人工智能网  责任编辑：梅子）