再见了Sora！字节发布两款全新豆包AI视频模型，效果炸裂

【蜂耘网  人工智能】近日，字节跳动旗下火山引擎在深圳举办的AI创新巡展上，正式发布了豆包视频生成PixelDance和豆包视频生成Seaweed两款大模型，标志着字节跳动在AI视频生成领域的重大突破。

豆包大模型不仅新增视频生成模型，还发布了豆包音乐模型和同声传译模型，已全面覆盖语言、语音、图像、视频等全模态。

PixelDance和Seaweed两款模型分别基于DiT架构和Transformer架构。

PixelDance模型在视频运镜控制方面表现出色，Seaweed模型则在视频质量和色彩细节上实现了重大升级。   

PixelDance模型以其精准的语义理解和超强的运镜控制而著称。

PixelDance V1.4可以遵从复杂prompt，解锁时序性多拍动作指令与多个主体间的交互能力。

对比以前的AI视频就像PPT动画，动作很单一，现在豆包PixelDance已经做到了让人物有复杂连续动作。

更重要的是，PixelDance模型在多镜头组合方面表现出色，一张图加个提示词，就能生成风格、场景、人物一致的多镜头视频。

得益于其基于DiT架构的高效融合计算单元，以及火山引擎全新设计的扩散模型训练方法，PixelDance模型在镜头切换时，能够保持主体、风格、氛围的一致性人物样貌、服装细节甚至头饰在不同运镜下也保持一致，接近实拍效果，从而实现了电影级别的复杂镜头控制。

PixelDance的强大之处总结下来就是：精准的语义理解、超强的运镜控制、一致性的多镜头组合。

Seaweed模型则在视频质量和色彩细节上实现了重大突破。

它能够生成影视级的视频，具备细腻丰富的细节层次，同时拥有专业级色彩调和和光影布局，大幅提升画面视觉审美。

此外，Seaweed模型的动态流畅，运动画面符合物理运动机制，使得视频观看体验更加自然。

Seaweed的强大之处总结下来就是：逼真度高、视觉美感高、动态流畅。

从地位上来讲，PixeDance做到了全球领先的镜头控制，也创造了历史新高度。

对比Runway，可灵，Vidu等AI生成视频平台，均无法直接实现镜头转场。但豆包PixlDance不同，它能够实现电影级别的复杂镜头！特别是对提示词镜头对焦的理解方面表现非常出色。

另外，在Sora迟迟未见踪影的情况下，字节跳动将AI视频推向了一个全新的高度。如果说可灵的正式上线，代表了中国Sora的输出，那么豆包模型的发布，更是将AI视频创作推向了一个前所未有的高度。   

数据显示，截至2024年9月，豆包语言模型的日均tokens使用量超过1.3万亿，相比5月首次发布时猛增十倍，多模态数据处理量也分别达到每天5000万张图片和85万小时语音。

而新版豆包视频生成模型支持丰富多样的题材类型，以及包括黑白、3D动画、2D动画、国画、水彩、水粉等多种风格。

同时，模型涵盖1:1、3:4、4:3、16:9、9:16、21:9 六个比例，充分适配电影、电视、电脑、手机等多种场景。

未来，豆包视频生成模型不仅可用于电商营销、动画教育、城市文旅、微剧本等多个企业场景，也能为专业创作者和艺术家们提供创作辅助。这两款模型的发布，将全面加速AIGC应用创新。        

（蜂耘人工智能网  责任编辑：梅子）