1. Sora 官方文档翻译解读
输入“/”快速插入内容
👍1. Sora 官方文档翻译解读
1. Sora 官方文档翻译解读
飞书用户6100飞书用户1668飞书用户5122024年8月12日修改
声明：本文由 LangGPT 社区 云中江树 翻译，未经授权禁止转载，侵权必究
原文：
我们探索在视频数据上对生成模型进行大规模训练。具体来说，我们在不同时长、分辨率和长宽比的视频和图像上联合训练文本条件扩散模型。我们利用转换器架构，对视频和图像潜码的时空片段进行操作。我们最大的模型 Sora 能够生成一分钟的高保真视频。我们的研究结果表明，扩展视频生成模型是构建物理世界通用模拟器的一条可行之路。
本技术报告的重点是：(1) 我们将各种类型的视觉数据转化为统一表示法的方法，这种表示法可用于生成模型的大规模训练；(2) 对 Sora 的能力和局限性的定性评估。本报告不包括模型和实现细节。
之前的许多研究都使用了多种方法对视频数据进行生成建模，包括递归网络1,2,3 生成对抗网络4,5,6,7 自回归变换器8,9 和扩散模型10,11,12 等。这些作品通常只关注视觉数据的一个狭窄类别、较短的视频或固定大小的视频。Sora 是一种通用的视觉数据模型--它可以生成不同时长、长宽比和分辨率的视频和图像，甚至可以生成整整一分钟的高清视频。
将可视化数据转化为 Patches
我们从大型语言模型中汲取灵感，这些模型通过在互联网规模的数据上进行训练，获得了通用能力。13,14 LLM 范式的成功部分得益于token的使用，这些标记优雅地统一了文本代码、数学和各种自然语言的不同模式。在这项工作中，我们将考虑如何继承视觉数据生成模型的这些优点。LLM 有文本标记，而 Sora 有视觉 patches 。我们发现，对于在不同类型的视频和图像上训练生成模型来说，patches 是一种高度可扩展且有效的表示方法。
在高层次上，我们首先将视频压缩到低维潜在空间19 中，然后将其分解为时空 patches，从而将视频转化为 patches。
视频压缩网络
我们训练了一个可以降低视觉数据的维度的网络20。 该网络将原始视频作为输入，并输出经过时间和空间压缩的潜在表示。Sora 在此压缩潜空间内进行训练并生成视频。我们还训练了一个相应的解码器模型，将生成的潜像映射回像素空间。
时空潜（空间）patches
给定一个压缩输入视频，我们提取一系列时空 patches 作为 Transformer token。这一方案也适用于图像，因为图像只是单帧视频。我们基于补丁的表示法使 Sora 能够在不同分辨率、持续时间和长宽比的视频和图像上进行训练。在推理时，我们可以通过在适当大小的网格中排列随机初始化的补丁来控制生成视频的大小。
缩放 Transformer 模型用于视频生成任务
Sora 是一个扩散模型21,22,23,24,25；给定输入的噪声 patches（以及文本提示等条件信息）后，经过训练，它能预测出原始的 "干净 " patches。26 变压器在语言建模、13,14 计算机视觉、15,16,17,18 和图像生成等多个领域都表现出显著的可扩展特性。
在这项工作中，我们发现扩散变换器作为视频模型也能有效扩展。下面，我们展示了固定种子和输入的视频样本在训练过程中的对比。随着训练计算量的增加，样本质量明显提高。