OpenAI Sora 首发解析:文本生成视频的技术原理、对影视与自媒体的冲击
发布速览:Sora 是什么
2024 年 2 月 15 日,OpenAI 通过官方博客和 X 账号发布了文本生成视频模型 Sora。按照官方的说法,输入一段文字描述,它就能生成最长 60 秒的视频,分辨率最高 1080p;除了纯文本,它也能接受图片或已有视频作为输入,做动画化、续写和补帧。
这个发布节奏很 OpenAI:没有发布会,没有开发者文档先行,直接甩出几十条样片,然后全网开始逐帧研究。样片的质量确实跳了一大截——在它出现之前,AI 视频的代名词还是「几秒钟的人脸融化」;而 Sora 的东京街头样片里,女主角走路时高跟鞋的反光、皮衣的质感、街道两侧霓虹灯在湿地面上的倒影,都已经到了普通观众一眼分不清真假的程度。
但先把预期放平:Sora 现在没有公开发布。官方明确说,现阶段只向负责安全评估的红队测试人员,以及少数视觉艺术家、设计师和电影人开放,用来收集反馈和排查风险。发布日期、定价、是否进 API,全部没有时间表。我们这篇文章能做的,是把官方技术报告和样片里已经摆出来的信息拆透,顺便泼一点冷水。
一分钟看懂技术原理
OpenAI 同步放出了一份技术报告,标题就很直白——《Video generation models as world simulators》,把视频生成模型称作「世界模拟器」。它的核心路线可以拆成三步:
第一步是压缩。先用一个编码器把视频压进一个低维的潜空间(latent space),就像把一张大图缩成缩略图,只保留最关键的信息,细节先欠着。
第二步是切块。被压缩的视频会进一步切成一小段一小段的「时空 patch」——可以理解为把视频剁成许多小立方体,每个立方体同时包含一小块画面和一小段时间。语言模型处理的是一个个 token,Sora 处理的就是这些时空 patch,逻辑是相通的。
第三步是扩散 Transformer(DiT)。生成时先从一团纯噪声开始,扩散模型负责一步步去噪,Transformer 负责在去噪过程中统筹全局:人物的脸不能在第 3 秒和第 30 秒长成两个样子,镜头运动也要连贯。最后再由解码器把潜空间里的结果还原成真实像素。
这条路线最妙的地方在于统一:竖屏、横屏、不同时长、不同分辨率的视频,全都被转成同一种 patch 序列喂给同一个模型。这也是为什么 Sora 能原生生成多种画幅,而不像早期工具那样只能出固定尺寸。
顺带说一句题外话:就在同一天,Google 发布了上下文长达 100 万 Token 的 Gemini 1.5 Pro,风头几乎全被 Sora 抢走。关于百万上下文到底意味着什么,我们另有一篇拆解,可以对照着看。
官方样片逐条解读
样片最能说明问题,但也要会看:发布视频是精挑细选的结果,代表的是上限而不是平均水平。我们把几条讨论度最高的样片拆开,既看亮点,也看露馅处。
| 样片 | 亮点 | 露馅处 |
|---|---|---|
| 东京街头女子漫步 | 人物面部稳定、皮衣与高跟鞋质感真实、霓虹倒影与景深自然 | 仔细看路人腿部仍有轻微粘连,背景人群的步态偶有不自然 |
| 加州淘金热历史画面 | 胶片颗粒感、航拍视角的山川河流连贯,有纪录片气质 | 人物与马匹在部分镜头里比例略失真,更像「风格化还原」而非史料 |
| 纸艺风格海底世界 | 材质统一,纸鱼、纸珊瑚的运动柔和,艺术风格把控极强 | 物理真实感要求低,风格化样片天然回避了最难的真实物理 |
| 椅子考古挖掘现场 | 幽默感和镜头语言完整,能讲一个小段子 | 官方自己承认:椅子会漂移、变形,物体凭空出现又消失 |
| 女子吃饼干特写 | 表情自然,皮肤质感细腻 | 吃下去的饼干不留咬痕——官方点名的物理错误 |
规律其实很清楚:镜头越偏风格化、时长越短,Sora 越游刃有余;越是写实、越涉及物体交互和因果,翻车概率越高。它对「世界长什么样」学得很好,对「世界怎么运转」还只是一知半解。OpenAI 自己在报告里也坦承了三类典型问题:物理规律错误(吃饼干不留咬痕、玻璃杯碎裂顺序不对)、左右方向混淆、长时序里的因果关系薄弱(比如前面放下杯子,后面杯子位置对不上)。
与 Runway、Pika 的代差有多大
为了避免空对空,我们把当时市面上能实际用到的文生视频工具和 Sora 摆在一起看。注意这是一张「2024 年 2 月」的快照,竞品们也在飞速迭代。
| 维度 | Sora | Runway Gen-2 | Pika 1.0 | Stable Video Diffusion |
|---|---|---|---|---|
| 单段最长时长 | 约 60 秒 | 约 4 秒(可扩展到十几秒) | 约 3 秒(可续) | 约 2–4 秒(十几到二十几帧) |
| 最高分辨率 | 1080p | 约 720p 起 | 约 720p 起 | 约 576×1024 起 |
| 输入方式 | 文本 / 图片 / 视频 | 文本 / 图片 / 视频 | 文本 / 图片 | 图片(图生视频为主) |
| 镜头语言 | 可指定复杂运镜与多镜头切换 | 支持部分运镜参数 | 偏简单运动 | 基本靠提示与参数 |
| 开放状态 | 未开放,仅红队与少数创作者 | 已上线,按额度付费 | 已上线,免费 + 付费 | 开源权重可本地部署 |
| 主要短板 | 还没得用;长时序物理与因果弱 | 时长短、人物一致性一般 | 时长最短,写实感弱 | 需要本地显卡,效果靠调参 |
代差主要体现在两点。一是时长与叙事:从「几秒钟的动图」跨到「一分钟能讲完一个小情节」,是量变到质变的门槛。二是世界一致性:多人物、多物体同框时不崩坏,以前要靠剪辑和抽卡掩盖,现在至少在样片里能正面扛住。
但也要给竞品留一句公道话:Runway 和 Pika 是今天就能打开网页用的产品,Sora 是实验室里的期货。真实工作流里,能用永远比能看优先。
TIP
看 AI 视频样片有个笨办法:把注意力放在手、牙齿、文字招牌、物体接触面这四处。这些地方最容易露馅,比看整体「像不像」准得多。
它还做不到什么
把官方承认和样片里能看出来的问题汇总一下,方便你建立合理预期:
- 物理直觉不可靠:重力、碰撞、液体、咬合这类日常物理,它经常凭「画面惯性」蒙混过关,特写和慢镜头下最容易穿帮。
- 因果链条短:多步骤事件(倒水 → 水满 → 溢出)容易在后半段乱套,60 秒是时长上限,不代表 60 秒都能保持逻辑。
- 可控性未知:样片都是精心挑选的提示词结果。真实使用中,抽卡率、修改成本、镜头微调能力,目前全是问号。
- 成本与速度未知:生成一分钟 1080p 视频的算力成本不低,最终定价如果按分钟计费,自媒体能不能用得起要打个问号。
- 版权与肖像风险:训练数据来源、生成内容与真实人物相似时的责任划分,官方只给了原则性说法,细则要等正式开放时看。
对影视与自媒体的冲击节奏
冲击一定会发生,但节奏比热搜标题写的慢。我们按行业环节拆开看:
最先被冲击的是「短」和「虚」的部分:短视频里的氛围空镜、广告里的产品氛围镜头、影视项目的分镜预演(previz)和概念短片。这些内容的共同点是时长短、不要求角色跨镜头严格一致、交付标准偏「感觉对就行」。Sora 这一代模型一旦开放,恰好全部命中。
中期受影响的是 stock 素材生意:付费图库和视频素材站卖的很多是「海边日落」「城市延时」这类通用空镜,AI 生成在成本和定制化上都有优势,这块市场会先感受到价格压力。
短期内动不了的是长片工业流程:一部电影需要成百上千个镜头之间的人物、服装、道具严格连续,还需要导演对单个镜头逐帧可控。这恰好是当前文生视频最弱的两项。再加上院线与平台对版权链路的要求,Sora 短期内更可能以「辅助工具」身份进入流程,而不是替代流程。
对自媒体创作者来说,更现实的变化是门槛而不是饭碗:以前做一条像样的科普视频要会拍会剪,以后可能只需要会写描述、会挑片段、会拼接。竞争会从制作能力转向选题和审美,这个迁移我们在 AI 绘画身上已经看过一遍了。
普通人什么时候能用上
老实说,不知道。能确定的只有三件事:
第一,短期内只有红队测试人员和受邀的少数创作者能碰到,目的是排查滥用风险。官方这次专门强调了安全措施:会检测生成内容是否为 Sora 出品的分类器、给视频打上 C2PA 元数据以便溯源、对文本提示做违规审核。这套流程没跑完之前,大规模开放的可能性不大。
第二,参照 OpenAI 以往的节奏(新模型先论文/博客亮相,再小范围测试,最后进产品或 API),以月为单位等待是合理预期,但别把任何具体月份当承诺。
第三,国内用户现在能做的只有围观。网上已经出现大量打着「Sora 教程」「Sora 邀请码」旗号的引流和收费内容,现阶段凡是收费卖 Sora 使用资格的,基本都可以直接判定为骗局。
WARNING
Sora 未公开发布之前,不存在所谓的官方内测购买渠道。遇到卖邀请码、卖生成额度的,先默认是骗子,能省下不少智商税。
结语
Sora 的意义,不在于它今天能替代谁,而在于它证明了一件事:把视频当作一种「世界的数据」,用足够大的模型和足够多的数据去学,机器能学到的不只是画面的样子,还有一部分世界的运行方式——虽然这部分还很粗糙。
对影视从业者,它暂时是分镜和概念阶段的效率工具;对自媒体,它是几个月后要认真学的新技能;对普通观众,它意味着「眼见为实」这四个字,从此要再打个折扣。保持关注,但不必焦虑,更不必现在就为期货交学费。
相关阅读
延伸阅读
免责声明
本文仅供技术交流和学习参考。涉及第三方服务的链接可能包含 sponsored 标记,请自行核实服务条款、价格和可用性,并遵守当地法律法规。