Copyright 2019-2024 微推堂 版权所有 京ICP备2019123967号
通义万相视频模型，再度迎来史诗级升级！处理复杂运动、还原真实物理规律等方面令人惊叹，甚至业界首创了汉字视频生成。现在，通义万相直接以84.70%总分击败了一众顶尖模型，登顶VBench榜首。
Sora、Veo2接连发布之后，AI视频生成的战场又热闹了起来。
就在昨天，通义万相视频生成模型迎来了重磅升级！
他们一口气推出了两个版本：注重高效的2.1极速版、追求卓越表现的2.1专业版。
刚一上线，就异常火爆，等待时间甚至一度达到了1小时
此次，全面升级的模型不仅在架构上取得创新，更是以84.70%总分登顶权威评测榜单VBench榜首。
通义万相2.1的性能一举超越了Gen-3、CausVid等全球顶尖模型。
在实用性方面，通义万相2.1也得到了显著的提升，尤其是在处理复杂运动、还原真实物理规律、提升影视质感、优化指令遵循等方面。
以下都是我们实测出的Demos，就说够不够拍电影大片吧！
更令人惊叹的是，它还在业界首次实现了中文文字视频生成，让AI视频文字创作再无门槛。
以红色新年宣纸为背景，出现一滴水墨，晕染墨汁缓缓晕染开来。文字的笔画边缘模糊且自然，随着晕染的进行，水墨在纸上呈现「福」字，墨色从深到浅过渡，呈现出独特的东方韵味。背景高级简洁，杂志摄影感。
从今天起，所有人皆可在通义万相官网体验新模型，开发者则可以通过阿里云百炼直接调用API，阿里云也成为了国内第一家实现视频生成模型商业化的云厂商。
那么，通义万相2.1究竟给我们带来了哪些惊喜？
我们经过一番实测后，总结出了5大要点。
1.首创中文文字生成
通常来说，文字生成是AI视频模型进化的一大痛点。
我们已经看到Sora、Gen-3等模型，已经能够生成很好的英文字母效果，不过截至目前，从未有一个模型能攻克汉字的生成难题。
为什么之前的AI视频生成工具，都在「逃避」中文文字生成这个难题？
这是因为难点在于，中文文字的字体结构比英文更复杂，而且需要考虑笔画的层次感。在布局方面，中文字体更讲究，做成动态效果时对美感要求更高。
而阿里通义万相，便是首个中文文字视频生成的模型。从此，AI视频生成迈入「中文时代」！
这一切，只需要你动动手指，输入简单的文字提示就够了。
天空中飘着云朵，云朵呈现「新年快乐」的字样，微风吹过，云朵随着风轻轻飘动。
水彩透叠插画风格，两只不同颜色的可爱小猫咪手举着一条超大的鱼，从右边走到左边。它们分别穿着粉色和蓝色的小背心，眼睛圆圆的，表情呆萌。充满童趣，笔触淡雅温馨，简笔画风格。纯白背景上逐渐显示出来几个字体，写着：「摸鱼一天快乐无边」。
一只柯基坐在桌前冥想，背后一个「静」字非常应景。
一只柯基面前摆放着一只小巧的木鱼，仿佛在进行冥想仪式，背景出现字样「静」。
2.更稳定的复杂运动生成
对于大多数AI视频模型来说，无法逃脱「体操」魔咒。有人称，这是AI视频最新的「图灵测试」。
你会经常看到，AI体操视频生成中，扭曲的肢体、不协调的动作满屏皆是。
这仅是复杂肢体运动的一种，因为涉及到精细细节和高水平动作协调，成为了AI视频生成的一项重要评判标准。
生成一个人物复杂运动，对于AI来说就像是在解一道物理难题——
它不仅要做到身体各个部位精准配合，让四肢保持协调，还要考虑重力、人体运动特点、平衡感等各种细节。
在最新升级中，通义万相在多种场景下展示了惊人的「运动天赋」。
滑冰、游泳、跳水这些极易出错的名场面，万相2.1也通通Hold住，没有出现任何诡异的肢体动作，和不符合物理规律的场景。
平拍一位女性花样滑冰运动员在冰场上进行表演的全景。她穿着紫色的滑冰服，脚踩白色的滑冰鞋，正在进行一个旋转动作。她的手臂张开，身体向后倾斜，展现了她的技巧和优雅。
在泳池中，一名男子正在奋力向前游动。近景俯拍镜头下，他穿着黑色泳衣，戴着白色泳帽和黑色泳镜，正在水中划动双臂。他的头部部分被泳帽和泳镜遮挡，只露出嘴巴和鼻子。他的手臂在水中划动，产生了一系列的水花和气泡。随着他的动作，水面上出现了涟漪，水花四溅。背景是蓝色的泳池。
就看这个跳水动作，完全就是一个专业级选手的样子。肌肉的精准控制、溅起的水花，都非常符合自然规律。
一名男子在跳台上做专业跳水动作。全景平拍镜头中，他穿着红色泳裤，身体呈倒立状态，双臂伸展，双腿并拢。镜头下移，他跳入水中，溅起水花。背景中是蓝色的泳池。
特写镜头下，女孩以手指轻触红唇，然后开怀大笑。这么近的怼脸特写，表情肌的走向和分布都十分自然，脸部纹路和嘴角笑起的弧线，也逼真似真人。
特写镜头下，一位美女面容精致，她先是以手指轻触红唇，微微抿嘴，眼神中透露出一丝俏皮。紧接着，她毫无保留地开怀大笑，笑容如同绽放的花朵，美丽动人，眼角弯成了月牙状，展现出无比的快乐与感染力。
3.更灵活的运镜控制
同一个场景下的视频，为什么专业人士拍出来就是不一样？某种程度上讲，秘诀在于「运镜」。
那么，对于AI来说，教它运镜就相当于在教机器人当导演。
它需要理解跟随拍摄节奏、快慢推进速度，还要保持协调性的问题，比如镜头移动时，主体不能丢失；运镜速度变化要自然，不能忽快忽慢。
更重要的是，AI还得有艺术感，运镜效果要符合视觉习惯，动态美感要恰到好处。
在通义万相2.1版本中，AI展现出了专业级的运镜效果。
穿着禅衣的小狐狸，在360度运镜下欢快跳舞，这不，梦幻般的效果一下子就来了。
穿着禅意风服饰的可爱狐狸在林间空地上欢快地跳舞，身上的衣物随风轻扬。狐狸有着蓬松的尾巴和灵动的眼神，嘴角带着微笑，仿佛在享受自然的每一刻。背景是茂密的竹林，阳光透过竹叶洒下斑驳光影。画面采用旋转拍摄，营造出梦幻般的动感效果。整体风格清新自然，充满东方韵味。近景动态特写。
此外，新模型还能自动根据场景需求，智能调整运镜速度，完美把控了镜头的节奏。
海王在暴风雨中驾驭巨浪前行，这种级别的运镜绝对经得起考验，出现在大荧幕上也毫不违和。
暴风雨中的海面，海王驾驭巨浪前行，肌肉线条，灰暗天空，戏剧性照明，动态镜头，粗犷，高清，动漫风格
实验室中女医生精心设计的特写镜头，细腻的表情刻画，以及背后灯光、实验器材等多种元素碰撞，让整个角色立即具备了丰富的层次感。
富有电影感的镜头捕捉了一位身着暗黄色生化防护服的女医生，实验室惨白的荧光灯将她的身影笼罩其中。镜头缓缓推进她的面部特写，细腻的横向推移凸显出她眉宇间深深刻画的忧思与焦虑。她专注地俯身于实验台前，目不转睛地透过显微镜观察，手套包裹的双手正谨慎地微调着焦距。整个场景笼罩在压抑的色调之中，防护服呈现出令人不安的黄色，与实验室冰冷的不锈钢器械相互映衬，无声地诉说着事态的严峻和未知的威胁。景深精确控制下，镜头对准她眼中流露的恐惧，完美传达出她肩负的重大压力与责任。
下面这个镜头中，穿过一条两盘种满树木的郊区住宅街道，给人一种实时拍摄的感觉。
Afast-trackingshotdownansuburbanresidentialstreetlinedwithtrees.Daytimewithaclearbluesky.Saturatedcolors,highcontrast
4.真实的物理规律模拟
AI视频模型不理解物理世界，一直以来饱受诟病。
比如，Sora不仅会生成8条腿的蚂蚁，而且眼瞧着手都要被切断了，也切不开西红柿,而通义万相2.1切西红柿就像发生在现实生活中一样自然真实。
这一次，通义万相在物理规律理解上，得到显著提升。通过对现实世界动态和细节深入认知，就能模拟出真实感十足的视频，避免「一眼假」情况的出现。
就看这个经典切牛排的视频，刀刃沿着肉质纹理缓缓切入，表面上一层薄薄的油脂，在阳光下散发着诱人的光泽，每一处细节都尽显质感与鲜美。
在餐厅里，一个人正在切一块热气腾腾的牛排。在特写俯拍下，这个人右手拿着一把锋利的刀，将刀放在牛排上，然后沿着牛排中心切开。这个人手上涂着白色指甲油，背景是虚化的，有一个白色的盘子，里面放着黄色的食物，还有一张棕色的桌子。
它具备更强大的概念组合能力，能够准确理解和整合元素级的概念，使其在生成内容时更加智能。
比如，柯基+拳击，会碰撞出什么呢？
AI生成的柯基打斗的画面，真给人一种人类拳击的现场感。
两只柯基狗在擂台中央进行拳击比赛。左边的狗戴着黑色拳套，右边的狗戴着红色拳套。平拍镜头下，两只狗都穿着拳击短裤，身体肌肉线条明显。它们互相挥动拳头，进行攻防转换。整个场景在固定视角下拍摄，没有明显的运镜变化。
AI大牛Karpathy最爱考验AI视频的难题，就是「水獭在飞机上用wifi」。这道题，万相2.1完美做出。
5.高级质感、多种风格、多长宽比
更值得一提的是，万相2.1能够生成「电影级」画质的视频。
同时，它还能支持各类艺术风格，比如卡通、电影色、3D风格、油画、古典等等。
不论是哥特式电影风格，还是中国古典宫廷风格，AI将其特点呈现得淋漓尽致。
哥特式电影风格，亚当斯骑在一匹黑色骏马上，马蹄轻踏在古老的石板路上。她身穿黑色长裙，头戴宽边帽，眼神冷峻，嘴角微扬，透出一丝神秘。背景是阴暗的古堡和茂密的森林，天空中飘着乌云。镜头晃动，营造出一种不安与紧张的氛围。近景动态骑马场景。
这个中国古典宫廷风格的画面，镜头由群臣向前推进，聚焦在身披龙袍的皇帝身上，好像正在上映的一部古装剧。
中国古典宫廷风格，古代皇宫宫殿上正在进行皇帝的登基大典。群臣身着华丽朝服，表情肃穆，排列整齐。镜头从群臣视角出发快速向前推进，锁定在身穿龙袍、头戴皇冠的皇帝身影上。皇帝面容威严，眼神坚定，缓缓步入大殿。背景是金碧辉煌的大殿，雕梁画栋，气势恢宏。画面带有浓厚的皇家氛围，近景特写与中景结合，快速推进和跟随拍摄。
养蜂人手中的蜂蜜罐在阳光中折射出温暖的光晕，背后的向日葵与乡村老宅相映成趣，构筑出一幅充满岁月与质感的画面。
Thecamerafloatsgentlythroughrowsofpastel-paintedwoodenbeehives,buzzinghoneybeesglidinginandoutofframe.Themotionsettlesontherefinedfarmerstandingatthecenter,hispristinewhitebeekeepingsuitgleaminginthegoldenafternoonlight.Heliftsajarofhoney,tiltingitslightlytocatchthelight.Behindhim,tallsunflowersswayrhythmicallyinthebreeze,theirpetalsglowinginthewarmsunlight.Thecameratiltsupwardtorevealaretrofarmhouse.
大文豪李白的「举头望明月，低头思故乡」，AI直接把氛围感拉满。
古风画面，一位古人抬头望着月亮，缓缓低头，眼神中流露出深深的思乡之情。
对于词穷的创意者来说，通义万相「智能体扩写」功能非常友好。比如，我想生成一个「超快放大蒲公英，展现宏观梦幻般的抽象世界」。
若想要细节更丰富的描述，直接交给AI就好了。它会自动生成一段文案，可以直接复用，也可以二次编辑修改。
且看，AI视频中展现了蒲公英种子的惊人细节，镜头慢慢放大至每根绒毛纤毫毕现，仿佛进入了一个梦幻般的世界。
此外，万相2.1还能支持5种不同的长宽比——1:1,3:4,4:3,16:9,9:16，恰好可以匹配电视、电脑、手机等不同终端设备。
核心架构创新
那么，到底是什么让通义万相，能在激烈AI视频生成竞争中脱颖而出？
它又藏着哪些让人眼前一亮的「黑科技」？
接下来，让我们逐一分解此次2.1版本的技术创新突破点。
自研VAE与DiT双重突破
通过采用自研的高效VAE和DiT架构，阿里团队在时空上下文关系建模方面取得重大突破。
模型基于线性噪声轨迹的FlowMatching方案展开了深度设计，同时验证了ScalingLaw在视频生成任务中的有效性。
通义万相2.1视频生成架构图
在视频VAE层面，通过结合缓存机制和因果卷积，团队提出了一个极具创新性的视频编码解决方案。
通过将视频拆分为多个若干块（Chunk）并缓存中间特征，替代长视频的E2E编端到端解码过程。显存的使用仅与Chunk大小相关，与原始视频长度无关。
由此，这一关键技术能够支持无限长1080P视频的高效编解码，为任意时长视频训练开辟新途径。
如下图所示，展示了不同VAE模型的计算效率和视频压缩重构指标的结果。
值得一提的是，通义万相VAE在较小的模型参数规模下，取得了业内领先的视频压缩重构质量。
通义万相2.1视频VAE和其他方法的结果对比
DiT架构的设计围绕两个核心目标展开：实现强大的时空建模能力，同时保持高效的训练过程。
具体创新包括：
·时空全注意机制
为了提高时空关系建模能力，通义万相团队采用了「时空全注意机制」，让模型能够更准确地模拟现实世界的复杂动态。
·参数共享机制
团队引入了「参数共享机制」，不仅提升了模型性能，还有效降低了训练成本。
·优化文本嵌入
针对文本嵌入进行了性能优化，在提供更优的文本可控性的同时，还降低了计算需求。
得益于这些创新，使得新模型在相同计算成本下，凸显出收敛的优越性，并更易实现ScalingLaw的验证。
超长序列训练和推理
通过结合全新通义万相模型Workload的特点和训练集群的硬件性能，团队制定了训练的分布式、显存优化的策略。
这一策略在保证模型迭代时间前提下，优化训练性能，在业界率先实现了100万Tokens的高效训练。
在分布式训练策略上，团队开发了创新的4D并行策略，结合了DP、FSDP、RingAttention、Ulysses混合并行，显著提升了训练性能和分布式扩展性。
通义万相4D并行分布式训练策略
在显存优化上，采用了分层显存优化策略优化Activation显存，解决了显存碎片问题。
在计算优化上，使用FlashAttention3进行时空全注意力计算，并结合训练集群在不同尺寸上的计算性能，选择合适的CP策略进行切分。
同时，针对一些关键模块，去除计算冗余，使用高效Kernel实现，降低访存开销，提升了计算效率。
在文件系统优化上，结合了阿里云训练集群的高性能文件系统，采用分片Save/Load方式，提升了读写性能。
在模型训练过程中，通过错峰内存使用方案，能够解决多种OOM问题，比如由DataloaderPrefetch、CPUOffloading和SaveCheckpoint所引起的问题。
规模化数据构建管线与模型自动化评估机制
规模化的高质量数据是大型模型训练的基础，而有效的模型评估，则指引着大模型训练的方向。
为此，团队建立了一套完整的自动化数据构建系统。
该管线在视觉质量、运动质量等方面与人类偏好分布高度一致，能够自动构建高质量的视频数据，同时还具备多样化、分布均衡等特点。
针对模型评估，团队还开发了覆盖多维的自动化评估系统，涵盖美学评分、运动分析和指令遵循等20多个维度。
与此同时，训练出专业的打分器，以对齐人类偏好，通过评估反馈加速模型的迭代优化。
AI视频生成下一个里程碑
去年12月，OpenAI和谷歌相继放出Sora、Veo2模型，让视频生成领域的热度再一次升温。
从创业新秀到科技巨头，都希望在这场技术革新中寻找自己的位置。
但是相较于文本的生成，制作出令人信服的AI视频，确实是一个更具挑战性的命题。
Sora正式上线那天，奥特曼曾表示，「它就像视频领域的GPT-1，现在还处于初期阶段」。
若要从GPT-1通往GPT-3时刻，还需要在角色一致性、物理规律理解、文本指令精准控制等方面取得技术突破。
当AI真正打破现实创作的局限，赋予创意工作者前所未有的想象，新一轮的行业变革必将随之而来。
此次，通义万相2.1取得重大突破，让我们有理由相信，AI视频的GPT-3时刻正加速到来。