可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


可灵大版本更新来了!


智东西9月29日报道,昨晚,可灵AI宣布其最新一代旗舰视频生成模型Kling 4.0已开启内测,将于10月正式上线;同时,可灵AI还推出了拥有更快生成速度和更高性价比的Kling 4.0 Flash。这两款模型的API调用价格都暂未公布,后者已于昨天开始面向可灵最高档会员(每月916元起)开放体验。


Kling 4.0的单次原生生成时长达30秒,与字节的Seedance 2.5来到同一水平。其长镜头与连续叙事能力也有了提升,最多支持10张关键帧输入,并将很快推出4K、1080p的10-bit HDR格式高规格输出。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


▲Kling 4.0与Seedance 2.5关键参数对比


这是Kling系列模型时隔8个月的首次大版本号更新,上一次还要追溯到今年1月31日的Kling 3.0。此次Kling 4.0的升级集中在三个维度:视听质感、创意控制和叙事能力。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


可灵AI在官网上晒出了Kling 4.0的不少Demo。先看视听质感。大幅度动态场景是视频生成模型最容易露馅的地方,而Kling 4.0在这个多人打斗场景中表现比较稳定:人物的肢体、表情和动作没有出现畸变,打斗的力量感和节奏感也不错,可以说做到了“拳拳到肉”。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


▲Kling 4.0生成的打斗场景画面(动图画质与帧率略有压缩)


声音方面,Kling 4.0新增了双通道立体声输出,口型匹配精度也有提升。以一段复杂的说唱视频为例:模型为说唱者配的口型相当精准,单看口型几乎挑不出毛病;不过在说唱乐的节奏感上,仍有提升空间。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


输出规格上,Kling 4.0现已支持21:9超宽画幅,即将上线的10-bit HDR是流媒体大片常用的规格,可呈现约10.7亿种颜色,是我们平时看到的8-bit SDR视频的64倍,画面色彩更细腻、明暗层次更丰富。


创意控制是Kling 4.0这次升级的重头戏。


Kling 4.0可理解最高8000个token的超长提示词,让创作者可以对画面内容做出更精准的描述。这一模型对提示词的理解力也有提升,比如,面对“一位老人正在吐槽AI”这样一句简单的画面描述,Kling 4.0能自动补全对白和剧情,生成一段连贯的叙事。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


参考素材的玩法也变多了。在Kling 4.0中,用户一次性可以上传15个参考素材,包括最多10张图片、最多5段视频(总时长不超30秒)、主体(支持指定音色)等多种输入。


多样的参考素材解锁了不同的创作方式。用户可以上传多个角色参考图和参考素材,Kling 4.0会将这些素材生成为一个完整的视频,画面中的角色和元素与用户上传的保持一致。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


上传运镜参考视频、动作参考视频后,Kling 4.0可以让参考角色做出同样的动作,或是采用参考视频的运镜方式。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


这种能力在商业视频创作中十分实用。拿到一段广告视频后,Kling 4.0能把参考视频中的运镜、节奏应用到新视频中,新元素的融合较为自然。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


最后是叙事能力。Kling 4.0单次原生生成时长达到30秒,是Kling 3.0的2倍。30秒的生成时长,能让动作过程、场景变化等细节可以呈现得更为完整。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


结合视频续拍功能,Kling 4.0最长可以把视频延长至2分钟。


支撑复杂叙事的还有两个工具。一是关键帧,Kling 4.0支持最多10个关键帧,而Kling 3.0仅支持首尾帧。利用更多的关键帧,创作者可以锁定开头、结尾和中间的情节节点。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


二是运镜与多镜头调度。Kling 4.0能理解推、拉、摇、移、跟拍、环绕等运镜方式,让创作者可以像导演一样安排镜头语言,做出更有故事感的画面。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


除了上述升级之外,Kling 4.0还新增了对德语、法语、印地语等更多语言的支持,画面中文字的生成效果也有优化,在画面运动、场景切换的时候,文字也可以保持稳定。


在视频编辑场景,Kling 4.0支持文字、图片和主体等多种输入,可以实现对原视频中主体和背景的增加、修改、删除等等操作,还可以调整视频中的天气、风格等元素。比如,下方的视频中的人流在编辑后就消失了。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


与旗舰版一同亮相的还有轻量版Kling 4.0 Flash,主打更快的生成速度和更高的性价比。从官方参数看,Flash版支持文生视频、图生视频(首帧)和参考生视频,单次生成时长3到20秒,输出规格为720p、8bit SDR,相比旗舰版的30秒时长、4K和10-bit HDR,在时长和画质上做了取舍。


可灵憋了8个月,放出一只“参数怪”:30秒一镜到底,10个关键帧,HDR和双声道也来了


值得一提的是,产品之外,可灵AI的资本化进程也在加速。今年7月,快手公告旗下可灵AI完成分拆后首次独立融资,投资方包括腾讯、阿里云、百度及多家国资平台;今年8月,快手还拿下了国家人工智能产业投资基金(大基金三期持股99.9%)与正大集团的投资。


两轮融资后,可灵AI此前设定的约30亿美元(约合人民币201.32亿元)认购限额已悉数动用,投后估值约为180亿美元(约合人民币1207.9亿元)。此外,根据公告,可灵计划在未来12个月内启动港股上市流程。


结语:视频生成模型


向专业创作工具进化


如今,视频生成模型已经成为广告、短剧等影视制作细分行业中的重要创作工具。商业化落地一方面给视频生成模型带来了可观的营收,另一方面也提出了新的、更专业的要求。


头部模型的迭代方向也正在随之转向,像是画幅、声道、运镜这些更多属于专业影视工业的概念,开始越来越频繁地出现在模型的更新公告里。虽然这些变化可能没有那么吸引眼球,但它们影响着视频生成这门生意能走多远。


文章来自于微信公众号 “智东西”,作者 “智东西”