梦瑶 闻乐 发自 凹非寺

量子位 | 公众号 QbitAI

AIGC发展到今天，生成几秒钟的AI视频真的已经不算新鲜事儿了。

但！难的地方在于，让同一个角色在几分钟里始终保持一致（扎心.jpg）——

多镜头切换，脸可能变了，换场景，衣服发型开始漂；人物开口，音色前后接不上！！

问题不在模型「不会造梦」，而在于它很难「记住」这个梦……

△AI生成

也正因如此，长视频生成迟迟未能进入全行业的生产流程，更别说大规模商业化。

在长视频生成集体卡壳的当下，刚刚，有团队给出了一套新解法——

开源长音视频生成框架JoyAI-Echo，并杀入全球长视频生成领域全球「第一梯队」。

把长视频创作里角色一致性、音色稳定性、生成速度和画面质量等生成痛点，一把梭哈～

哪怕是几分钟的视频，多镜头、多场景、多段语音连续切换，人物形象和声音也能狠狠稳住。

不仅如此，支持对话式编辑的Agent能力也一起安排上了，以后我们做视频就像和导演聊天一样了！

然后嘛，我再仔细一看，这套高性能开源框架，竟然来自——

京东？！属实藏得太深……（震惊.jpg)

评测显示，JoyAI-Echo在跨镜头一致性、语音准确率（0.8646）等指标上全面领先行业，甚至用户偏好达59.4%~81.7%。

这下好了，AI视频也能所见即所得了。

一个可交互、高一致性、可持续迭代的长视频时代来了！

长视频不再“跑偏”：高一致性、低延迟、实时超分

过去一年，AI视频模型的竞争重点多集中在几秒到几十秒片段：画质、运镜、风格、物理合理性。

各家模型卷得飞起，效果确实肉眼可见地next level，各类Benchmark评测表现也都非常漂亮。

然鹅吧，在AI视频生成似乎已经进入成熟期的今天，一个问题依然没有被真正解决——长视频生成。

原因很简单：长视频，对整个行业来说都《太难了》…….（扎心jpg)

相比短视频生成，长视频不仅是在时间维度上的简单拉长，更意味着跨镜头、跨场景、跨动作的连续叙事。

但目前行业里的长视频生成，仍然普遍存在几个长期困境：

说话人的音色忽高忽低；生成速度也慢得离谱，往往要等上好几分钟才能看到结果。

这些问题背后，暴露的则是当前模型在长时序生成上的天然挑战：

模型错误累积、长程时序一致性弱、推理延迟高。

最终带来的结果就是，视频里的人物会变脸，声音会飘，生成还得等很久。

这些问题也直接限制了AI视频在虚拟叙事、数字人助手、实时内容创作等场景中的进一步落地和「规模化应用」。

△AI生成

而JoyAI-Echo给出的解法是，通过跨模态音视频记忆库、记忆驱动后训练、轻量化实时超分让长视频生成更稳。

哪怕是几分钟的视频，我们也能丝滑拿下！！拒绝反复抽卡！！

跨模态音视频记忆库：角色再也不“变脸”

长视频生成最让人头疼、行业最难啃的一块骨头，就是角色和声音的「前后不一致」。

在JoyAI-Echo团队看来，问题的根源在于现有模型缺乏真正意义上的长期记忆能力。

行业里传统方案、通常依赖上下文窗口保存历史信息，但随着视频长度增加，早期内容会逐渐被后续信息稀释。

模型虽然能够记住最近几个镜头，却很难稳定保存数分钟之前的人物特征！！

而JoyAI-Echo的做法是——

直接在框架里塞进了一套「跨模态音视频记忆库」。

与其让模型记住所有历史内容，不如把最关键的身份信息保存下来，并在后续生成过程中持续调用。

这样一来，即便视频长度来到5分钟，角色的身份、外观和声音依然能够保持高度一致！！！

本文转自：凤凰网科技

原文地址： https://tech.ifeng.com/c/8tkywF9p4rI