凤凰网科技讯 12月16日,字节跳动发布新一代音视频生成模型Seedance 1.5 pro。该模型支持从文本或图像生成带有同步音频的视频,实现了音视频的联合生成。

据介绍,Seedance 1.5 pro在音画同步方面进行了优化,旨在提升生成内容中口型、语调与表演节奏的一致性。模型支持包括中文、英文、日文在内的多语种,并可模拟四川话、粤语等方言的语音特征。在视频层面,该模型声称具备一定的自主运镜调度能力,可生成如长镜头跟随、希区柯克式变焦等效果,以增强画面的动态张力与叙事感。
技术层面,该模型采用了基于MMDiT架构的音视频联合生成框架,并通过多阶段数据链路与强化学习方式进行优化。团队表示,其已在影视创作、广告制作、短剧及游戏内容等场景中进行测试,生成内容在指令遵循、音质表现等方面有所提升,但在复杂运动的物理稳定性、多角色对话等方面仍有改进空间。

本文转自:凤凰网科技
原文地址: https://tech.ifeng.com/c/8p8gos2dzyk

小同爱分享20 小时前
别随便嫌一个女生幼稚,她要是不喜欢你,比你妈都成熟。 - 小同爱分享
小同爱分享2 天前
俄罗斯方块告诉我们,合群就会消失,不合群就会失败。 - 小同爱分享