Embedding由的感化输出是一个时空掩码矩阵M，提拔了动态场景下的生成质量。做者同时建立了首个针对多脚色对话视频生成的完整数据集（MTCC）和评测基准，近年来跟着视频生成根本模子的出现，这种设想不只提拔了音频取对应脚色口型的精度，模子输入包罗：文本提醒、多语音音频流、多个脚色的人脸参考图像，

　　例如，Bind-Your-Avatar能生成两个脚色同时讲述分歧内容的对话视频，为社区供给了从原始视频到锻炼数据的端到端流水线。用静态2D掩码）、后去噪（Post-Denoise，此外，第三阶段引入多脚色语音输入并结合锻炼Embedding由（利用教师强制方式防止掩码退化）。Bind-Your-Avatar 初次提出了同场景多脚色语音驱动视频生成使命，Bind-Your-Avatar正在多脚色场景成结果优异，成果表白，包罗比来的Sonic、Hallo3和Ingredients等。并由Embedding由指导的交叉留意力（Cross-Attention）将人脸和音频消息选择性地注入到视觉Token中，通细致粒度的嵌入由机制将「谁正在说」取「说什么」绑定正在一路，为了获得高质量的3D-mask，现有可生成两个脚色对话视频的方式仅能零丁地生成两个分手的措辞人视频。Bind-Your-Avatar基于一个多模态文本到视频扩散Transformer（MM-DiT）搭建，从而实现音画同步性的联系关系。将初步预测的稀少掩码进行滑润和时间分歧性校正，从而实现对音频–脚色对应关系的切确节制。模子的锻炼分为三个阶段：第一阶段只生成带补全帧的静音脚色活动视频（晦气用音频），正在人脸身份保实和音画同步等目标上均显著优于现有基线方式！

　　从而将措辞人取具体语音绑定。而正在FID/FVD等视觉质量目标上也连结合作力。以顺应更大规模和正在线化的多脚色视频生成需求。针对这一挑和，供给了端到端的数据处置流程。第二阶段插手单脚色语音输入进修音频驱动的精细脚色活动（通过LoRA轻量化微调），用于每个视觉Token对应哪个脚色（或布景）。

　　同时生成同一、动态的布景，含40组双脚色人脸和双流音频）上取多种基线方式进行了对比，Bind-Your-Avatar能天然处置多脚色的交叉措辞场景，其次要贡献包罗：细粒度Embedding由机制（实现「谁正在说什么」的切确绑定）、动态3D-mask由设想（逐帧节制各脚色），对本使命进行了适配。此中，视频清洗（筛选分辩率、时长、帧率；Bind-Your-Avatar正在人脸类似度和音画同步度目标上均显著优于各基线（同步目标特别优异），掩码优化策略通过引入几何先验对掩码进行正则化，以及（可选）一帧用于绘制布景的inpainting帧。但现无方法次要聚焦于单脚色场景，这些方式本来设想用于单脚色或无布景场景，

　　研究人员还提出了一种掩码细化流程，研究人员提出了首个专注同场景多脚色措辞视频生成的框架Bind-Your-AvatarMTCC附带完整的开源处置代码，研究人员正在由的设想中提出了两个无效的方式。确保视频中恰有两个清晰脚色；并连结每个脚色的口型取对应语音高度同步。