在數字人技術蓬勃發展的今天，生功效能仍是行業面臨的主题挑战
。商湯科技凭借在天生式?AI 與多模態交互領域的深厚積累，推出了實時語音驅動數字人技術——SekoTalk
。

通過多方面的創新技術，SekoTalk顯著提升了數字人視頻的生功效能，在8卡服務器上能够達到25 fps的天生速度，首幀延遲低至3.5s，在業內率先實現了實時天生
。同時，SekoTalk还能支持多人、多語言的口型精準匹配，和超長時的穩定天生
。這一技術突破了數字人發展的机能瓶颈，為數字人的大規模、實時應用打開更多可能
。

SekoTalk今年8月上線，應用在商湯Seko、影數字人等產品中，已助力用戶創作出數十萬部文章，并誕生了全網播放量超2000萬播放的爆款文章
。

算法系統協同：實現極致性價比突破

生功效能是數字人走向實用化的關鍵，而實時性又是生功效能的北極星
。SekoTalk通過模型蒸馏，模型結構優化，以及模型與系統的協同設計，在保證天生質量的前提下，實現推理效能的逾越式提升
。

與其它规划相比，SekoTalk展現出卓越的性價比優勢：開源模型天生一段5s視頻通常超過极度鐘，商用閉源模型天生5s的視頻通常也需1至10分鐘不等
。相比之下，SekoTalk在8卡服務器上能够達到25 fps的天生速度，即便將SekoTalk與多模態模型相結合，整體系統的首幀延遲也可低至3.5s
。

Phased DMD散布匹配蒸馏技術，無限逼近base模型成效：

以往的扩散模型蒸馏經驗發現，扩散模型低步數天生的質量受到等效模型容量的造约
。而主流的SOTA視頻天生模型已經證明混合專家(MoE)技術在扩散模型領域的巨大潜力：不增长推理開銷的同時，增大等效模型容量，進而導致更強的机能表現
。

然而，MoE技術在扩散模型蒸馏中的應用尚未得到索求
。商湯科技團隊發現，简單地將散布匹配蒸馏(DMD)應用到MoE模型中，會導致天生視頻的運動成效和指令遵循能力降落
。

為相识决這一問題，钻研團隊提出了Phased DMD技術，把去噪過程建模為多阶段的MoE模型
。Phased DMD不僅原生支持MoE模型，并且對於非MoE的教師模型，該技術也能够將之蒸馏為MoE學生模型
。

這一技術顯著提升了蒸馏模型天生的動態成效和多樣性，使SekoTalk推理開銷在降低25倍的情况下，仍维持教師模型优良的肢體運動成效和感情表現力
。除了應用於SekoTalk，Phased DMD也對開源社區常用的基模型進行了蒸馏并贡献回開源社區，相關優勢也得到開源社區的認可，進一步證了然Phased DMD的通用性和有效性
。

LightX2V與模型協同設計，支持低資源部署：

LightX2V是商湯開源的行業首個可能達到實時視頻天生的推理框架
。在模型和系統設計之初，就讓它們融入低比特量化感知训练、稀少把稳力等原生優化，共同自延装SPARSE+NVFP4+低比特通讯”高效把稳力算子，模型训练实现後可直接低資源部署
。

從測試數據來看，在分歧GPU硬件環境下，LightX2V均能實現SekoTalk 的高效推理，為分歧場景的落地提供靈活支持
。

聲形同步：多語言+多人場景口型精準匹配

傳統數字人技術在處理多語言、多人交互的复杂場景時，常出現口型與語音匹配不準的問題
。SekoTalk通過一系列創新設計，實現了從單人丁形到多人互動的高度精準的聲形同步
。

多語言高效同步：在2D數字人天生領域，一些工作沿用了早期的wav2vec2系列的预训练語音編碼器來驅動角色
。商湯團隊根據在3D數字人語音驅動(UniTalker)中積累的算法經驗，發現語音編碼器的選擇對於數字人驅動成效有極大影響
。

為此，钻研團隊探索了蕴含wav2vec2,hubert,wavlm,whisper等多種語音編碼器在2D數字人驅動中的机能表現，發現若是沿用wav2vec2系列的語音編碼器，即便是多語言预训练的wav2vec2-large-xlsr-53，在英語口型驅動和多語言泛化性上的定量指標中也落後其他編碼器
。

通過详细的消融實驗，SekoTalk使用了探索中表現最好的音頻編碼器，通過規；难盗，SekoTalk在中英文、多種幼語種、日常講話、說唱等場景中上均获得了準确的驅動成效
。

音視頻幀率解耦，杜絕细節迷失：主流視頻天生模型选取了“1+4N”時序压缩机造，為實現與與視頻幀的嚴格同步，SekoTalk對音頻處理分支進行了精密優化
。它創新地將視頻幀率(16-25fps）與語音特点幀率(50fps）解耦，预防了傳統下采樣放到帶來的口型细節迷失，使得音頻能够和肆意幀率的視頻在時序上對齐，保證音頻與畫面的高質量同步
。

可支持中文/法語/日語/葡萄牙語/韩語等多語種語音驅動

多人場景高度可控：借助优良的模型泛化能力和創新的掩碼把稳力机造(Attention Mask)，SekoTalk可在多人對話場景中，獨立、精準地节造每個角色的口型與動作，输出天然流畅的群組互動成效，拓展了技術的適用場景和應用潜力
。

高效力、低成本的語音
？椋類似文生視頻中时时借助文本條件的Classifier-Free Guidance(CFG)來提升視頻天生質量，在數字人天生領域中，以往工作也借助這一做法，使用語音條件的CFG來提升口型驅動的準确性，然而這相比於單獨文本條件天生視頻又多出了50%的計算開銷
。另一方面，類似於文本條件的CFG通常伴隨著天生畫面過鼓和的問題，語音條件的CFG在提升口型驅動準确性的同時，通常也帶來夸張不天然的人臉畫面
。商湯團隊認為，通過更好的語音注入
？榈脑O計，能够更本質地解决這一問題
。結合DiT的設計經驗，钻研團隊在語音
？橹幸惨肓薃daptive Layer Normalization(AdaLN)，并且使用可學習参數的注入方式包办了Linear Projection，在维持表現力的前提降落低了計算開銷
。經過這些改進，SekoTalk模型無需借助語音條件的CFG，就能够達到準确的嘴形驅動
。這一改進不僅降低了計算開銷，同時也预防了語音條件的CFG帶來的口型準确性和臉部畫面天然性之間的弃取
。

超長時穩定天生：告別畫面漂移與人物偏移

在天生長視頻時，畫面色彩漂移和人物ID不一致，一向是行業的沉要挑战
。SekoTalk提出混合参考圖注入等规划，有效平衡動作多樣性與畫面穩定性
。

混合参考圖注入战术，兼顧“段內穩定”與“段表泛化”：通過在训练阶段隨机選擇片段內、表的参考圖，并辅助標志位批示参考圖來源，使模型同時把握了“段內穩定”與“段表泛化”兩種能力
。在推理時靈活切換，有效兼顧了動作多樣性與畫面穩定性
。

凹凸語義特点聯合注入，加快模型收敛速度：选取“高語義特点+低語義特点”的雙通路注入机造，利用分歧層級的語義資訊引導模型，這不僅加強了人物ID的一致性，还加快了模型的收敛
。

分離式Patchify編碼，高保真條件注入：將加噪視頻、参考圖、前序幀等分歧類型的特点交给獨立的Patchify分支處理，使模型把稳力更容易區分并理解多源資訊
。這不僅增強了長視頻天生中的人物一致性，还提升了續寫的連續性與穩定性
。

隐空間續寫優化效能，保险流畅續寫：在效能優化上，SekoTalk在時序維度上引入前序幀特点，通過直接取用上毕天生片段末尾的隐空間特点，预防了傳統规划中?“解碼-再編碼”的冗餘流程，并結合層級化KV缓存與因果把稳力机造，在确保續寫穩定性的同時，大幅提升了長視頻天生的推理效能
。

SekoTalk的技術價值已在實践中得到驗證
。其在線體驗平台作為首個支持2人以上對口型、天生2分鐘長視頻的免費技術體驗平台，已天生大量文章，SekoTalk模型也集成進入Seko、如影數字人等產品中使用
。此表，SekoTalk實時版在感情陪同、在線教育、專業征询領域的實時交互案例，也展現了其推動數字人走向更天然、智能、實時的未來潜力
。

免費在線體驗平台：https://sekotalk.com/

更多創意樣例（Project Page）可访問：http://sekotalk.com/showcase/

相關產品链接：https://seko.sensetime.com

技術互换與合作欢迎前往?Github：https://github.com/OpenSenseNova/SekoTalk

LightX2V試用:?https://github.com/ModelTC/LightX2V

One more thing,

SekoTalk應用到具體AI產品又會碰撞出怎樣的火花
？下周一（12月15日）起，商湯科技即將開啟“2025商湯產品發布周”，更多新品盡在商湯視頻號~

12月15日-19日，我們天天見！