Duix Mobile 移动端数字人快速集成指南3 步跑通语音驱动口型【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile如果你在手机 App 里做过数字人多半会撞上同一组麻烦语音送云端、等一拍、口型对不上、弱网直接停摆。Duix Mobile 是运行在设备端的实时交互式 AI 数字人 SDK不依赖云服务器本地用语音驱动口型在骁龙 8 Gen 2 上实测响应延迟低于 120ms。它到底在解决什么一句话定位把数字人听、说、动这三件事整套搬到手机上LLM、ASR、TTS 留给你自己接。离线可跑口型特征提取与渲染都在本地推理完成地铁、地下室、断网的银行网点都能工作语音数据不出设备。延迟有实测数字响应低于 120ms骁龙 8 Gen 2体感是对面有人在回应你而不是等一条回复。三件套可替换大模型、语音识别、语音合成全部支持自接或第三方SDK 只管形象和驱动你不用改内核。门槛写在纸面上iOS 12iPhone 8 起可跑、Android 10Android 建议 8 核 CPU、8G 内存集成文档一页纸能看完。第一次上手会经历什么前 10 分钟把官方 Demo 跑起来Android 侧用 Android Studio 打开duix-android/dh_aigc_androidGradle JDK 设为 17直接跑 test 模块。首次启动时SDK 会自动下载基础配置和数字人模型进度、解压、完成都有回调下载完成后屏幕上的 2D 数字人立即可见并支持播放内置 wav 试听口型。iOS 侧pod install后打开GJLocalDigitalDemo.xcworkspace运行效果一致。接下来 30 分钟让它说你的话把工程里的 wav 换成自己的录音demo 自带录音弹窗或按 16k 单通道 16bit 的 PCM 格式自己推流数字人的口型会跟着新音频走替换modelUrl可以换另一个数字人形象再试一遍这一步就能确认你的设备、你的音频、你的形象都能跑通。上生产前确定形象与动作SDK 附带 Leo、Oliver、Sofia、Lily 四个公开数字人形象见 res/avatar/。私有形象定制需要 15 秒到 2 分钟的真人视频联系官方即可见 duix-android/dh_aigc_android/README_zh.md 中的说明。init 成功回调里还能拿到模型标注的动作区间列表比如打招呼供后面按需触发。两个最值得深挖的能力流式 PCM 推送边合成边开口原理上驱动不走整段音频播完的老路startPush/pushPcm/stopPush按流推送 16k、16bit、单通道 PCM引擎边播边提取口型特征播报中途调stopAudio可立即终止当前句。实际效果是配合流式 TTS 时第一句合成完数字人就开始说用户中途插话、数字人立刻停并切到新句子——这就是打断体验的完整链路。duix?.startPush() duix?.pushPcm(pcmData) // 16k 采样率、16bit、单通道 duix?.stopPush()一个硬性细节每段 startPush 到 stopPush 之间的音频至少 1 秒32000 字节否则触发不了口型驱动短于 1 秒的片段可自行补静音帧。端侧口型推理断网照常对话口型特征提取和渲染由设备端推理完成依赖开源的 ncnn 与 onnx见两平台 README 的依赖表不存在视频流回传这一环。对集成方的直接好处银行、政务、法律这类语音敏感场景可以直接用渲染帧通过RenderSink接口以 BGR 顺序给出Android 用DUIXRendererDUIXTextureView就能拿到带透明通道的画面背景自己换。最短跑通路径Android 3 步git clone https://gitcode.com/GitHub_Trending/du/Duix-MobileAndroid Studio 打开duix-android/dh_aigc_androidGradle JDK 选 17运行 test 模块首次启动等模型自动下载完成先用 wav 播报再用录音驱动一遍完整接口与排查表见 duix-android/dh_aigc_android/README_zh.md。iOS 3 步同上 clone 仓库在duix-ios/GJLocalDigitalDemo目录执行pod install打开GJLocalDigitalDemo.xcworkspace选 iPhone 运行Info.plist 需含麦克风权限描述初始化入口如下返回 1 即成功[[GJLDigitalManager manager] initBaseModel:basePath digitalModel:digitalPath showView:self.showView]; [[GJLDigitalManager manager] toStart:^(BOOL ok, NSString *err) { [[GJLDigitalManager manager] toStartRuning]; }];完整接口见 duix-ios/GJLocalDigitalDemo/README_zh.md。它适合放在哪银行网点的无人值守服务终端某支行在营业厅放了一台 Duix Mobile 终端客户问汇率业务办到几点数字人当场作答营业时间之外它自动播放打招呼等动作吸引注意力。整个过程语音、视频都不出网点断网时段也不影响接待。AI 陪伴类 App陪伴应用的用户打开对话头像跟随 TTS 流开口说话时嘴型清晰可见用户中途打断数字人停下当前句。产品侧不需要为每个在线用户采购云端渲染资源。多角色大屏与直播场景电商带货、英语教学、医生问诊、客服坐席、直播课堂、情感陪伴——同一套 SDK 只换形象与话术就能覆盖不同角色的大屏展示适合连锁门店、医院导诊、在线教育这类需要多角色、统一技术栈的部署。上生产前的避坑与最佳实践音频格式是第一坑建议开工前先定死音频规格16k 采样率、16bit、单通道。每段推送不足 1 秒会没有口型效果过长的 PCM 整段压内存也可能溢出——按句分段推短段补静音帧。设备性能有明确下限Android 端建议骁龙 8 Gen 2 级别 8 核 CPU、8G 内存、1GB 可用存储给数字人预留 800MB 以上内存低端机上口型跟不上的情况可以用setReporter挂一个监控观察帧渲染信息先确认是算力瓶颈还是数据问题。初始化失败先看两样东西Androidinit 回调失败先用checkModel/checkBaseConfig确认模型是否下载解压到位模型路径错误是最常见原因。iOSinitBaseModel返回 -1 是授权失败检查 Info.plist 的授权字段与NSMicrophoneUsageDescription画面不渲染则确认 showView 已挂载到视图。下一步先跑 demo 再读文档Android 打开duix-android/dh_aigc_android/test模块按wav 播报 → 录音驱动 → 换形象的顺序过一遍iOS 直接跑GJLocalDigitalDemo。跑通后把 duix-android/dh_aigc_android/README_zh.md 的关键接口与调用示例一节完整读一遍流式推送、动作控制、回调事件都在那里需要私有形象时按文档中的联系方式提供 15 秒到 2 分钟的真人视频即可。【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Duix Mobile 移动端数字人快速集成指南：3 步跑通语音驱动口型
Duix Mobile 移动端数字人快速集成指南3 步跑通语音驱动口型【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile如果你在手机 App 里做过数字人多半会撞上同一组麻烦语音送云端、等一拍、口型对不上、弱网直接停摆。Duix Mobile 是运行在设备端的实时交互式 AI 数字人 SDK不依赖云服务器本地用语音驱动口型在骁龙 8 Gen 2 上实测响应延迟低于 120ms。它到底在解决什么一句话定位把数字人听、说、动这三件事整套搬到手机上LLM、ASR、TTS 留给你自己接。离线可跑口型特征提取与渲染都在本地推理完成地铁、地下室、断网的银行网点都能工作语音数据不出设备。延迟有实测数字响应低于 120ms骁龙 8 Gen 2体感是对面有人在回应你而不是等一条回复。三件套可替换大模型、语音识别、语音合成全部支持自接或第三方SDK 只管形象和驱动你不用改内核。门槛写在纸面上iOS 12iPhone 8 起可跑、Android 10Android 建议 8 核 CPU、8G 内存集成文档一页纸能看完。第一次上手会经历什么前 10 分钟把官方 Demo 跑起来Android 侧用 Android Studio 打开duix-android/dh_aigc_androidGradle JDK 设为 17直接跑 test 模块。首次启动时SDK 会自动下载基础配置和数字人模型进度、解压、完成都有回调下载完成后屏幕上的 2D 数字人立即可见并支持播放内置 wav 试听口型。iOS 侧pod install后打开GJLocalDigitalDemo.xcworkspace运行效果一致。接下来 30 分钟让它说你的话把工程里的 wav 换成自己的录音demo 自带录音弹窗或按 16k 单通道 16bit 的 PCM 格式自己推流数字人的口型会跟着新音频走替换modelUrl可以换另一个数字人形象再试一遍这一步就能确认你的设备、你的音频、你的形象都能跑通。上生产前确定形象与动作SDK 附带 Leo、Oliver、Sofia、Lily 四个公开数字人形象见 res/avatar/。私有形象定制需要 15 秒到 2 分钟的真人视频联系官方即可见 duix-android/dh_aigc_android/README_zh.md 中的说明。init 成功回调里还能拿到模型标注的动作区间列表比如打招呼供后面按需触发。两个最值得深挖的能力流式 PCM 推送边合成边开口原理上驱动不走整段音频播完的老路startPush/pushPcm/stopPush按流推送 16k、16bit、单通道 PCM引擎边播边提取口型特征播报中途调stopAudio可立即终止当前句。实际效果是配合流式 TTS 时第一句合成完数字人就开始说用户中途插话、数字人立刻停并切到新句子——这就是打断体验的完整链路。duix?.startPush() duix?.pushPcm(pcmData) // 16k 采样率、16bit、单通道 duix?.stopPush()一个硬性细节每段 startPush 到 stopPush 之间的音频至少 1 秒32000 字节否则触发不了口型驱动短于 1 秒的片段可自行补静音帧。端侧口型推理断网照常对话口型特征提取和渲染由设备端推理完成依赖开源的 ncnn 与 onnx见两平台 README 的依赖表不存在视频流回传这一环。对集成方的直接好处银行、政务、法律这类语音敏感场景可以直接用渲染帧通过RenderSink接口以 BGR 顺序给出Android 用DUIXRendererDUIXTextureView就能拿到带透明通道的画面背景自己换。最短跑通路径Android 3 步git clone https://gitcode.com/GitHub_Trending/du/Duix-MobileAndroid Studio 打开duix-android/dh_aigc_androidGradle JDK 选 17运行 test 模块首次启动等模型自动下载完成先用 wav 播报再用录音驱动一遍完整接口与排查表见 duix-android/dh_aigc_android/README_zh.md。iOS 3 步同上 clone 仓库在duix-ios/GJLocalDigitalDemo目录执行pod install打开GJLocalDigitalDemo.xcworkspace选 iPhone 运行Info.plist 需含麦克风权限描述初始化入口如下返回 1 即成功[[GJLDigitalManager manager] initBaseModel:basePath digitalModel:digitalPath showView:self.showView]; [[GJLDigitalManager manager] toStart:^(BOOL ok, NSString *err) { [[GJLDigitalManager manager] toStartRuning]; }];完整接口见 duix-ios/GJLocalDigitalDemo/README_zh.md。它适合放在哪银行网点的无人值守服务终端某支行在营业厅放了一台 Duix Mobile 终端客户问汇率业务办到几点数字人当场作答营业时间之外它自动播放打招呼等动作吸引注意力。整个过程语音、视频都不出网点断网时段也不影响接待。AI 陪伴类 App陪伴应用的用户打开对话头像跟随 TTS 流开口说话时嘴型清晰可见用户中途打断数字人停下当前句。产品侧不需要为每个在线用户采购云端渲染资源。多角色大屏与直播场景电商带货、英语教学、医生问诊、客服坐席、直播课堂、情感陪伴——同一套 SDK 只换形象与话术就能覆盖不同角色的大屏展示适合连锁门店、医院导诊、在线教育这类需要多角色、统一技术栈的部署。上生产前的避坑与最佳实践音频格式是第一坑建议开工前先定死音频规格16k 采样率、16bit、单通道。每段推送不足 1 秒会没有口型效果过长的 PCM 整段压内存也可能溢出——按句分段推短段补静音帧。设备性能有明确下限Android 端建议骁龙 8 Gen 2 级别 8 核 CPU、8G 内存、1GB 可用存储给数字人预留 800MB 以上内存低端机上口型跟不上的情况可以用setReporter挂一个监控观察帧渲染信息先确认是算力瓶颈还是数据问题。初始化失败先看两样东西Androidinit 回调失败先用checkModel/checkBaseConfig确认模型是否下载解压到位模型路径错误是最常见原因。iOSinitBaseModel返回 -1 是授权失败检查 Info.plist 的授权字段与NSMicrophoneUsageDescription画面不渲染则确认 showView 已挂载到视图。下一步先跑 demo 再读文档Android 打开duix-android/dh_aigc_android/test模块按wav 播报 → 录音驱动 → 换形象的顺序过一遍iOS 直接跑GJLocalDigitalDemo。跑通后把 duix-android/dh_aigc_android/README_zh.md 的关键接口与调用示例一节完整读一遍流式推送、动作控制、回调事件都在那里需要私有形象时按文档中的联系方式提供 15 秒到 2 分钟的真人视频即可。【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考