700字范文 > Fay控制器及数字人模型可灵活组合出不同的应用场景：虚拟主播现场推销货商品导

Fay控制器及数字人模型可灵活组合出不同的应用场景：虚拟主播现场推销货商品导

时间：2018-11-08 23:16:55

FAY

数字人 Fay 控制器(这是元宇宙吗？)

Fay是一个完整的开源项目，包含Fay控制器及数字人模型，可灵活组合出不同的应用场景：虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。开发人员可以利用该项目简单地构建各种类型的数字人或数字助理。该项目各模块之间耦合度非常低，包括声音来源、语音识别、情绪分析、NLP处理、情绪语音合成、语音输出和表情动作输出等模块。每个模块都可以轻松地更换。

一、Fay控制器用途

远程语音助理PC demo

远程语音助理android demo

与数字形象通讯（非必须,控制器需要关闭“面板播放”）

控制器与采用 WebSocket 方式与 UE 通讯

下载工程:/s/1RBo2Pie6A5yTrCf1cn_Tuw?pwd=ck99

下载windows运行包:/s/1CsJ647uV5rS2NjQH3QT0Iw?pwd=s9s8

工程及运行包：/xszyou/fay-ue5

发您的Fay运行效果视频至公众号领取最新的UE5模型哦

通讯地址:ws://127.0.0.1:10002（已接通）

消息格式: 查看WebSocket.md

与远程音频输入输出设备连接（非必须,外网需要配置tcp通道的clientid）

控制器与采用 socket(非websocket) 方式与音频输出设备通讯

内网通讯地址:ws://127.0.0.1:10001

外网通讯地址: 通过获取（有伙伴愿意赞助服务器给社区免费使用吗？）

消息格式: 参考remote_audio.py

二、Fay控制器核心逻辑

注：

1、去API及会话管理功能将在下一版本发布；

2、以上每个模块可轻易替换成自家核心产品。

3、本地nlp（rasa+chatglm）的替换方法（/video/BV1D14y1f7pr?wxfid=o7omF0Vs6RIQFUGAzB6LXOBHa6Yg）：1、安装启动chatglm(github) 2、安装rasa 包：rasa、rasa-sdk 3、进入test/rasa目录启动actions：rasa run actions 4、启动rasa api server：rasa run --enable-api -p 5006 5、fay_core.py 引入nlp_rasa.py

目录结构

.├── main.py# 程序主入口├── fay_booter.py# 核心启动模块├── config.json# 控制器配置文件├── system.conf# 系统配置文件├── ai_module│ ├── ali_nls.py# 阿里云实时语音│ ├── ms_tts_sdk.py # 微软文本转语音│ ├── xf_aiui.py# 讯飞人机交互-自然语言处理│ ├── chatgpt.py# gpt3.5对接│ ├── yuan_1_0.py# 浪潮.源大模型对接│ └── xf_ltp.py # 讯飞性感分析├── bin # 可执行文件目录├── core# 数字人核心│ ├── fay_core.py # 数字人核心模块│ ├── recorder.py # 录音器│ ├── tts_voice.py # 语音生源枚举│ ├── viewer.py # 抖音直播间接入模块│ └── wsa_server.py # WebSocket 服务端├── gui # 图形界面│ ├── flask_server.py# Flask 服务端│ ├── static│ ├── templates│ └── window.py # 窗口模块├── scheduler│ └── thread_manager.py # 调度管理器└── utils # 工具模块├── config_util.py├── storer.py└── util.py

三、升级日志

.04：

抖音直播互动数据对接更换成系统代理抓包pd解码的方式（运行直播伴侣即可）；提供本地nlp的对接代码(rasa+chatglm)；修复若干逻辑及说明错误；提高抖音字幕监听的稳定性及包兼容性；更新gpt接口：局部接入代理、prompt上补充角色模拟及简化回复内容（感谢江湖墨明）；修复控制台输入测试消息的bug；补充推荐两个优秀仓库：chatglm、全平台的抖音抓包。

.03：

增加edge-tts语音合成（免费）可替换azure-tts(支持情绪化语音)；替换flask发行版运行方式；web socket接口增加数字人文字内容同步，以便数人字可以远程运行；优化数字人数据web socket同步逻辑；更改gpt 3.5对接方式。

.02：

提供chatgpt及yuan1.0作为选择。

.01：

控制器pc内网穿透，音频输入输出设备远程直连；提供android 音频输入输出工程示例代码；提供python音频输入输出工程示例代码（远程PC、树莓派等可用）；补传1.0语音指令音乐播放模块（暂不支持远程播放）；重构及补充若干工具模块：websocket、多线程、缓冲器、音频流录制器等；修复1.x版本的多个bug；集成看板娘;

.12：

上传bin目录（用于直播互动）；

.11：

更新抖音直播获取粉丝互动数据的xpath;

.10.27：

更新mac上的麦克风参数；解决mac上无法重启问题；上传brew安装脚本。

.10.17：

更新语音指令；补充人设语法；

四、安装说明

环境

Python 3.8.0 +Chrome 浏览器 (若不开启直播功能，可跳过)

安装依赖

pip install -r requirements.txt

配置应用密钥

查看AI 模块浏览链接，注册并创建应用，将应用密钥填入./system.conf中

启动

启动Fay控制器

python main.py

AI 模块

启动前需填入应用密钥

五、使用说明

使用说明

抖音虚拟主播：启动bin/Release_2.85/2.85.exe + fay控制器（抖音输入源开启、展板播放关闭）+ 数字人 + 抖音伴侣（测试时直接通过浏览器打开别人的直播间）；现场推销货：fay控制器（展板播放关闭、填写商品信息）+ 数字人；商品导购：fay控制器（麦克风输入源开启、展板播放关闭、填写商品信息、填写商品Q&A）+ 数字人；语音助理：fay控制器（麦克风输入源开启、展板播放开启）；远程语音助理：fay控制器（展板播放关闭）+ 远程设备接入；数字人互动：fay控制器（麦克风输入源开启、展板播放关闭、填写性格Q&A）+ 数字人；数字人面试官及心理测评：联系免费领取；贾维斯、Her：加入我们一起完成。