如何利用Python打造一个语音合成系统

如何利用Python打造一个语音合成系统
 

背景

 

一直对语音合成系统比较感兴趣,总想能给自己合成一点内容,比如说合成小说,把我下载的电子书播报给我听等等。

语音合成系统

 

其实就是一个基于语音合成的工具,但是这个东西由于很多厂家都提供了API的形式,因此开发难度大大降低,只需要调用几个API即可实现属于自己的语音合成工具。麻雀虽小,五脏俱全,一个小工具而已。往大了说,这就是一个小型的语音合成系统。

准备工作

 

首先我们电脑上需要安装

 

  • Anaconda

  • Python 3.7

  • visual studio code

步骤

 

这里我们选用讯飞开放平台的WebAPI接口

 

https://www.xfyun.cn/doc/tts/online_tts/API.html

首先我们到控制台创建一个应用:

 

创建好了之后,点击该应用进入,有该应用的详细栏目。(我这里创建了一个名为myaibot的应用)点击左侧的语音合成,再到下一级在线语音合成(流式版)

 

在右上侧,能够看到我们需要拿到3个东西:

  • APPID

  • APISecret

  • APIKey

有了这3个关键信息,我们就可以开始使用讯飞在线语音合成来打造我们的系统了。

代码实现

 

接下来终于到了代码实现环节了。首先安装我们需要的两个库

pip install websocket-clientpip install playsound

接下来我们定义一个类TtsPlay,包含4个函数

class TtsPlay:def __init__(self): #初始化函数def play_sound(self):#播放音频函数def select_vcn(self,*arg):#选择下拉框设置发音人def xfyun_tts(self):#进行语音合成

大家需要填上刚才从讯飞开放平台控制台获取到的appid、apikey以及apisecret。

def __init__(self):    self.vcn = "xiaoyan"    self.APP_ID = "xxx"# 请填上自己的appid    self.API_KEY = "xxx"# 请填上自己的appkey    self.SECRET_KEY = "xxx" # 请填上自己的appsecret
    self.fname = ""
    self.root = tk.Tk()  # 初始化窗口    self.root.title("语音合成系统")  # 窗口名称    self.root.geometry("600x550")  # 设置窗口大小    self.root.resizable(0, 0)   # 为了方便固定窗口大小    self.tk_lb = tk.Label(self.root, text="请选择语音发音人")  # 标签    self.tk_text = tk.Text(self.root, width=77, height=30)  # 多行文本框    self.tk_cb_vcn = ttk.Combobox(self.root, width=12)  # 下拉列表框    # 设置下拉列表框的内容    self.tk_cb_vcn["values"] = ("甜美女声-小燕", "亲切男声-许久", "知性女声-小萍", "可爱童声-许小宝", "亲切女声-小婧")    self.tk_cb_vcn.current(0)  # 将当前选择状态置为0,也就是第一项    self.tk_cb_vcn.bind("<<ComboboxSelected>>", self.select_vcn)    self.tk_tts_file = tk.Label(self.root, text="生成文件名")    self.b1 = tk.Button(self.root, text="进行语音合成", width=10, height=1, command=self.xfyun_tts)  # 按钮    self.tk_play = tk.Button(self.root, text="播放", width=10, height=1, command=self.play_sound)  # 按钮    # 各个组件的位置    self.tk_tts_file.place(x=30, y=500)    self.b1.place(x=300, y=500)    self.tk_play.place(x=400, y=500)    self.tk_lb.place(x=30, y=30)    self.tk_cb_vcn.place(x=154, y=30)

    self.tk_text.place(x=30, y=60)    self.root.mainloop()

当选择了下拉列表,设置对应的发音人

def select_vcn(self, *args):        if self.tk_cb_vcn.get() == "甜美女声-小燕":            self.vcn = "xiaoyan"        elif self.tk_cb_vcn.get() == "亲切男声-许久":            self.vcn = "aisjiuxu"        elif self.tk_cb_vcn.get() == "知性女声-小萍":            self.vcn = "aisxping"        elif self.tk_cb_vcn.get() == "可爱童声-许小宝":            self.vcn = "aisbabyxu"        elif self.tk_cb_vcn.get() == "亲切女声-小婧":            self.vcn = "aisjinger"

接下来我们来魔改讯飞自带的Python demo;

# -*- coding:utf-8 -*-##   author: iflytek##  本demo测试时运行的环境为:Windows + Python3.7#  本demo测试成功运行时所安装的第三方库及其版本如下:#   cffi==1.12.3#   gevent==1.4.0#   greenlet==0.4.15#   pycparser==2.19#   six==1.12.0#   websocket==0.2.1#   websocket-client==0.56.0#   合成小语种需要传输小语种文本、使用小语种发音人vcn、tte=unicode以及修改文本编码方式#  错误码链接:https://www.xfyun.cn/document/error-code (code返回错误码时必看)# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #import websocketimport datetimeimport hashlibimport base64import hmacimport jsonfrom urllib.parse import urlencodeimport sslfrom wsgiref.handlers import format_date_timefrom datetime import datetimefrom time import mktimeimport _thread as threadimport osimport wave
STATUS_FIRST_FRAME = 0  # 第一帧的标识STATUS_CONTINUE_FRAME = 1  # 中间帧标识STATUS_LAST_FRAME = 2  # 最后一帧的标识
PCM_PATH = "./demo.pcm"

class Ws_Param(object):    # 初始化    def __init__(self):        self.tts_vcn = ""        self.tts_business_args = ""        self.tts_common_args = ""        self.tts_text_data = ""        self.APPID = ""        self.APIKey = ""        self.APISecret = ""
    def set_tts_params(self, text, vcn):        self.tts_vcn = vcn        # 业务参数(business),更多个性化参数可在官网查看        self.tts_business_args = {"aue": "raw", "auf": "audio/L16;rate=16000", "vcn": self.tts_vcn, "tte": "utf8"}        # 使用小语种须使用以下方式,此处的unicode指的是 utf16小端的编码方式,即"UTF-16LE"”        # self.tts_text_data = {"status": 2, "text": str(base64.b64encode(self.Text.encode("utf-16")), "UTF8")}        self.tts_text_data = {"status": 2, "text": str(base64.b64encode(text.encode("utf-8")), "UTF8")}
    def set_params(self, appid, api_seccret, api_key):        if appid != "":            self.APPID = appid            # 公共参数(common)            self.tts_common_args = {"app_id": self.APPID}
        if api_key != "":            self.APIKey = api_key
        if api_seccret != "":            self.APISecret = api_seccret    # 生成url    def create_url(self):        url = "wss://tts-api.xfyun.cn/v2/tts"        # 生成RFC1123格式的时间戳        now = datetime.now()        date = format_date_time(mktime(now.timetuple()))        # 拼接字符串        signature_origin = "host: " + "ws-api.xfyun.cn" + "n"        signature_origin += "date: " + date + "n"        signature_origin += "GET " + "/v2/tts " + "HTTP/1.1"        # 进行hmac-sha256进行加密        signature_sha = hmac.new(self.APISecret.encode("utf-8"), signature_origin.encode("utf-8"),                                 digestmod=hashlib.sha256).digest()        signature_sha = base64.b64encode(signature_sha).decode(encoding="utf-8")
        authorization_origin = "api_key="%s", algorithm="%s", headers="%s", signature="%s"" % (            self.APIKey, "hmac-sha256", "host date request-line", signature_sha)        authorization = base64.b64encode(authorization_origin.encode("utf-8")).decode(encoding="utf-8")        # 将请求的鉴权参数组合为字典        v = {            "authorization": authorization,            "date": date,            "host": "ws-api.xfyun.cn"        }
        url = url + "?" + urlencode(v)
        return url

def on_message(ws, message):    try:        message = json.loads(message)        code = message["code"]        sid = message["sid"]        audio = message["data"]["audio"]        audio = base64.b64decode(audio)        status = message["data"]["status"]        print(code, sid, status)        if status == 2:            print("ws is closed")            ws.close()        if code != 0:            err_msg = message["message"]            print("sid:%s call error:%s code is:%s" % (sid, err_msg, code))        else:            with open(PCM_PATH, "ab") as f:                f.write(audio)
    except Exception as e:        print("receive msg,but parse exception:", e)

# 收到websocket错误的处理def on_error(ws, error):    print("### error:", error)
# 收到websocket关闭的处理def on_close(ws):    print("### closed ###")

# 收到websocket连接建立的处理def on_open(ws):    def run(*args):        d = {"common": wsParam.tts_common_args,             "business": wsParam.tts_business_args,             "data": wsParam.tts_text_data,             }        d = json.dumps(d)        print("------>开始发送文本数据")        ws.send(d)        if os.path.exists(PCM_PATH):            os.remove(PCM_PATH)
    thread.start_new_thread(run, ())

def text2wav(appid, api_secret, api_key, text, vcn, fname):    wsParam.set_params(appid, api_secret, api_key)    wsParam.set_tts_params(text, vcn)    websocket.enableTrace(False)    ws_url = wsParam.create_url()    ws = websocket.WebSocketApp(ws_url, on_message=on_message, on_error=on_error, on_close=on_close)    ws.on_open = on_open    ws.run_forever(sslopt={"cert_reqs": ssl.CERT_NONE})
    pcm2wav(PCM_PATH, fname)

def pcm2wav(fname, dstname):    with open(fname, "rb") as pcmfile:        pcmdata = pcmfile.read()        print(len(pcmdata))    with wave.open(dstname, "wb") as wavfile:        wavfile.setparams((1, 2, 16000, 0, "NONE", "NONE"))        wavfile.writeframes(pcmdata)

wsParam = Ws_Param()

# 注意一下需要填入自己的appid、api_secret、api_keyif __name__ == "__main__":    text2wav(appid="xxx",             api_secret="xxx",             api_key="xxx",             text="这是一个测试",             vcn="xiaoyan",             fname="./demo.wav")

代码写好了,我们把Python代码run起来,最终一个语音合成系统就这样实现了!效果可以参考下图:

 

当前,各种云计算、云服务迅速发展,各大公司提供了丰富的资源,大大降低了人工智能开发的门槛,不需要懂语音合成的原理,只需不到半天时间,竟然可以这么快速开发出一个语音合成工具出来。