云端部署语音文本安装体验(语音安装文本云端部署)「云端语音是什么」

AI文本转语音工具可以说真是太多了,其中我感觉用的最好的是微软的文本转语音,并且市面上大部分的文本转语音工具都是调用的微软的接口,像一些影视解说或是其它非真人出镜的解说视频,声音你一听就听过的那些很熟悉的声音都是微软的,但是现在有了一个更牛的文本转语音工具,那就是Bark。
Bark 是由Suno创建的基于转换器的文本到音频模型。
Bark 可以生成高度逼真的多语言语音以及其他音频 – 包括音乐、背景噪音和简单的音效。
该模型还可以产生非语言交流,如大笑、叹息和哭泣。
bark是支持多语言的,但是目前做的最好的还是英语,其它语言还在优化改善中。
这是一个开源项目,你可以在github中查看项目具体信息,地址:https://github.com/suno-ai/bark今天讲一下3种体验Bark文本转语音的方法1、本地电脑安装2、google colab云端部署3、hugging face及replicate在线体验1、本地安装这个工具没有软件客户端,如果想使用的话需要自己配置环境,首先安装Python环境,打开Python网站下载页面:https://www.python.org/downloads/windows/ 下载稳定版3.10.11,如果是其它操作系统请对应选择。
下载到电脑上之后双击运行安装,注意在安装时一定要勾选add python.exe to path,如果不会自定义安装全都默认即可然后按键盘win+R键打开运行,输入cmd,点击确定,打开命令提示符界面。
复制下面命令,然后鼠标右键单击命令提示符界面自动粘贴代码,然后回车运行,安装bark程序pipinstallgit+https://github.com/suno-ai/bark.git安装需要下载很多文件,时间长短取决于你的网速,等到出现下面的提示界面就表示bark安装完成了。
接下来安装代码编辑工具vs code,这个是微软出品的工具,打开网站下载链接:https://code.visualstudio.com/Download,.zip这个是免安装版的,解压后可以直接运行的。
vs code下载完成并打开它,点击左上角【文件】-【新建文本文件】,然后复制输入如下命令,然后保存为bark.pyfrombarkimportSAMPLE_RATE,generate_audio,preload_modelsfromscipy.io.wavfileimportwriteaswrite_wavfromIPython.displayimportAudio#downloadandloadallmodelspreload_models()#generateaudiofromtexttext_prompt="""Hello,mynameisSuno.And,uh—andIlikepizza.[laughs]ButIalsohaveotherinterestssuchasplayingtictactoe."""audio_array=generate_audio(text_prompt)#saveaudiotodiskwrite_wav("bark_generation.wav",SAMPLE_RATE,audio_array)#playtextinnotebookAudio(audio_array,rate=SAMPLE_RATE)系统提示有错误,有个包没有导入,在cmd窗口中输入如下命令,回车安装ipython就可以了。
pipinstall-UIPython再次返回vs code里,已经没有错误提示了,然后点击右上角运行按钮,首次运行会下载模型文件,比较大,而且多个,大约超13G,需要一些时间。
text_prompt 内容就是需要转换成音频的文本,音频生成完成后会保存在bark.py这个文件的相同文件夹内,如需生成其它文本,直接修改text_prompt 内容,如果需要更换发音人如v2/zh_speaker_7,可以在generate_audio里设置,如下面代码所示:#generateaudiofromtexttext_prompt="""你知道今天星期几吗?"""audio_array=generate_audio(text_prompt,history_prompt="v2/zh_speaker_7")#saveaudiotodiskwrite_wav("bark_generation2.wav",SAMPLE_RATE,audio_array)#playtextinnotebookAudio(audio_array,rate=SAMPLE_RATE)在提示词前后加上音乐符号♪,音频将以歌唱的形式生成。
还可以生成音效和非语音声音,如下显示[laughter][laughs][sighs][music][gasps][clears throat]— or … for hesitations♪ for song lyricsCAPITALIZATION for emphasis of a word[MAN] and [WOMAN] to bias Bark toward male and female speakers, respectively所有可用发音人列表:https://suno-ai.notion.site/8b8e8749ed514b0cbf3f699013548683?v=bc67cff786b04b50b3ceb756fd05f68c这个用的是CPU,没有使用显存。
2、google colab云端部署首先打开谷歌Colaboratory,网站地址:https://colab.research.google.com/,如果没登录的话,点击页面右上角登录按钮登录google账号,然后点击页面左上角【文件】-【新建笔记本】然后点击页面左侧文件夹图标,然后点击谷歌云盘文件夹图标,链接谷歌云盘,然后点击确定链接google云盘,接下来按提示操作就可以。
链接到谷歌云盘后创建的文件会自动保存到云盘,关闭colab也不会丢失了。
然后在colab内右侧输入bark安装命令,然后点击左侧的三角号运行命令。
pipinstallgit+https://github.com/suno-ai/bark.git这个过程42秒,安装完成后左侧三角号不再转圈了,下面显示successfully installed…..这个就代表安装成功了。
然后点击三角号上方【+代码】按钮新建代码输入框,输入如下命令:frombarkimportSAMPLE_RATE,generate_audio,preload_modelsfromscipy.io.wavfileimportwriteaswrite_wavfromIPython.displayimportAudio#downloadandloadallmodelspreload_models()#generateaudiofromtexttext_prompt="""Hello,mynameisSuno.And,uh—andIlikepizza.[laughs]ButIalsohaveotherinterestssuchasplayingtictactoe."""audio_array=generate_audio(text_prompt)#saveaudiotodiskwrite_wav("/content/drive/MyDrive/ColabNotebooks/bark_generation.wav",SAMPLE_RATE,audio_array)#playtextinnotebookAudio(audio_array,rate=SAMPLE_RATE)然后运行代码,系统就会开始将:Hello, my name is Suno. And, uh — and I like pizza. [laughs]But I also have other interests such as playing tic tac toe.这段文本转成语音,这个过程耗时时间会长一点,语音生成完成后可以直接点击播放按钮播放音频,点击三个点可以将音频下载到本地。
路径设置为谷歌云盘路径/content/drive/MyDrive/Colab Notebooks,生成的文件会自动保存到云盘,再次运行命令生成语音的话只输入下面这部分指令即可:#generateaudiofromtexttext_prompt="""这里输入待转换成语音的文本内容。
"""audio_array=generate_audio(text_prompt,history_prompt="v2/zh_speaker_7")#saveaudiotodiskwrite_wav("bark_generation.wav",SAMPLE_RATE,audio_array)#playtextinnotebookAudio(audio_array,rate=SAMPLE_RATE)所有可用发音人列表:https://suno-ai.notion.site/8b8e8749ed514b0cbf3f699013548683?v=bc67cff786b04b50b3ceb756fd05f68c3、hugging face及replicate在线体验https://huggingface.co/spaces/suno/barkreplicate在线体验链接:https://replicate.com/suno-ai/bark这个网站需要先登录才能使用,用github账号登录,设置完成后点击下方的【submit】按钮即可生成,感觉这个网站生成速度比较快,但是是收费的。
如果电脑配置比较高的话可以在自己电脑上操作,其次的话荐用Google colab部署,速度适中,也无需付费。
以上演示为15秒短音频生成教程。
下期会做一期长音频生成教程。
bark上手略微有些难度,不像其它文本转语音那么简单,但是bark生成语音的功能确实很强大,目前英语发音比较好,其它语言发音会带一些口音,比如就像老外说中文那样的发音,不过程序也在逐步完善过程中,期待以后会更强大。
原文:https://dyss.top/555
云端部署语音文本安装体验(语音安装文本云端部署)
(图片来源网络,侵删)

联系我们

在线咨询:点击这里给我发消息