当前位置:金沙城中心2app >> 金沙城中心网址大全 >>「白菜专区」谷歌开源语音引擎:分享9大语音功能,为长篇对话提供字幕

「白菜专区」谷歌开源语音引擎:分享9大语音功能,为长篇对话提供字幕

作者:匿名 时间:2019-12-23 16:43:17】

「白菜专区」谷歌开源语音引擎:分享9大语音功能,为长篇对话提供字幕

白菜专区,智东西(公众号:zhidxcom)编 | 韦世玮

导语:在各类语音转录工具百花齐放的当下,谷歌开源的live transcribe将给人们带来更便捷和新颖的语音体验。

智东西8月19日消息,近日,谷歌开源了android语音识别转录工具——live transcribe的语音引擎,源代码现在可以在github上获得。

谷歌希望通过这一方式,能够让任何开发者为长篇对话提供字幕,进一步为安卓语音识别转录工具的实时转录功能提供动力。

今年二月,谷歌发布了live transcribe,该工具通过使用机器学习算法,能将音频转换为实时字幕。

与谷歌即将为安卓推出的live caption(实时字幕)功能不同,live transcribe是一种全屏体验,它依赖于谷歌云speech api(语音应用编程接口),能让用户通过智能手机的麦克风或外接麦克风使用。

live transcribe实质上是一种交流工具,一方面,它可以用70多种语言和方言来描述实时口语单词。另一方面,用户也可以通过输入文字来进行转录。

此外,live caption和live transcribe还有一个主要的区别。live transcribe可以在18亿台安卓设备上使用,而live caption只适用于部分android q设备。

目前,谷歌的cloud speech api并不支持发送无限长的音频流。此外,它依赖云来使用的特性,也意味着它在网络连接、数据成本和延迟方面都有潜在问题。

因此,语音引擎会在请求超时之前关闭并重启,还会在长时间的静默期间重启会话,以及在检测到语音暂停时关闭会话。 在会话期间,语音引擎还会在本地缓冲音频,当网络重新连接时便可发送。

基于这些设计,谷歌避免了工具转录时会出现截断的句子或单词,并减少了对话中丢失的文本量。 为了降低带宽需求和成本,谷歌还评估了不同的音频编解码器,包括flac(无损音频编解码器)、amr-wb(新型宽带语音编解码器)和opus(有损音频编解码器)。

其中,flac可以保持转录的准确性,但不能保存太多的数据,并且具有明显的延迟;amr-wb能够节省大量数据,但它在嘈杂环境中的转录不够精确;opus允许使用比大多数音乐流服务还要低很多倍的数据速率,还能同时保留音频信号的重要细节。

此外,谷歌还可以在长时间的静音期间,通过语音检测来关闭网络连接。总体而言,谷歌能够在不影响转录准确性的情况下,将数据使用量减少10倍。

为了进一步降低延迟,live transcribe使用了自定义opus编码器,能提高比特率,使延迟在视觉上无法区分发送但未压缩的音频。

谷歌列出了live transcribe的9项功能文档,但不包括说话人识别:

1、无限流媒体;

2、支持70多种语言;

3、当用户在网络和wi-fi之间切换时,可简化网络丢失。并且文字只会延迟,不会丢失;

4、对扩展网络丢失具有鲁棒性,即使网络中断数小时,仍会重新连接。但没有连接就无法进行语音识别;

5、可以轻松启用和配置opus、amr-wb和flac编码;

6、包含文本格式库,可用于可视化asr(自动语音识别)置信度,发言人id等;

7、可扩展到离线模式;

8、内置支持语音检测器,可在延长静音期间内用于停止asr,以节省资金和数据;

9、内置支持扬声器识别,可用于根据扬声器编号标记或着色文本。

该文档还指出,这些库与生产应用程序live transcribe中运行的库几乎相同。谷歌已经对它们进行了广泛的现场测试和单元测试,但测试本身并不是开源的。

谷歌将为开发人员们提供apk(安卓安装包),让他们能够在不构建任何代码的情况下试用该库。

谷歌表示,live transcribe是他们与加拉德特大学合作开发的一款应用,专为失聪和听障用户打造,而加拉德特大学是美国第一所专为失聪及听障人士设立的大学。

这款应用的开源对开发人员们来说,也许能进一步为失聪和听障患者的生活带来更大的便利。同时对普通人来说,也能帮助人们更快地适应各类新的语言环境,提供更高效的沟通方式。

文章来源:venturebeat

3分钟pk10

上一篇:甘肃此地人们有拜树习俗,据说,最早生活在此的是哈萨克人的祖先
下一篇:爆雷股掀跌停潮!冯鑫被抓,暴风跌停!辅仁药业3个一字跌停,17亿蒸发
关闭

Copyright 2018-2019 3carsz.com 金沙城中心2app Inc. All Rights Reserved.