Alexa语音规范化AI可将识别错误减少高达81％

文本规范化是大多数自然语言系统中的基本处理步骤。对于亚马逊的Alexa而言，“在下午5点给我预订一张桌子”（Book me a table at 5:00 p.m.）可能会被人工智能助理的自动语音识别器记录为：“five p m”并进一步重新格式化为“5:00 PM”。同样，Alexa也可以把“5 :30PM”的文本转化成“five thirty p m”的语音。

那么这是如何实现的呢？答案听上去有点“反智”。根据Alexa 人工智能工作组应用科学家Ming Sun和Alexa语音机器学习科学家Yuzong Liu的说法，目前，亚马逊的语音助手依赖手写预设的数以千计的日期、电子邮件地址、数字、缩写和其他表达的规范化规则。对于英语而言，这一切都还可以，但这种方法并补能适用其他一些语言（如果没有大量的手工劳动），亚马逊科学家正在研究一种由机器学习驱动的更具可扩展性的技术。

预计在语言学协会北美分会（NAACL）上发布的（“ 带有子词单元的神经文本标准化”）论文中，Sun Liu及其同事描述了一种分解输入词的AI文本规范化系统。并将流输出为“子词单元”（subword units）的较小字符串。关于这些子词单元，Sun和刘在博客文章中解释可以减少机器学习模型必须学习的输入数量，并避免像“Dr”（可能意味着“医生”或“驱动器”）和“2/3”（可能意味着”三分之二“或”二月三分之一“）这样的字符组合产生模棱两可的意思。

此外，子词单元使AI模型能够更好地处理之前从未见过的输入字。不熟悉的单词可能包含熟悉的子词组件，这些有时足以帮助模型决定一个行动方案。

研究人员的系统通过将训练数据集中的单词减少为单个字符来创建子词单元，该算法用于识别最常出现的双字符单元和三字符单元，直到达到容量上限（大约2,000个子字）。这些组件用于训练AI系统输出子字单元，一个单独的算法在将这些单元拼接成完整的单词。

在对来自公共数据集的500,000个示例进行系统训练之后，研究人员表示，与先前报告的性能最佳的机器学习系统相比，Alexa的错误率降低了75％，问答响应延迟（响应所需时间）减少了63％。通过考虑附加信息，例如词性，句子内的位置和大小写，系统进一步降低了81％的错误率并且单词错误率仅为0.2％。