Linux.中国 - 开源社区

 找回密码
 骑士注册

QQ登录

微博登录


深度解读谷歌 SyntaxNet:全新 TensorFlow 自然语言处理模型

2016-5-18 08:29    评论: 1    

深度解读谷歌SyntaxNet:全新TensorFlow自然语言处理模型

图片来源:spaCy

编者注:spaCy是一个免费开源代码库,Matthew Honnibal是spaCy公司创始人及CTO。他在本科时学习语言学,从未想到未来自己会成为程序员。Honnibal获得悉尼大学计算机科学PHD学位并进行研究员工作后,在2014年离开学术界开始编写spaCy。本文中,Hobbibal深度解读了谷歌的自然语言处理模型。

上周,谷歌开源了其基于人工智能系统Tensorflow的自然语言解析模型分析库SyntaxNet。在过去的两年时间里,谷歌研究人员利用这个分析库发布了一系列神经网络分析模型。自从SyntaxNet发布以来,笔者就一直关注它,当然也一直也期待这个软件能够开源。不过,本文尝试围绕本次开源的相关背景做一些探讨,比如本次开源有什么新料,开源又有何重要意义?

在自然语言文本处理库中(比如spaCy),SyntaxNet提供了非常重要的模型。如果你把自然语言处理的概念”缩小”一点,就会意识到,这种你正在关注的技术可以拓展计算机的应用范围。即便是现在,你依然无法编写软件去控制一辆汽车,也无法用你的语气来回复电子邮件,更无法用软件来分析客户反馈,或为规避重大商业风险去监测全球新闻。诚然,自然语言处理无法操控无人驾驶汽车,但等下先,语言是人类最与众不同的能力,人类已经不可避免地掌握了这种技能,但是自然语言处理技术也很优秀,我们甚至难以预测它的潜力。谷歌搜索就是一种自然语言处理应用,所以你会发现这项技术其实已经在改变世界。不过,在笔者看来,自然语言处理还有很大发展空间。

在更大的价值链里,SyntaxNet其实算是一种较低级别的技术,它就像是一个改良的钻头,钻头本身无法给你石油,石油本身无法给你提供能量和塑料,能量和塑料本身也无法自动形成某种产品。但如果整个价值链的瓶颈是石油开采效率,那么大幅提高钻头技术(虽然是一种底层技术)也是非常重要的。

在笔者看来,在自然语言处理中语法解析就是一个瓶颈技术,如果它有四、五年时间做优化改进,将会对自然语言处理产生巨大影响。现在你可能会说,我之所以觉得这是个问题,是因为这项技术正从学术研究转变为商业化应用。但我所能说的就是,这其实是一种逆转因果关系:正是因为我理解问题的重要性,所以我投入其中,而不是相反。

好了,我知道即便某个技术遇到瓶颈,但也无法否定其重要性。SyntaxNet如何向前迈一大步呢?如果你已经在Stanford CoreNLP中使用了神经网络模型,那么可以肯定的是,你正在使用的其实是一种算法,在设计层面上这种模型和算法其实是完全一致的,但在细节上却不一样。使用spaCy语法解析模型也是如此。从概念上讲,SyntaxNet的贡献可能会让人觉得没那么大,毕竟它主要用于试验,优化和改进。然而,如果谷歌不做这项工作,可能就没有人会去做。可以说,SyntaxNet为神经网络模型打开了一扇窗,人们从中看到了一个充满各种想法创意的美丽风景,研究人员也正忙于探索这一切。当然啦,行业内也会有一种偏见,认为SyntaxNet会让研究人员看上去(感觉上)更聪明。可能,我们最终会有一个非常准确的语法分析模型,但是这个模型无法实现正确的假设(当然在系统设计的角度准确性是十分重要的),继而导致未来神经网络模型的发展越来越慢。在CoreNLP模型说明推出后的六个月,首个SyntaxNet论文才发布出来,他们使用了更大的网络,更好的激活函数,以及不同的优化方法,不仅如此,SyntaxNet还应用了更具原则性的定向搜索方法,进而取代了目前更多工作。使用 LSTM模型可以实现同样准确的并行工作,而不是按照SyntaxNet论文里描述的那样,同时发布前馈网络。

SyntaxNet用来做什么?

SyntaxNet语法解析器可以描述一个句子的语法结构,帮助其他应用程序理解这个句子。自然语言会产生很多意想不到的歧义,人们通常可以利用自己的知识过滤掉那些产生歧义的。举个大家比较喜欢的例子:

 他们吃了加凤尾鱼的披萨(They ate the pizza with anchovies)

                                             深度解读谷歌SyntaxNet:全新TensorFlow自然语言处理模型

图片来源:spaCy

正确的语法分析是将“with”和“pizza”联系在一起,也就是他们吃了加凤尾鱼的披萨;

深度解读谷歌SyntaxNet:全新TensorFlow自然语言处理模型

图片来源:spaCy

而不正确的语法分析是将“with”和“eat”联系在一起,他们和凤尾鱼一起吃了披萨。

 

深度解读谷歌SyntaxNet:全新TensorFlow自然语言处理模型

图片来源:spaCy

如果你想要更形象地感受这个技术,不妨可以看下我们的displaCy demo,或是看一个简明的,基于规则方法的例子,去了解语法树是如何计算出来的。“单词与单词”关系熟也可以用来识别一些简单的语法语义,这样可以便于扩展形成“单词包”技术(比如word2vec,它是一个将单词转换成向量形式的工具。可以把对文本内容的处理简化为向量空间中的向量运算,计算出向量空间上的相似度,来表示文本语义上的相似度。)举个例子,我们解析去年Reddit论坛上的每一个评论,相比于严格限制空格分割单词的方法,使用word2vec显然更有帮助,因为后者可以分析短语,实体和单词生成一个很不错的概念图。

SyntaxNet是一个训练和运行句法依赖解析的模型库。这个模型可以较好地权衡语义分析速度和准确度。可能是为了显得更时髦些,谷歌给这个模型起了个很酷的名字——Parsey McParseface。希望他们能够继续延续这种时髦的命名方式,我觉得未来应该有个更好的方式,让模型发展时间轴显得更清楚一些,自然语言处理技术也应如此。

SyntaxNet带来多大进步?

虽然打上了“当今世界上最准确的语义分析”标签,但Parsey McParseface其实只比最近的相关语义分析研究领先了一点点而已,如今的语义分析模型使用了更加复杂的神经网络架构,但有更多限制性的参数调整。因此,很多相似的技术也将不再会局限在学术圈。另一方面,如果你关心这种模型是否能够实实在在做一些事情,那么现实可能会让你有些失望了,目前这些技术还无法真正去“做事”。自从去年SyntaxNet论文发布之后,笔者本人一直在断断续续的研究神经网络模型spaCy,但是效果并不太好,我们想要让spaCy便于安装,我们想要它在单CPU上快速运行,我们还想要它保持多线程,不过所有这些要求目前都很难实现。

对于语义分析基准,Parsey McParseface在每秒600个单词的速度下,准确度可以超过94%。同样地,spaCy每秒识别1.5万字的精准度为92.4%。这个准确度可能听上去不是很高,但对于应用程序来说,其实已经算非常好的了。

任何预测系统,通常最重要的考虑因素就是基准预测的差异,而不是绝对进度。一个预测天气的模型,今天和昨天的准确度可能是一样的,但是它不会增加任何价值。关于依存关系语法分析,大约80%的依赖关系都很简单明确,这意味着,一个只正确预测那种依附关系的系统正在注入少量额外信息,这种能力不是只查看每个单词就能做到的,而是要考虑词和词之间的关系。

总而言之,我认为在目前人工智能的大趋势下,Parsey McParseface是一个非常好的里程碑。重要的是,它可以实现多快的速度,以及能实现多么先进的自然语言处理技术。我觉得以前有很多想法不能实现,但是肯定会有那一刻的到来,一瞬间所有都变得可行了。

下一步是什么?

最让我兴奋的是,通过Parsey McParseface模型设计,自然语言处理技术有了一个非常清晰的方向,这时你可能会说:“好的,如果它有作用就太好了。”2004年,语义分析领域的领军人物之一 Joakim Nivre表示,这种类型的语法解析器可以一次性读句子,继而减少错误理解。它适用于任何状态表达,任何行为集合,任何概率模型架构。举个例子,如果你解析一个语音识别系统的输入,你可以让语法解析器优化语音识别器,在基于句法环境下猜测对方要说的话。如果你使用知识库,那么可以扩展状态表达,使其中包含你的目标语义,让它学习语法。

联合模型和半监督学习一直是自然语言理解研究最完美的体现。从来没有人怀疑它们的优点——但是如果没有一个具体的方法,这些技术也只是陈词滥调罢了。很明显,理解一个句子需要正确地拆分单词,但这样做会带来很多问题,更难以找到一个满意的解决方案。此外,一个自然语言理解系统应该可以利用现有的大量未标注文本,这同样需要不同类型的模型支持。我认为,针对上述两个问题,一个过渡的神经网络模型能够给出答案。你可以学习任何架构,你看到的文本越多,你学习的就越多,而且神经网络模型也不需要添加任何新参数。

显然,我们想要在Parsey McParseface和spaCy模型之间构建一座桥梁,这样在spaCy应用程序接口的支持下,你才能使用更加准确的模型。不过,对于任何单独用例,让这种技术真正发挥作用总是会出现一些变数。特别是每一个应用程序中总会存在不同类型的文本,如果数据模型能调整到域,准确度才能够有实质提升,比如一些完整编辑的文本,像财务报告,你必须要让语义分析模型把“市值”这个词考虑成决定性指标,才能更好地理解全文;但是如果在理解Twitter上的推文时,你让语义分析模型将“市值”理解成决定性指标,通常是没有什么意义的。

我们的目标就是要提供一系列预先训练模式,去解决这一问题,让语义分析模型适应不同的语言和风格。我们也有一些令人非常兴奋的想法,尽可能轻松地帮助每个用户训练属于自己的自定义模型。我们认为,在自然语言处理中,算法总是冲在最前面,而数据往往滞后。我们希望解决这个问题。

发表评论


最新评论

我也要发表评论

来自上海的 Firefox 45.0|Windows 7 用户 2016-5-18 10:40
配圖反了吧,雖然原文的圖也是這個順序,但原文並沒有說哪個圖表是哪個意思
回复
返回顶部

分享到微信朋友圈

打开微信,点击底部的“发现”,
使用“扫一扫”将网页分享至朋友圈。