自然语言理解

STUDENT程序是由Daniel Bobrow于1964年在他的麻省理工学院博士论文中写下的，这是已知的最早通过计算机理解自然语言的尝试之一。^{[6][7][8][9][10]}在约翰·麦卡锡创造了术语人工智能的八年后，Bobrow的论文（标题为计算机问题解决系统的自然语言输入）展示了计算机如何理解简单的自然语言输入来解决代数应用题。

一年后的1965年，麻省理工学院的Joseph Weizenbaum写了一个可以用英语就任何话题进行对话的交互式程序“ELIZA ”，最受欢迎的话题是心理疗法。ELIZA通过简单地将关键词解析和替换成固定短语来解决问题，Weizenbaum避开了给程序提供一个现实世界知识的数据库或丰富的词典这一问题。然而，ELIZA作为一个玩具项目获得了惊人的人气，可以被视为当今商业系统的先驱，如Ask.com所使用的商业系统。^[11]

1969年Roger Schank在斯坦福大学引入了概念依存理论进行自然语言理解。^[12]这个模型受了Sydney Lamb工作的部分影响，并在耶鲁大学中被Schank的学生广泛使用，例如Robert Wilensky、Wendy Lehnert和Janet Kolodner。

1970年，William A. Woods引入了扩充转移网络（ATN）来表示自然语言输入。^[13]ATN使用递归调用的有限状态自动机的等价集代替短语结构规则。ATN及其更通用的格式“广义ATN”被持续使用了许多年。

1971年Terry Winograd完成了SHRDLU系统，并以此写了他在麻省理工学院的博士论文。SHRDLU可以在儿童积木的有限范围中理解简单的英语句子，并指导机械臂移动物品。SHRDLU的成功演示为该领域的持续研究提供了巨大动力。^[14][15]随着他的书《语言是一个认知过程》的出版，Winograd继续在这个领域发挥着重要的影响。^[16]Winograd后来在斯坦福大学成为了谷歌创始人之一的Larry Page的顾问。

在20世纪70年代和80年代，斯坦福国际研究院的自然语言处理小组继续在该领域进行研究和开发。基于这项研究开展了许多商业活动，例如，1982年Gary Hendrix成立了赛门铁克公司，最初是一家为个人计算机上的数据库查询开发自然语言界面的公司。然而，随着鼠标驱动的出现，图形用户界面的赛门铁克改变了方向。大约在同一时间许多其他的商业活动也开展起来，例如人工智能公司的Larry R. Harris和认知系统公司的Roger Schank及其学生。^[17][18]1983年，Michael Dyer在耶鲁开发了BORIS系统，该系统与Roger Schank和W. G. Lehnart所做的工作类似。^[19]

第三个千年出现了使用机器学习进行文本分类的系统，例如IBM的Watson。然而，这种系统展现了多大程度的“理解”受到争议，例如 据Json Searle所述，沃森甚至不理解这些问题。^[20]

认知科学家John Ball和帕特姆理论的发明者支持这一评定。自然语言处理已经向支持服务和电子商务中的人类生产力应用进军，但这在很大程度上是通过缩小应用范围实现的。在人类语言中表述需求的方式数以千计，这仍然与传统的自然语言处理背道而驰。“只有当我们根据句子中其他单词的含义将每个单词与正确的含义进行匹配时，才有可能与机器进行有意义的对话——就像3岁的孩子一样，无需猜测。“帕托姆理论”

术语“自然语言理解”可以应用于各种计算机应用，从小型、相对简单的任务如向机器人发出简短命令，到高度复杂的工作如完全理解报纸文章或诗歌段落。许多现实世界的应用程序介于这两个极端之间，例如用于电子邮件自动分析的文本分类以及将它们到公司中合适的部门的路由不需要深入理解文本，^[21]但是与管理具有固定模式的数据库表的简单查询相比，这需要处理更大的词汇量和更多样的语法。

多年来人们在不同的复杂程度下对处理自然语言和向计算机提交类似英语 句子进行了各种尝试。一些尝试没有使系统具有深入的理解，但有助于整体系统可用性。例如，Wayne Ratliff最初开发了Vulcan 程序用类似英语的语法来模仿《星际迷航》中说英语的计算机的程序。Vulcan后来成为了dBase系统，其易于使用的语法有效地开启了个人计算机数据库行业。^[22][23]然而，带有易于使用或类似英语 的语法与使用丰富的词典并包含自然语言句子语义的内部表示（通常为一阶逻辑）的系统截然不同。

因此，系统旨在实现的“理解”的广度和深度决定了系统的复杂性（以及隐含的挑战）和它可以处理的应用类型。一个系统的“广度”是由它的词汇和语法的多少来衡量的。“深度”是通过系统与流利的母语人士的理解的接近程度来衡量的。对于最窄和最浅的系统，类似英语 的命令解释器具有最小的复杂性，但应用范围很小。窄而深的系统对理解的机制进行探索和模拟，^[24]但是它们的应用仍然有限。除了简单的关键字匹配之外，尝试理解文档内容（如新闻稿）并判断其对用户的适合性的系统更广泛，并且具有相当大的复杂性，^[25]但是它们仍然有些肤浅。宽而深的系统超出了当前的技术水平。

不管使用什么方法，大多数自然语言理解系统都有一些共同的组件。系统需要语言的词典和解析器和语法规则来将句子分解成内部表示。用合适的本体构建丰富的词典需要大量的工作，例如“Wordnet ”词典需要很多人多年的努力。^[26]

系统还需要一个语义理论来指导理解。语言理解系统的解释能力取决于它所使用的语义理论。作为计算机自动语义解释的基础，语言的竞争语义理论在适用性方面有特定的权衡。^[27]这些范围涵盖从朴素语义学 或随机语义分析 到使用语用学 从上下文中提取含义的方方面面。^[28][29][30]语义分析器将自然语言文本转换成形式意义表示。^[31]

自然语言理解的高级应用也试图将逻辑推理纳入其框架。这通常是通过将派生的含义映射到谓词逻辑中的一组断言中，然后使用逻辑推演得出结论来实现的。因此，基于函数语言如Lisp的系统需要包含一个子系统来表示逻辑断言，而面向逻辑的系统如那些使用Prolog语言的系统通常依赖于内置逻辑表示框架的扩展。^[32][33]

自然语言理解中的语境管理会带来特别的挑战。大量不同的例子和反例导致上下文的形式建模的方法多种多样，每种方法都有其特定的优缺点。^[34][35]