机器翻译

机器翻译的想法可以追溯到17世纪。1629年，勒内·笛卡尔提出了一种通用语言，在不同语言中的等效使用同一个符号。^[4]“机器翻译”领域出现在瓦伦·韦弗^[5]翻译备忘录(1949年)。该领域的第一位研究人员叶霍萨·巴尔-希勒尔(Yehosha Bar-Hillel)在麻省理工学院开始了他的研究(1951年)。乔治敦大学MT研究小组随后(1951年)在1954年公开展示了它的乔治敦-IBM实验系统。MT研究项目在日本和俄罗斯（1955年）出现，^[6][7]第一次MT会议于1956年在伦敦举行。^[8][9]随着美国机器翻译和计算语言学协会(1962年)的成立和国家科学院(1964年)成立自动语言处理咨询委员会(ALPAC)来研究机器翻译，研究人员陆续加入该领域。然而，ALPAC报告(1966年)发现长达十年的研究没有达到预期，真正的进展要慢得多，资金大大减少。^[10]根据国防研究和工程局局长(DDR & E)1972年的一份报告，在一次冲突中，Logos MT系统成功地将军事手册翻译成越南语，从而重新确立了大规模MT的可行性。

法国纺织研究所还使用机器翻译将摘录翻译成法语、英语、德语和西班牙语(1970年)；布里格姆·扬大学开始了一个通过自动翻译来翻译摩门教文本的项目(1971年)；施乐公司利用SYSTRAN翻译技术手册(1978年)。从20世纪80年代末开始，如计算能力的增加和成本的便宜，人们对机器翻译的统计模型越来越感兴趣。各种机器翻译公司纷纷成立，包括Trados (1984年)，它是第一个开发和营销翻译记忆技术的公司(1989年)。哈尔科夫国立大学开发了第一个俄语/英语/德语-乌克兰语商业机器翻译系统(1991年)。

网络上的机器翻译始于SYSTRAN提供小文本的免费翻译(1996年)，随后是AltaVista·巴别尔菲什，其每天能收到50万个请求(1997年)。Franz Josef Och(谷歌未来的翻译开发主管)赢得了DARPA的speed MT竞赛(2003年)。在此期间，更多的创新包括MOSES、开源统计MT引擎(2007)、日本手机的文本/短信翻译服务(2008)和内置英语、日语和汉语语音到语音翻译功能的手机(2009)。最近，谷歌宣布Google翻译翻译大致足够一天(2012年)完成100万本书的翻译。

早在1946年， A. D. Booth 和其他人就提出了使用数字计算机翻译自然语言的想法。瓦伦·韦弗在1949年写了一份重要的备忘录“译本”。乔治敦实验绝不是第一个这样的应用，1954年在伯克贝克学院 (伦敦大学)的APEXC 机器上演示了英语到法语的初步翻译。当时发表了几篇关于这个主题的论文，甚至在流行杂志上也发表了一些文章(例如，Clow和Zacharov在1955年9月的“无线世界”杂志上发表了一篇文章)中。当时伯克贝克学院也开创了一个类似的应用，通过计算机阅读和编写盲文文本。

人类的翻译过程可以描述为:

1. 解码源文本的意义；和
2. 用目标语言重新编码这个意思。

在这个表面上简单的过程背后是一个复杂的认知操作。要完全理解源文本的含义，译者必须解释和分析文本的所有特征，这一过程需要深入了解语法、语义、语法、习语等，还有源语言以及其使用者的文化。译者需要同样深入的知识来重新编码目标语言的意思。

机器翻译面临的挑战是:如何给计算机编程，使其像人一样“理解”文本，并以目标语言“创造”一个听起来好像是一个人写的新的文本。

在其最普遍的应用中，这超出了当前的技术。尽管它工作得快得多，但是没有人参与的自动化翻译程序或过程，甚至不能产生接近人类译者所能产生的质量的输出。然而，它能做的是提供一个通用的，虽然不完美的，原始文本的近似，得到它的“要点”(一个叫做“注册”的过程)。这对于许多目的来说都是足够的，包括保证在一些苛求正确率的情况下，充分利用翻译人员有限而昂贵的时间。

这个问题可以通过多种方式来解决，通过这些方式的演变可以使精度得到提高。

机器翻译可以使用基于语言规则的方法，这意味着单词将以语言方式翻译——目标语言中最合适的(口头)单词将替换源语言中的单词。

人们经常认为机器翻译的成功需要首先解决自然语言理解问题。^[11]

通常，基于规则的方法解析文本，通常需要创建一个中间的符号表示，从中生成目标语言的文本。根据中间表示的性质，一种方法被描述为语际机器翻译或基于转移的机器翻译。这些方法需要大量具有形态学、句法和语义信息的词典和大量规则集。

给定足够的数据，机器翻译程序通常足以让一种语言的母语人士理解另一种母语人士所写内容的大致意思。困难在于获得足够的正确类型的数据来支持特定的方法。例如，统计方法工作所需的大量多语言语料库对于基于语法的方法来说是不必要的。但是，语法方法需要一个熟练的语言学家来仔细设计他们使用的语法。

为了在密切相关的语言之间进行翻译，可以使用被称为基于规则的机器翻译的技术。

3.1 基于规则的

基于规则的机器翻译范例包括基于转移的机器翻译、语际机器翻译和基于词典的机器翻译范例。这种类型的翻译主要用于创建词典和语法程序。与其他方法不同，基于规则的机器翻译使用两种语言的形态和句法规则以及语义分析，涉及更多关于源语言和目标语言的语言学信息。基本方法包括使用源语言的解析器和分析器、目标语言的生成器和实际翻译的转移词典将输入句子的结构与输出句子的结构联系起来，为目标语言提供生成器，并为实际翻译提供一个转移词典。基于规则的机器翻译最大的缺点是一切都必须明确:为了应对这种情况，拼写变化和错误输入必须成为源语言分析器的一部分，并且必须为所有歧义情况编写词汇选择规则。适应新领域本身并不难，因为核心语法在不同领域是相同的，特定领域的调整仅限于词汇选择调整。

基于转移的机器翻译

基于转移的机器翻译类似于语际机器翻译，因为它从模拟原始句子含义的中间表示创建翻译。与语际翻译不同，它部分依赖于翻译中涉及的语言对。

语际

语际机器翻译是一种基于规则的机器翻译方法。在这种方法中，源语言，即要翻译的文本，被转换成语际语言，即独立于任何语言的“语言中性”表示。然后从语际中生成目标语言。这个系统的一个主要优点是随着目标语言数量的增加，中间语言变得更有价值。然而，唯一在商业层面上运行的语际机器翻译系统是康德系统(Nyberg和Mitamura，1992)，该系统旨在将卡特彼勒技术英语(CTE)翻译成其他语言。

基于词典的

机器翻译可以使用基于字典条目的方法，这意味着单词将被字典翻译。

3.2 统计的

统计机器翻译尝试使用基于双语语料库的统计方法生成翻译，如加拿大议会议事录语料库，加拿大议会的英法记录和欧洲议会的记录EUROPARL。如果有这样的语料库，翻译相似的文本可以取得很好的效果，但是这样的语料库对许多语言对来说仍然很少见。第一个统计机器翻译软件是IBM的CANDIDE。谷歌过去几年使用SYSTRAN，但在2007年10月转而使用统计翻译方法。^[12]2005年，谷歌使用联合国材料中的大约2 000亿字来培训其系统以提高内部翻译能力，翻译准确性提高。^[13]谷歌翻译(Google Translate)和类似的统计翻译程序通过检测数亿份以前由人类翻译的文档中的模式，并根据这些发现进行智能猜测来工作。一般来说，给定语言的人工翻译文档越多，翻译质量就越可能好。^[14]统计机器翻译的新方法，如METIS II和PRESEMT使用最小语料库大小，而不是侧重于通过模式识别推导句法结构。随着进一步的发展，可能允许统计机器翻译在单语文本语料库的基础上进行。^[15]SMT最大的缺点包括对大量的平行文本的依赖，和在词法丰富的语言(尤其是翻译成这种语言)方面的问题，并且它无法纠正单例错误。

3.3 基于示例

基于实例的机器翻译(EBMT)方法是由高娜在1984年提出的。^[16][17]基于示例的机器翻译基于类比的思想。在这种方法中，使用的语料库是包含已经翻译的文本的语料库。给定一个要翻译的句子，从这个语料库中选择包含相似子句子成分的句子。^[18]然后用类似的句子将原句子的子句子成分翻译成目标语言，之后这些短语组合在一起形成一个完整的翻译。

3.4 混合机器翻译

混合机器翻译(HMT)利用了统计和基于规则的翻译方法的优势。^[19]几个混合机器翻译组织声称它们使用了规则和统计的混合方法。这些方法有许多不同之处:

• 统计后处理的规则:翻译使用基于规则的引擎执行。然后使用统计数据来尝试调整/校正规则引擎的输出。
• 规则指导下的统计:规则用于预处理数据，以更好地指导统计引擎。规则还用于后处理统计输出，以执行标准化等功能。这种方法在翻译时更有威力、灵活性和控制力。它还对翻译前(例如，内容标记和不可翻译术语)和翻译后(例如，翻译后校正和调整)处理内容的方式提供了广泛的控制。

最近，随着神经机器翻译的出现，一种结合了规则、统计和神经机器翻译的新版本的混合机器翻译正在出现。该方法允许在规则引导的工作流中受益于预处理和后处理，以及受益于NMT和SMT。缺点是固有的复杂性，这使得该方法只适用于特定的用例。对于复杂的用例，这种方法的支持者之一是Omniscien技术公司。

3.5 神经机器翻译

作为一种基于深度学习的机器翻译方法，神经机器翻译近年来取得了快速进展，谷歌宣布其翻译服务现在使用这项技术优于其以前的统计方法。^[20]

机器翻译会产生一些不可理解的短语。

印度尼西亚巴厘岛的蹩脚中文“没有进入”来自于机器翻译。断句听起来像“没有条目”或“还没有条目”

4.1 歧义消除

消除歧义关心的是当一个词有不止一个意思时，找到一个合适的翻译。这个问题最早是在20世纪50年代由Yehoshua Bar-Hillel。^[21]他指出，如果没有“通用百科全书”，机器永远无法区分一个单词的两种含义。^[22]今天有许多方法可以克服这个问题。它们可以大致分为“浅”方法和“深”方法。

“浅”方法假设对文本一无所知。他们简单地将统计方法应用于歧义词周围的词。深”方法假定对这个词有全面的了解。迄今为止，“浅”方法更成功。^[23]

克劳德·皮龙(Claude Piron)是联合国和世界卫生组织的长期翻译，他写道，机器翻译在最好的情况下，可以自动化翻译工作中较容易的部分；更困难和更费时的部分通常包括做大量的研究来解决源文本中的歧义，这是目标语言的语法和词汇迫切需要解决的:

为什么翻译需要一整个工作日翻译五页，而不是一两个小时？.....平均90%的文本对应于这些简单的情形。但不幸的是，还有另外10%。这部分需要六个小时（以上）的工作时间。有些模糊之处需要解决。例如，源文本的作者是一位澳大利亚医生，引用了第二次世界大战期间在一个“日本战俘集中营”宣布的流行病的例子。他是在说有日本囚犯的美国营地还是有美国囚犯的日本营地？英国人有两种感觉。因此，有必要进行研究，甚至需要打电话到澳大利亚。    ^[24]

理想的“深”方法需要翻译软件自己做这种歧义消除所需的所有研究；但这将需要比目前更高程度的人工智能。一种“浅”方法，即只简单地猜测皮龙提到的模糊英语短语的含义(也许基于给定语料库中更经常提到的战俘集中营)，有合理的机会相当频繁地猜错。根据皮龙的估计，一种涉及“询问用户每一个模糊之处”的“浅”方法只能使专业翻译工作的25%自动化，而剩下的75%更难由人类完成。

4.2 非标准演讲

机器翻译的一个主要缺陷是它不能以与标准语言相同的精度翻译非标准语言。基于启发式或统计的机器翻译以语言的标准形式从各种来源获取输入。基于规则的翻译本质上不包括常见的非标准用法。这导致从方言源到口语的翻译出现错误。在移动设备中使用机器翻译时，对临时口头翻译的限制提出了一些问题。。

4.3 命名实体

与信息抽取中的命名实体识别相关。

狭义的命名实体是指现实世界中的具体或抽象实体，包括人、组织、公司、场所等。也指时间、空间、数量，如2011年7月1日、79.99美元等。^[25]

命名实体出现在统计机器翻译中分析的文本中。在处理命名实体时出现的最初困难是简单地在文本中识别它们。考虑一个特定语言中常见的名称列表来说明这一点——最常见的名称因语言而异，并且也在不断变化。如果机器翻译器无法识别命名实体，它们可能会被错误地翻译为普通名词，这很可能不会影响翻译的 BLUE 评级，但会改变文本的人类可读性。^[26]也有可能在未被识别时，命名实体将从输出翻译中被省略，这也将影响文本和消息的可读性。

处理命名实体的另一种方法是使用音译而不是翻译，这意味着你可以找到目标语言中与源语言中的名称最接近的字母。已经有人试图通过在翻译过程中添加音译步骤来将这一点结合到机器翻译中。然而，这些尝试仍然有其问题，甚至认为会降低翻译质量。^[27]命名实体仍然被错误地识别，单词在应该音译的时候没有被音译，在不应该音译的时候被音译。例如，对于“南加州”，第一个词应该直接翻译，而第二个词应该音译。然而，机器通常会音译两者，因为它们将它们视为一个实体。像这样的单词对机器翻译者来说很难处理，即使是那些有音译成分的。

人们认识到，缺乏对命名实体翻译问题的关注，除了为命名实体翻译创建一个良好的系统的复杂性之外，还可能是由于缺乏用于这项任务的资源。命名实体翻译的一种方法是音译而不是翻译这些单词。第二是创建一个“不翻译”列表，它有相同的最终目标——音译与翻译。^[28]然而，这两种方法仍然依赖于命名实体的正确识别。

成功命名实体翻译的第三种方法是基于类的模型。在此方法中，命名实体被令牌替换，以表示它们所属的类。例如，“特德”和“埃里卡”都将被“人”类标记替换。通过这种方式，可以分析人名的统计分布和使用，而不是单独查看“特德”和“埃里卡”的分布。基于类的模型解决的一个问题是特定语言中给定名称的概率不会影响翻译的分配概率。斯坦福大学(Stanford)关于改进这一翻译领域的研究给出了一些例子，由于训练数据中每个名字出现的次数不同，英语中作为目标语言的“大卫要去散步”和“安吉要去散步”会有不同的概率。斯坦福的同一项研究(以及其他改进命名识别翻译的尝试)的一个令人沮丧的结果是，许多时候，包含命名实体翻译方法会导致翻译的 BLUE 分数下降。^[28]

在利用多平行语料库语料库方面已经做了一些工作，多平行语料库是一个已经被翻译成3种或更多语言的文本体。使用这些方法，已经被翻译成两种或更多种语言的文本可以结合使用，与仅使用其中一种源语言相比，能提供更准确的第三语言翻译。^[29][30][31]

本体是知识的形式表示，包括在一个领域中的概念(如对象、过程等)以及它们之间的一些关系。如果存储的信息是语言性质的，可以说是词典。^[32]在 NLP 中，本体可以用作机器翻译系统的知识来源。通过访问大型知识库，系统可以自行解决许多(尤其是词汇)歧义。在以下经典例子中，作为人类，我们能够根据上下文解释介词短语，因为我们使用存储在词典中的世界知识:

"我用显微镜/望远镜/双筒望远镜看到了一个人/一颗星/一个分子."^[32]

机器翻译系统最初无法区分含义，因为语法不变。然而，有了一个足够大的本体作为知识的来源，就可以减少在特定上下文中对歧义词的可能解释。自然语言处理中本体的其他使用领域包括信息检索、信息提取和文本摘要。^[32]

6.1 构建本体

1993年为基于PANGLOSS知识的机器翻译系统生成的本体可以作为如何编译用于 NLP 目的的本体的示例:^[33]

• 在机器翻译系统的活动模块中，需要一个大规模的本体来帮助解析。
• 在PANGLOSS示例中，大约50.000个节点被包含在本体的较小的、手工构建的上(抽象)区域中。因为它的大小，它必须自动创建。
• 目标是合并两个资源 LDOCE online 和WordNet ，以结合两者的优势:Longman的简明定义和WordNet的允许半自动分类法到本体的语义关系。
  • 在LDOCE和WordNet中定义歧义的定义的基础上，建立了定义匹配算法，以自动合并两个在线资源之间歧义的正确含义。使用相似性矩阵，在包括置信度在内的含义之间传递匹配。然而，仅仅这个算法本身并不能正确匹配所有的含义。
  • 第二个层次匹配算法因此被创建，其使用WordNet(深度层次)和LDOCE(平面层次)中的分类层次。这是通过首先匹配明确的含义，然后将搜索空间限制为那些匹配含义的各自祖先和后代的这些匹配的意义来实现的。因此，该算法匹配局部明确的含义(例如，虽然seal（海报/密封）具有歧义，但在动物子层次它只有一个意思)。
• 两种算法互为补充，有助于构建机器翻译系统的大规模本体。WordNet层次结构，加上LDOCE的匹配定义，从属于本体的上区域。因此，PANGLOSS MT系统主要是在其生成元素中能够利用这个知识库。

虽然没有系统提供无限制文本的全自动高质量机器翻译的法宝，但许多全自动系统产生合理的输出。^[34][35][36]如果域受到限制和控制，机器翻译的质量将得到显著提高。^[37]

尽管机器翻译程序有其固有的局限性，但它们在世界各地都有使用。可能最大的机构用户是欧盟委员会。例如由哥德堡大学协调的项目Molto从欧盟获得了237.5万欧元的项目支持，以创建涵盖欧盟大多数语言的可靠翻译工具。^[38]当削减人力翻译的预算时，机器翻译系统的进一步发展可能增加欧盟对可靠的机器翻译项目的依赖。^[39]欧盟委员会(通过其ISA方案)捐助307.2万欧元，用于创建MT@EC，这是一个专门针对欧盟行政需求的统计机器翻译程序，以取代以前基于规则的机器翻译系统。^[40]

2005年，谷歌声称使用专有的统计机器翻译引擎获得了有希望的结果。^[41]]阿拉伯语<->英语和中文<->英语中使用的统计翻译引擎谷歌语言工具，在美国国家标准与技术研究所(National Institute for Standards and Technology)进行的测试中，总分为0.4281，高于排名第二的IBM BLEU-4的0.3954(2006年夏天)。^[42][43][44]

随着最近对恐怖主义的关注，美国军方一直在自然语言工程上投入大量资金。IQT电信^[45](一个主要由美国情报部门资助的风险资本基金，旨在通过私营企业来刺激新技术)造就了像语言编织者这样的公司。目前，军事界对诸如阿拉伯语、普什图语和达里语等语言的翻译和处理感兴趣。在这些语言中，重点是关键短语和通过使用手机应用程序在军人和平民之间快速交流。^[46]美国国防部高级研究计划局(DARPA )的信息处理技术办公室主持着像 TIDES 和巴比伦翻译器这样的项目。美国空军给予了一份价值100万美元的合同，开发一种语言翻译技术。^[47]

近年来，社交网络在网络上的显著崛起为机器翻译软件的应用带来了另一个利好——应用于Facebook等实用程序，或Skype、谷歌聊天、MSN Messenger等即时消息客户端——允许说不同语言的用户相互交流。大多数移动设备也发布了机器翻译应用程序，包括移动电话、平板、掌上电脑等。由于这些工具的便携性，它们已被指定为移动翻译工具，以支持使用不同语言的合作伙伴之间的移动商务联网，或者促进外语学习和无人陪伴的出国旅行，而不需要人工翻译的中介。

尽管美国政府在1966年成立的自动语言处理咨询委员会称为人类翻译的不起眼的竞争对手，^[48]但机器翻译的质量现在已经提高到可以在线协作和医疗领域中应用的程度。这项技术在缺少人工翻译的医疗环境中的应用是另一个研究课题，但是由于准确翻译在医疗诊断中的重要性，出现了困难。^[49]

许多因素会影响机器翻译系统的评估。这些因素包括翻译的预期用途、机器翻译软件的性质和翻译过程的性质。

不同的程序可以很好地用于不同的目的。例如，统计机器翻译(SMT)通常表现优于基于示例的机器翻译(EBMT)，但研究人员发现，在评估英语到法语的翻译时，EBMT表现得更好。^[50]同样的概念也适用于技术文件，因为它们的形式语言更容易被SMT翻译。

然而，在某些应用中，例如用受控语言编写的产品描述，基于字典的机器翻译系统已经产生了令人满意的翻译，除了质量检查之外，不需要人工干预。^[51]

有各种方法可以评估机器翻译系统的输出质量。最古老的是使用人工^[52]评估翻译的质量。尽管人工评估很耗时，但它仍然是比较不同系统(如基于规则的系统和统计系统)的最可靠方法。^[53] 自动化评估方法包括 BLEU 、 NIST 、METEOR 和Lepor。^[54]

完全依赖未经编辑的机器翻译忽略了这样一个事实，即人类语言中的通信是嵌入在语境中的，并且需要一个人以合理的概率理解原始文本的语境。的确，即使是纯人工翻译也容易出错。因此，为了确保机器生成的翻译对人类有用，并实现可出版质量的翻译，这种翻译必须由人类审查和编辑。^[55]已故的克劳德·皮龙写道，机器翻译在最好可以自动完成翻译工作中更容易的部分；更难和更费时的部分通常包括做大量的研究来解决源文本中的歧义，这是迫切需要目标语言的语法和词汇来解决的。这种研究是必要的预编辑的前奏，以便为机器翻译软件提供输入，从而使输出不会毫无意义。^[56]

除了歧义消除问题之外，由于机器翻译程序的训练数据水平不同，准确性也会降低。基于实例的翻译和统计机器翻译都依赖于大量的真实例句作为翻译的基础，当分析太多或太少的句子时，准确性就会受到威胁。研究人员发现，当一个程序被训练成203529个句子对时，准确性实际上会降低。^[50]刚超过10万个句子时，训练数据达到最优，这可能是因为随着训练数据的增加，可能的句子数量增加，从而更难找到准确的翻译匹配。

尽管人们一直担心机器翻译的准确性，曼彻斯特大学的安娜·尼诺博士研究了在课堂上使用机器翻译的一些优势。一种这样的教学方法被称为使用“作为坏模型的机器翻译”^[57]。机器翻译作为一种坏的模型迫使语言学习者识别翻译的不一致或不正确的地方；反过来，个人将(希望)更好地掌握该语言。尼诺博士指出，这个教学工具是在20世纪80年代末被实施的。在各个学期结束时，尼诺博士能够从使用机器翻译作为坏模型(以及其他模型)的学生那里获得调查结果。绝大多数学生认为他们已经体会到理解能力、词汇提取能力和对目标语言信心的增强。^[57]

在21世纪初，口语和手语之间的机器翻译选项受到严重限制。人们普遍认为聋人可以使用传统的翻译。然而，与手语相比，口语中的重音、语调、音高和时间表达方式有很大不同。因此，聋人可能会误解或混淆基于口语的书面文本的含义。^[58]

研究人员Zhao等人(2000年)开发了一个名为TEAM(机器从英语翻译成美国手语)的原型，该原型完成了英语到美国手语的翻译。该程序将首先分析英语文本的句法、语法和形态学方面。在这一步之后，程序访问了一个符号合成器充当ASL的字典。这个合成器包含了完成ASL符号必须遵循的过程，以及这些符号的含义。一旦整个文本被分析，完成翻译所需的符号被定位在合成器中，就会出现一个计算机生成的人，并使用ASL向用户比划英语文本。^[58]

只有原创的作品受到版权保护，因此一些学者声称机器翻译结果无权受到版权保护，因为机器翻译不涉及创造性。^[59]争议中的版权属于衍生作品；原文原著的作者在翻译作品时不会失去他的权利:译者必须拥有出版译文的许可。