杰弗里·辛顿(Geoffery Everest Hinton)生于1947年12月6日,是一位认知心理学家和计算机科学家,加拿大人,母语为英语,因其在人工神经网络方面做出的贡献而闻名。自2013年以来,他主要为谷歌公司(Google Brain)和多伦多大学工作。[1][2]
1986年,杰弗里·辛顿, 大卫鲁马尔哈特(David E. Rumelhart)和勒诺埃尔德威廉姆斯(Renoald J. Williams)共同发表了一篇有关反向传播算法如何用来训练多层神经网络的论文,尽管他们并不是第一个提出这种方法的人,但这篇文章却获得了广泛关注和大量引用。杰弗里辛顿被一些人视为深度学习领域中的领袖型人物,并被一些人称为“深度学习教父”。[3][4][5][6][7]他的学生亚历克斯克里日夫斯基(Alex Krizhevsky),为了参加著名的Imagenet竞赛[8]而设计的AlexNet模型在计算机图像识别领域具有里程碑意义,这一模型使计算机视觉领域发生了革命性巨变。[9]2019年,为表彰杰弗里辛顿,约书亚本交(Yoshua Bengio)和杨乐坤(Yann LeCun)三人在深度学习领域做出的贡献,他们共同获得了2018年图灵奖。[10]
1970年,杰弗里辛顿毕业于英国剑桥大学国王学院,被授予实践心理学领域的文学学士学位。之后他继续在爱丁堡大学进修,并于1978年在克里斯托弗郎培德希金斯(Christopher Longuet-Higgins)教授的指导下完成他的研究内容并获得了人工智能领域的博士学位。[11]
杰弗里辛顿在获得其博士学位后,首先就职于英国苏塞克斯大学,但由于之后在英国无法顺利获得研究资金支持,他又先后在美国的圣地亚哥加利福尼亚大学和卡耐基梅隆大学任职。[12]他是伦敦大学学院盖茨比慈善基金会计算神经科学分部(The Gatsby Charitable Foundation Computational Neurosience Unit)的创始董事,[12]同时是[12]多伦多大学计算机科学学院的一名教授。在机器学习领域,他是加拿大首席研究科学家(Canada Research Chair),他还是由加拿大高水平研究机构(Canadian Institute for Advanced Research)发布并执行的机器&大脑学习项目(Learning in Machines & Brains)的指导顾问。2012年,杰弗里辛顿在网络教育平台Coursera上教授了一门关于神经网络的免费网络在线课程。[13]在他的公司DNNresearch Inc. 被谷歌收购后,杰弗里辛顿也于2013年3月加入谷歌。他计划“将他的工作精力集中分配在其学术研究和谷歌的工作这两个方面”。[14]
杰弗里辛顿的学术研究方向主要是研究神经网络如何应用于机器学习,记忆,感知和符号处理等问题。目前他已经撰写或和他人共同撰写了200多篇已通过同行评审环节的著作。[15][16]
杰弗里辛顿在卡内基梅隆大学任职教授期间(1982-1987),他和大卫鲁马尔哈特,勒诺埃尔德威廉姆斯一起将反向传播算法应用于多层神经网络。他们的研究结果表明,这样的神经网络系统可以自主学习出有效的系统内部数据类型。[17]在2018年的一次采访中,[17]杰弗里辛顿曾表示,“大卫鲁马尔哈特提出了应用反向传播算法的基本思路,所以这是属于他的创造成果。”虽然这次研究成果对推广反向传播算法的应用具有重要意义,但他们并不是第一个提出这种想法的人。[18]1970年Seppo Linnainmaa提出了自动微分的反向模式,其中反向传播算法作为其中一种特殊情况而被提及,之后于1974年保罗威尔伯思(Paul Werbos)提出了可以使用反向传播算法来训练神经网络的想法。[18]
同样是在卡耐基梅隆大学任职期间,杰弗里辛顿,大卫阿克力(David Ackley)和特里赛诺夫斯基(Terry Sejnowski)共同发明了玻尔兹曼机。[18]他对神经网络研究领域所做出的贡献还包括提出分布式表示、时延神经网络、多专家模型、亥姆霍兹机和Product of Experts等想法。2007年,杰弗里辛顿和他人合作完成了一篇名为《非监督学习应用于图像变换》的涉及非监督学习方法的论文。[19]对杰弗里辛顿的研究内容的简单介绍还可以在他于1992年9月和1993年10月发表在《科学美国人》杂志上的文章中找到。
杰弗里辛顿分别于2017年10月和11月发表了两篇可以公开访问的主题为胶囊神经网络的研究论文[20][21],根据杰弗里辛顿的观点,胶囊神经网络会是“在未来得到推广使用的东西”。[22]
从他的研究团队中出来的著名的博士生和博士后研究人员包括理查德泽梅尔(Richard Zemel),[23][23]布伦丹弗雷(Brendan Frey),[24]雷德福德尼尔(Redford M. Neal),[25]鲁斯兰萨拉胡季诺夫(Ruslan Salakhutdinov),[26]伊利亚苏茨克维(Ilya Sutskever),[27]杨乐坤[28]和祖斌贾赫拉玛尼(Zoubin Ghahramani)。
杰弗里辛顿在1998年被推选为皇家学会成员(Fellow of the Royal Society,FRS)。[29]2001年,他成为了设立鲁梅尔哈特奖(Rumelhart Prize)以来的第一位获奖者。[29]在他的皇家学会成员入选证书上写着对他的简介:
2001年,杰弗里辛顿被爱丁堡大学授予荣誉博士学位。[30]2005年他成为了IJCAI卓越研究终身成就奖的获得者。他还获得了2011年加拿大科学与工程金奖(Herzberg Canada Gold Medal for Science and Enineering)。[31]2013年,Geoffery Hinton被授予The Université de Sherbrooke的荣誉博士学位。
2016年,他因“对人工神经网络的理论和实践及其在语音识别和计算机视觉领域中的应用做出的巨大贡献”而当选为美国国家工程学院的外籍成员。[32]他还获得了2016年IEEE/RSE Wolfson James Clerk Maxwell 奖。[33]
因其“具有先驱性和高度影响力的研究成果”,计算机具有了高度自主学习的能力,他也因此被授予2016年信息和通信技术领域的BBVA基金会知识前沿奖(the BBVA Foundation Fronties of Knowledge Award)。
2019年,为表彰杰弗里辛顿,杨乐坤和约书亚本交三人在多层神经网络领域中做出的概念性和工程性重大研究突破,使多层神经网络理论成为当前计算机进行分析工作的主要工具之一,他们三人被共同授予2018年图灵奖。[34][35][36]
杰弗里辛顿既是逻辑学家乔治布尔(George Boole)的玄孙,也是詹姆斯辛顿(James Hinton)的玄孙。[37]其中乔治布尔的研究成果最终成为了现代计算机科学的理论基础之一,而詹姆斯辛顿作为一名外科医生的同时也是一位作家,是查尔斯霍华德辛顿(Charles Howard Hinton)的父亲。杰弗里辛顿的父亲是霍华德辛顿。[38][38]杰弗里辛顿的中间名来自其另外一个亲戚,乔治埃弗勒斯(George Everest)。[39]杰弗里辛顿还是经济学家科林克拉克(Colin Clark)的侄子。[39]1994年,杰弗里辛顿的第一任妻子因卵巢癌不幸去世。[40]
杰弗里辛顿从美国搬到加拿大的部分原因是对罗纳德里根任美国总统期间施行的政策感到失望,同时也因为其反对为人工智能提供军事资助。[39]
杰弗里辛顿曾公开反对研发危险的自动化武器。考虑到人工智能带来的潜在不确定性危险,他指出人工智能的过快发展会使这种不确定性增加,并因此拒绝对人工智能未来五年及之后的发展进行预测性分析。[41]然而,根据一篇报道显示,在2015年11月他与著名的人工智能风险评估专家尼克博斯特罗姆(Nick Bostrom)的一次非正式谈话中,记者拉菲哈查杜理安(Raffi Khatchadourian)无意中听到,[42]杰弗里辛顿曾表示他不希望未来几十年里人工智能实现大范围普及(“不早于2070年”)。尼克博斯特罗姆在早些时候曾发表过对人工智能的发展要保持两种不同的态度这一观点:未来人类无法正确的控制人工智能所带来的潜在风险 VS 人工智能带来的潜在风险可以实现规避。而辛顿认为“人类无法正确的控制这种风险”,[42]并认为“政治团体会用人工智能来危害人类自身生存”,并始终坚信一些政治机构如N.S.A已经在试图滥用类似的技术。[42]
当被尼克博斯特罗姆问及为什么自己对人工智能的未来充满担忧但仍继续进行研究时,辛顿表示,“我可以跟你就这个问题进行一些争论。但我还是要坦白,对人工智能领域不断的探索研究对于我来说始终是一个十分美好 的过程。"[42] –此处辛顿引用了罗伯特奥本海默(J. Robert Oppenheimer)在被问及为什么要继续曼哈顿项目的研究时说的一句话来回答尼克博斯特罗姆的提问。
在这篇报道中,杰弗里辛顿并没有明确排除人类未来可以完全控制人工智能的可能性,但他仍提醒人们,“目前为止还没有一条完整的记录记载了一种低智慧物种可以很好的控制另一种高智慧物种”。[42]
^Daniela Hernandez (7 May 2013). "The Man Behind the Google Brain: Andrew Ng and the Quest for the New AI". Wired. Retrieved 10 May 2013..
^"Geoffrey E. Hinton – Google AI". Google AI (in 英语)..
^"Geoffrey Hinton was briefly a Google intern in 2012 because of bureaucracy – TechCrunch". techcrunch.com (in 英语). Retrieved 28 March 2018..
^Somers, James. "Progress in AI seems like it's accelerating, but here's why it could be plateauing". MIT Technology Review (in 英语). Retrieved 28 March 2018..
^"How U of T's 'godfather' of deep learning is reimagining AI". University of Toronto News (in 英语). Retrieved 28 March 2018..
^"'Godfather' of deep learning is reimagining AI". Retrieved 28 March 2018..
^"Geoffrey Hinton, the 'godfather' of deep learning, on AlphaGo". Macleans.ca (in 英语). 18 March 2016. Retrieved 28 March 2018..
^Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (3 December 2012). "ImageNet classification with deep convolutional neural networks". Nips'12. Curran Associates Inc.: 1097–1105..
^"How a Toronto professor's research revolutionized artificial intelligence | Toronto Star". thestar.com (in 英语). Retrieved 13 March 2018..
^27 Mar, Emily Chung · CBC News · Posted:; March 27, 2019 6:00 AM ET | Last Updated:. "Canadian researchers who taught AI to learn like humans win $1M award | CBC News". CBC (in 英语). Retrieved 27 March 2019..
^Hinton, Geoffrey Everest (1977). Relaxation and its role in vision. lib.ed.ac.uk (PhD thesis). University of Edinburgh. hdl:1842/8121. OCLC 18656113. EThOS uk.bl.ethos.482889..
^https://web.archive.org/web/20221025113248/https://www.cs.toronto.edu/~hinton/fullcv.pdf.
^https://web.archive.org/web/20221025113248/https://www.coursera.org/learn/neural-networks.
^"U of T neural networks start-up acquired by Google" (Press release). Toronto, ON. 12 March 2013. Retrieved 13 March 2013..
^Geoffrey Hinton publications indexed by Google Scholar.
^Geoffrey Hinton publications indexed by the Scopus bibliographic database. subscription required.
^Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (9 October 1986). "Learning representations by back-propagating errors". Nature (in 英语). 323 (6088): 533–536. doi:10.1038/323533a0. ISSN 1476-4687..
^Schmidhuber, Jürgen (2015-01-01). "Deep learning in neural networks: An overview". Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637..
^Hinton, Geoffrey E. "Geoffrey E. Hinton's Publications in Reverse Chronological Order"..
^Sabour, Sara; Frosst, Nicholas; Hinton, Geoffrey. October 2017. "Dynamic Routing Between Capsules".
^"Matrix capsules with EM routing" 3 November 2017. OpenReview.net.
^Geib, Claudia. 2 November 2017. "We’ve Finally Created an AI Network That’s Been Decades in the Making" Futurism.com.
^Geoffrey Hinton在数学谱系计画的资料。.
^Frey, Brendan John (1998). Bayesian networks for pattern classification, data compression, and channel coding. proquest.com (PhD thesis). University of Toronto. OCLC 46557340..
^Neal, Radford (1995). Bayesian learning for neural networks. proquest.com (PhD thesis). University of Toronto. OCLC 46499792..
^Salakhutdinov, Ruslan (2009). Learning deep generative models. proquest.com (PhD thesis). University of Toronto. ISBN 9780494610800. OCLC 785764071..
^Sutskever, Ilya (2013). Training Recurrent Neural Networks. proquest.com (PhD thesis). University of Toronto. OCLC 889910425..
^"Yann LeCun's Research and Contributions". yann.lecun.com. Retrieved 13 March 2018..
^Anon (1998). "Professor Geoffrey Hinton FRS". London: Royal Society. Archived from the original on 3 November 2015. One or more of the preceding sentences incorporates text from the royalsociety.org website where: "All text published under the heading 'Biography' on Fellow profile pages is available under Creative Commons Attribution 4.0 International License." --"Royal Society Terms, conditions and policies". Archived from the original on 11 November 2016. Retrieved 2016-03-09.CS1 maint: BOT: original-url status unknown (link).
^"Distinguished Edinburgh graduate receives ACM A.M. Turing Award". Retrieved April 9, 2019..
^"Artificial intelligence scientist gets M prize". CBC News. 14 February 2011..
^"National Academy of Engineering Elects 80 Members and 22 Foreign Members". NAE. 8 February 2016..
^"2016 IEEE Medals and Recognitions Recipients and Citations" (PDF). IEEE. Retrieved 2016年7月7日. Check date values in: |accessdate= (help).
^"Vector Institutes Chief Scientific Advisor Dr.Geoffrey Hinton Receives ACM A.M. Turing Award Alongside Dr.Yoshua Bengio and Dr.Yann Lecun". NAE. 27 March 2019..
^"Three Pioneers in Artificial Intelligence Win Turing Award". New York Times. 27 March 2019. Retrieved 27 March 2019..
^"Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award - Bengio, Hinton and LeCun Ushered in Major Breakthroughs in Artificial Intelligence". Association for Computing Machinery. 27 March 2019. Retrieved 27 March 2019..
^The Isaac Newton of logic.
^Anon (2015) Hinton, Prof. Geoffrey Everest. Who's Who(英语:Who's Who (UK)) (online Oxford University Press ed.). 布卢姆斯伯里出版公司旗下之A & C Black. doi:10.1093/ww/9780199540884.013.20261 subscription required.
^Smith, Craig S. (23 June 2017). "The Man Who Helped Turn Toronto into a High-Tech Hotbed". The New York Times. Retrieved 27 June 2017..
^Shute, Joe (26 August 2017). "The 'Godfather of AI' on making machines clever and whether robots really will learn to kill us all?". The Telegraph. Retrieved 30 January 2018..
^Hinton, Geoffrey. "Lecture 16d The fog of progress" (PDF)..
^Khatchadourian, Raffi (16 November 2015). "The Doomsday Invention". The New Yorker. Retrieved 30 January 2018..
暂无