<track id="f1jjx"><progress id="f1jjx"><listing id="f1jjx"></listing></progress></track>

<th id="f1jjx"></th>

<video id="f1jjx"><address id="f1jjx"><nobr id="f1jjx"></nobr></address></video>

<address id="f1jjx"><meter id="f1jjx"><font id="f1jjx"></font></meter></address>
<track id="f1jjx"></track>
<thead id="f1jjx"></thead>

            <track id="f1jjx"></track>

            <th id="f1jjx"><meter id="f1jjx"></meter></th>

                  <address id="f1jjx"></address>

                  <nobr id="f1jjx"></nobr>
                      <address id="f1jjx"><progress id="f1jjx"><font id="f1jjx"></font></progress></address>
                        <menuitem id="f1jjx"><delect id="f1jjx"><ruby id="f1jjx"></ruby></delect></menuitem><th id="f1jjx"><meter id="f1jjx"><dfn id="f1jjx"></dfn></meter></th>

                          <address id="f1jjx"><meter id="f1jjx"></meter></address>
                          <nobr id="f1jjx"></nobr>
                            <nobr id="f1jjx"></nobr>

                              <th id="f1jjx"><progress id="f1jjx"><dfn id="f1jjx"></dfn></progress></th>
                              <sub id="f1jjx"></sub>

                              <sub id="f1jjx"></sub>
                              <mark id="f1jjx"><th id="f1jjx"><menuitem id="f1jjx"></menuitem></th></mark>
                              <sub id="f1jjx"><meter id="f1jjx"></meter></sub>
                              <th id="f1jjx"><menuitem id="f1jjx"><var id="f1jjx"></var></menuitem></th>

                              <font id="f1jjx"><menuitem id="f1jjx"></menuitem></font>

                              <sub id="f1jjx"></sub>

                              <sub id="f1jjx"></sub>

                              <th id="f1jjx"></th>

                              <font id="f1jjx"><menuitem id="f1jjx"></menuitem></font>
                                • ?#34892;?#36190;赏!给好友秀一下吧

                                  内容棒,扫码分享给好友

                                • 评论
                                • 收藏
                                • 点赞
                                  点赞

                                深度学习三巨头荣获图灵奖,但他们曾是顽固的“蠢货”

                                深度学习三巨头荣获图灵奖,但他们曾是顽固的“蠢货”

                                来源:量子位(ID:QbitAI)

                                作者:栗子、安妮、乾明


                                ACM刚刚官宣,Yoshua Bengio、Geoffrey Hinton、Yann LeCun获得了2018年度图灵奖,表彰他们以概念和工程的突破,让深度神经网络成为计算关键?#32771;?/p>


                                图灵奖(A.M Turing Award)创立于1966年,是计算机界的最高荣誉。


                                ACM这样介绍他们三人的?#21024;停?/p>


                                Hinton、LeCun和Bengio三人为深度神经网络这一领域建立起了概念基础,通过实验揭示了神奇的现象,还贡献了足以展示深度神经网络实?#24335;?#27493;的工程进展。


                                ACM主席Cherri M. Pancake评价说,人工智能是现在科学领域发展最快的领域之一,也是社会上最受关注的话题之一。人工智能的发展很大程度上归功于Bengio、Hinton和LeCun奠定基础的深度学习新进展。



                                近年来,深度学习方法在计算机视觉、语音识别、自然语?#28304;?#29702;、机器人等应用领域带来了惊人的突破。这三个人也随之走上人工智能“教父”的神坛。


                                其实,现代神经网络、机器学习等AI技术背后的思想,可以追溯到第二次世界大战末期。彼时,学者们开始构建计算系统,旨在以类似于人类大脑的方式存储和处理信息。


                                而深度神经网络早在1980年代就已经提出,但很快遭受质疑。专注于这种方法的学者,是AI界的少数派,LeCun、Hinton和Bengio就在其中。


                                三十多年前,是他们一生的至暗时刻。


                                然而,这一小撮“顽固分子”始终坚持自己的信念,他们不怕被视作蠢货,一直相信神经网络会照亮这个世界,并改变整个人类的命运。最终,他们的信念也改变了自己的命运。


                                Geoffrey Hinton


                                Geoffrey Hinton,1947年生,现年72岁,谷歌的副总裁和工程师,也是AI研究机构Vector Institute的首席科学顾问?#25237;?#20262;多大学的名誉教授。



                                在ACM颁奖辞博文中,主要提到了Hinton的三个贡献。如果你做过AI项目,肯定不会陌生,它们?#30452;?#26159;:


                                反向传播(Backpropagation)


                                1986年,在Learning Internal Representations by Error Propagation这篇论文里,Hinton证明了,反向传播能让神经网络发现自己内部的数据表征,这样便可以处理以往无法解决的问题。


                                如今,反向传播已经是神经网络的标准操作,Hinton也有了“反向传播之父”的名号。


                                玻尔兹曼机(Boltzmann Machines)


                                1983年,Hinton和同伴一起发明了玻尔兹曼机,那是最早能够学习神经元内部表征的网络之一:那些表征既不来自输入,也不来自输出。


                                改进卷积神经网络:


                                2012年,Hinton和学生们一起,利用线性整流神经元(Rectified Linear Neurons)和dropout正则化改进了卷积神经网络。


                                在ImageNet?#28909;?#19978;,他们几乎把物体识别的错误?#24335;?#21040;了从前的一半,让计算机视觉领域焕然一新。



                                在获得图灵奖之前,Hinton就已经获得了大量的荣誉,手握加拿大最高荣誉勋章(Companion of the Order of Canada),是顶?#24230;现?#31185;学奖鲁梅哈特奖的首位获奖者,也获得了人工智能国际联合会(IJCAI)杰出学者终生?#21024;?#22870;等等。


                                此外,他也是英国?#22987;?#23398;会成员、美国工?#28120;和?#31821;院士。


                                一个有趣的轶事是,Hinton的高祖父是大名鼎鼎的乔治·?#32423;级?#36923;辑的创立者,因?#23433;级?#26816;索”而闻名于世。


                                而即将出场的人,曾经在Hinton的实验?#20381;?#20570;过博士后。


                                Yann LeCun


                                Yann LeCun,1960年生,58岁,现在是Facebook首席AI科学家。卷积神经网络 (CNN) 之父,是他最为人熟知的名号。


                                ACM列举的?#21024;停?#20063;是从这里开始。



                                卷积神经网络 (CNN)


                                1989年,在AT&T贝尔实验室工作的LeCun,以反向传播为基础,发表了一项研究,叫做“将反向传播用到?#20013;从时?#30340;识别上”。CNN就是在这个基础?#31995;?#19968;次实现。


                                如今,CNN已经成为深度学习的基础技术了,不止在计算机视觉领域,在语音合成、语音识别这些领域中,也是行业标准操作。


                                反向传播雏形:


                                1985年,Hinton还没有成为反向传播之父的时候,LeCun在巴黎六大读博期间,发表过反向传播的一个早期版本,根据变分原理给出了一个简单的推导过程。


                                他用两?#26088;?#36895;学习的方法,让反向传播变得更快了。



                                拓展了神经网络的视野:


                                LeCun不止把神经网络用在图像识别上,还解锁了许多其他任务。他提出的一些概念,如今已经成了AI领域的基础。?#28909;紓?#22312;图像识别上,他研究了神经网络怎样学习分层特征表示 (Hierarchical Feature Representation) ,这也成为了如今许多图像识别项目中常用的概念。


                                另外,他和同伴Léon Bottou一起提出,学习系统可以由复杂的神经网络构成。在这样的系统里,反向传播是靠自动微分?#35789;?#29616;。他们?#22266;?#20986;,深度学习架构可以对结构化数据(?#28909;?#22270;形),进行处理。



                                LeCun博士毕业后,只在Hinton的实验室做了一年博士后,就进入了工业界。


                                不过,他在2003年成为了纽约大学的教授,还在2012年创办了纽大数据科学中心。即便加入Facebook之后,也继续在纽大兼职。


                                而下一位巨头,也和LeCun一样,横跨学术界和产业界。并且,他也在赫赫有名的贝尔实验室工作过。


                                Yoshua Bengio


                                Yoshua Bengio,1964年生,55岁,现在是?#21830;?#21033;尔大学计算机科学与运筹学系教授。



                                Bengio创建了?#21830;?#21033;尔学习算法研究所(MILA),担任研究所的科学主任,主?#26088;?#25343;大高等研究院(CIFAR)机器与大脑学习项目的研究。同时,Bengio也担任着数据评估研究所(IVADO)的科学联?#29616;?#20219;。


                                同样,ACM也总结了Bengio的三个主要贡献。


                                序列的概率模型:


                                上世纪90年代,Bengio提出了序列的概率模型。他把神经网络?#36879;怕?#27169;型(例如隐马尔可夫模型)相结合,用新技术识别?#20013;?#30340;支票。外界认为,这是20世纪90年代神经网络的巅峰之作,当下语音识别技术就是在它的基础上扩展的。


                                高维词汇?#24230;?#21644;注意机制:


                                Bengio参与发表了一篇里程碑式的论文,A Neural Probabilistic Language Model(神经概?#35270;?#35328;模型),把高维?#26159;度?span class="text-remarks" label="备注">(High-Dimentional Word Embeddings)作为词义的表征。这对NLP的研究(如翻译、问答和视觉问答?#28909;?#21153;)产生了深远的影响。


                                生成对抗网络(GAN)


                                2014年,Bengio与Ian Goodfellow一同发表的生成对抗网络(GAN),引发了计算机视觉和图形学的革命。


                                据统计,Yoshua Bengio发表的300多篇学术文章,其累计引用次数已经超过137000次。


                                作为教授,Bengio曾经和Ian Goodfellow、Aaron Courville等业界大神一起写出了Deep Learning,成为人手一本的“AI圣经?#20445;?#19981;少人将这本书称为“花书”。



                                除了学术界,Bengio?#19981;?#36291;在产业界。


                                曾经,Bengio联合Jean-Fran?ois Gagné创立了Element AI,为那些想给自家业务寻找机器学习解决方案的公司,?#19994;紸I领域的专家。



                                除此之外,Bengio也?#34892;?#22810;荣誉在身。他不仅成为?#24605;?#25343;大?#22987;?#23398;院(RSC)及加拿大高等研究院(CIFAR)的院士,还在2017年获得了代表加拿大公民最高荣誉的“加拿大总督功勋奖”。


                                一小撮“蠢货”


                                从上世纪50年代开始,神经网络的发展起起伏伏,被人唾弃过,也被屡次唱衰过。


                                多亏了一批最早在黑暗中等待黎明的人,不断研?#21051;?#32034;,才有了人工智能的今天。这是一段卧薪尝胆的故事,将Hinton、LeCun和Bengio的命运交织在一起。



                                三十多年以来,他们仨一直?#33108;?#22312;人工智能研究的边缘地带。像局外人一样坚守着一个简单的观点:计算机可以像人类一样,通过神经网络思考,依靠直觉而不是规则


                                而当时主流学术界给出的答案,是一个震耳欲聋的No。他们说计算机最佳的学习方式,就是规则和逻辑。Hinton主张的神经网络,被他们“证明”是错的。


                                1972年,25岁的Hinton在爱丁堡大学攻读博士学位,并把神经网络作为研究重点。导师几乎每周都会提醒他在浪费时间。然而Hinton不为所动。


                                1980年代LeCun在巴黎读大学时,计算机就是瞎子,无法识别图片中的内容,也无法判断摄像头前方出现了?#35009;础?#20294;就在那个时候,LeCun偶然涉足了探索人工智能领域的一种方法:智能神经网络。


                                这不是一条新路径,?#20063;?#19981;受待见。但在攻读博士学位时,LeCun顶着一片质疑声专注于研?#21487;?#32463;网络,他说:“我只是不相信他们所说的。”


                                1985年,Bengio在加拿大麦吉尔大学时,根本没人教神经网络。他学的是经典的、符号化的人工智能(Symbolic AI),所以想做神经网络,必须?#20154;?#26381;教授来指导他。


                                Hinton在他的办公室


                                80年代末,神经网络曾有过一次小小的?#27492;鍘?#20294;由于计算力和可用数据的缺乏,人工智能再次进入寒冬。一直到2000年代初期,这群坚信神经网络的学者处境愈发边缘化。一些学术机构甚至不允许他们在会议上发表论文,计算机视觉的圈子将他们拒之门外。


                                在?#21830;?#21033;尔大学任教的Yoshua Bengio发现,他很难?#19994;?#24895;意与自己共事的研?#21487;!?#25105;需要强迫学生从事这方面的研究,但他们害怕在博士毕业后找不到工作。”


                                ?#26263;?#28982;,我们一直相信它,也一直在研究它。”Hinton说。


                                “神经网络终有一天会回来——至少有很小一撮人心里是这么想的。”LeCun说。


                                Hinton出生于一个具有学术背景的?#38498;?#19990;家。在他长大成人的过程中,母亲给过他两种选择:“做学者,或是做失败者。”7岁就已经意识到要读博的Hinton说,自己一辈子都在压抑、沮丧中挣扎。


                                但他?#24230;?#30740;究的神经网络,真是经历过漫长而幽暗的岁月。除了面对学术上的不认可,他的两任妻子先后罹患了癌症,而他自己也深受背?#34850;?#25200;。


                                2003年,Hinton在多伦多被CIFAR招揽过去启动一个神经计算项目。于是,他们聚到了一起,决定努力奋斗,重新点燃这个领域的热情。


                                一直到2009年前后,计算机有了足够的算力挖掘大型数据库,从此神经网络开始在语音和图像识别方面战胜基于逻辑的系统。工业界很快注意到这一变化,微软、Facebook、谷歌等科技巨头开始在这个领域投资。


                                LeCun拍摄:Hinton和Bengio


                                Bengio评价Hinton时说:“他有时可以透过黑暗看清事物。但他的个人生活非常不容易。他也有他的黑暗时代。”


                                在黑暗中穿行的日子里,他始终坚持一个信念:其他人都错了。


                                不过最终,他们都等来了春天。


                                在彭博社去年的采访中,Hinton说:“?#34850;?#26159;很?#35328;?#27979;的。当你开?#38469;?#22270;预测?#34850;?0年会发生?#35009;词?#24773;时,你基本就错得离谱了。但也有一些东西是可以预测的,?#28909;?#20154;工智能技术将会改变一?#23567;!?/p>

                                +1
                                43

                                支持一下

                                完成

                                最多15字哦

                                0人已赞赏

                                说点?#35009;?/span>
                                青海十一选五平台