打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
前方高能!AI 大牛 LeCun 设想下一个新前沿:摈弃深度学习的所有概率技巧,改而掌握不断转变的能...

来源:云头条

据深度学习界的领军人物Yann LeCun声称,AI的下一个发展阶段可能是摈弃深度学习的所有概率技巧,改而掌握不断转变的能量值。

据说工程师(以及一些科学家,但以工程师为主)早在坐到板凳上搞设计之前就能够在头脑中构思尚不存在的东西。

Facebook的AI负责人Yann LeCun似乎再符合这个形象不过了。

他在《当机器学习时》(When the Machine Learns)一书中写道:“我主要凭直觉来工作。”周三出版的这本新书既是一本传记,又是科学讲座,还是AI历史,法语版书名是《Quand la machine apprend》。

LeCun写道:“我在脑海里勾勒出那些不大合乎标准的情况,爱因斯坦称之为‘思想实验’。

LeCun在台上神情激昂,试图向听众介绍AI领域来自其思想实验的新知


工程师和创新者的标志就是能够构思不存在的东西,也许是在通常认为可行的极限内。LeCun是AI界的罕见天才,这位科学家不仅精通算法设计,还在计算机工程领域颇有建树。


LeCun今年因其对计算机科学的杰出贡献获得了ACM图灵奖,他最出名的是在1990年代改进和完善了卷积神经网络(即CNN),并使其具有实用性。他并没有从头开始发明CNN,却使CNN具有实用性和可行性。前人奠定了机器学习革命的基础,从而让LeCun以及另外两位获得图灵奖的Geoffrey Hinton和Yoshua Bengio在过去十年脱颖而出。


周三,LeCun在新泽西州普林斯顿高等研究所上台解释听起来如直觉的理论,但实际上是很完善的直觉。这次会议是为期三天的深度学习研讨会,具体来说主题是深度学习理论。活动由高等研究所的数学教授Sanjeev Arora组织,吸引了AI界的诸多大咖,包括英伟达的AI研究负责人Anima Anandkumar和与LeCun同为Facebook学者的Léon Bottou。

LeCun的幻灯片演示文稿阐述了他最近多次出席讲座所探讨的主题:如何超越传统深度学习的标记训练例子。他对听众说:“在监督或多任务学习方面,我们不会获得像人类那样强大的智能。我们将不得不另辟蹊径。

LeCun认为,这条另外的蹊径就是无监督学习。为了使无监督学习成为可能,整个AI界可能需要在基于能量的学习(energy-based learning)这种方法上做更多的工作。

能量函数(energy function)在AI界已经存在了数十年。生物学家John Hopfield于1980年代以后来所谓的Hopfield网络(Hopfield Network),首次普及了这种方法。这在当时的机器学习界是一大突破,它催生出了其他类型的学习算法以处理能量场中有待优化的概念,比如Hinton研究的“玻尔兹曼机”。

LeCun说:“基于能量的学习问世已有一段时日;由于需要做的监督工作较少,最近它回到了我的脑海中。

细节很快变得深奥起来,但是其基本思想是,只要拿来一些丰富的原始数据,比如许多YouTube视频片段,然后馈送给机器,而不是创建大量的标记数据集(比如猫和狗的图片),或者像DeepMind的AlphaZero那样花数千个小时下国际象棋。

LeCun说:“使机器真正很庞大,让它整天看YouTube或Facebook Live。

可以训练机器以预测每帧视频之后的下一步。预测与现实之间的兼容性就是所谓的能量级。能量级越低越好、越兼容,这意味着越准确,因此神经网络试图达到理想的低能量状态。

LeCun在台上讲起细节之处兴致盎然。他向观众演示了不确定性,笔直注视,来回摆动双臂。LeCun说:“你现在看着我,你在拍我的视频,背景没有变,摄像头没有动。

“唯一发生的事情是,我可以朝一个方向或另一个方向移动头部,可以以不同的方式移动肌肉,眼下我在这次演讲中我头部的所有图片就是低维流形,以我头部的肌肉数量为上界。

LeCun传达的讯息在机器学习方面可以说相当激进。按照LeCun的看法,能量函数摈弃概率预测。他说:“我认为,这方面的正确框架就是实际摈弃概率框架,因为它是错误的。”他说,典型的神经网络势必会有“无限权重”,而这“完全是错误的,也没有用。

很显然,LeCun在设想尚未设计的东西,并试图告知众人。但是其中一些还需假以时日。LeCun随后搭飞机去巴黎与新闻记者会面讨论这本书。本周他上了法国杂志《新观察家》的封面,畅谈AI的希望和危险。他是人人都为之激动或不安的一场运动的领头羊。几十年来,LeCun及其他人士能预见到它,但方法不管用。现在看来新方法效果很好,得由某人来担任监察员,那人就是LeCun。

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
LeCun高徒超详笔记曝光,Meta世界模型首揭秘!首个「类人」模型怎么来的?
“深度学习已死,可微编程万岁!”LeCun老师为何又语出惊人?
深度学习“四大天王”—走在人工智能时代前沿的大神们
互联网世界的“人工智能”——探秘“深度学习”的前世今生
深度学习鼻祖杰夫·辛顿及巨头们的人才抢夺战
【Quora直播】LeCun:深度学习突破,对抗式网络最值得期待
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服