700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > “前进!前进!不择手段地前进!”——托马斯·维德

“前进!前进!不择手段地前进!”——托马斯·维德

时间:2019-02-11 06:27:44

相关推荐

“前进!前进!不择手段地前进!”——托马斯·维德

冷静对待现在铺天盖地的paper,板凳要坐十年冷。

田渊栋卡耐基梅隆大学机器人系博士,Facebook人工智能组研究员,在知乎上解答: 作者:田渊栋

链接:/p/21315591

来源:知乎

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

本来我们这领域步调就快,因为杂志论文的内容滞后,大家都看会议论文,一年两三个顶会,半年一年的研究周期。但因为是双盲评审,就算有别人和自己做得相近,投稿时也是两不知晓,大不了同时中稿同时发文。Arxiv的出现,允许任何人将自己的工作发表在网上,让同行们即时看到,让这一领域的竞争变本加厉。一个例行的功课是每周甚至每天都要刷一下Arxiv看看有没有好文章,更重要的是看看有没有工作和自己目前正在做的重合。每当有一个新想法新思路,必须得马上做完,只要拖一两个月就不再是你的了,因为别人已经捷足先登,直接放篇文章出来把你一闷棍打死,叫也叫不出来。之前的计算机围棋已经血淋淋地展示了这一点,一切在几个月内发生,我们让其它做围棋的同行们郁闷,然后AlphaGo又让我们郁闷,昨天还是众星捧月,今日便少人问津,虽说是世态炎凉,却正是人之常情。程序和框架的开源也加剧了这一过程,本来重现别人的方法不仅痛苦更是耗时,但现在都是拿来即用,各项成本为零。而想要保持领先优势,隐藏自己的小技巧小把戏那是没有意义的,一年发表的文章多如过江之鲫,谁不开源或者晚开源,谁就被遗忘在历史的角落里了。去年NIPS大家都在谈论ResNet,我们组在ResNet出来的24小时之内写完了程序并且已经开始了在ImageNet上的训练,并且很快确认了它的效果。TensorFlow刚刚开源,组里的骨干就忙到凌晨三点半完成了评测。大凡说自己的工作厉害却不发布程序的,除非像AlphaGo那样动用大量硬件资源的系统,不然自会有人评判,而且速度飞快。有一次有一篇Arxiv报告了CIFAR更好的结果,马上在reddit上被人质疑,然后公开代码,被人发现在测试集上训练的低级错误,只得黯然撤稿。接锺而来的是开会的味道也发生了变化。开会的原意,是去领略最新进展的,现在去开会则是怀旧,满眼都是半年一年前的老文章,有一种穿越回去的即视感和莫名喜感。海报上写着“我们是最牛的”,观众在一旁看着,笑而不语。大家谈论的往往不是目力所及的演讲或是海报,而是刚刚在Arxiv上冒出来的新作,这个“刚刚”,可能指上周,可能指昨天,也可能指几小时之前,方才还为小小的成果而沾沾自喜,转眼间就如一桶冰水当头浇下,魂不守舍,夜不能寐,食不知味。相比其它方向动辄半年一年的审稿周期,迭代之快,更新之速,史无前例。我有时候在想,以后除了饿醒胖醒春梦醒,还要加个Arxiv醒,梦见自己的神思路被别人做了,或是梦见投稿前几天遭遇当头棒喝,大汗淋漓之下猛然醒来,而后抹一把脸谢天谢地。在这样的压力下,人的思维方式也发生了改变。目前为止,我们还没有对深度学习有深层次的本质理解,大量的研究思路都是简单粗暴的,在计算资源极大丰富的今天,对于它们质量的主观判断,经常远不及写代码上机实验来得快与准。很多想法不论对错,不论它看起来有多离谱荒谬,先试一下再说,往往蒙得比想得快,动手比动脑快。和我们每天刷手机类似,思维方式的这种转变是好是坏,目前还无从评判。这样的做法,完全可以归入浮躁和急功近利之流,与传统学术做法背道而驰——但与口舌之争相比,这样的方案还在不断地出成果,还在推动着技术的进步,做成更好的系统。我们一边抱怨谷歌机器太多调参太猛,免不了批判如此风气,另一边还在准备着大量GPU雄心勃勃地上战场。不管怎样,可以预计的是,凭一人一纸一笔去战胜难题,令人敬仰却鲜有效率;而让计算机参与推理过程和判断,终会成为每个人生来的必修课。从这个趋势上来看,能快速利用各种工具达成目标的,能快速阅读及写出代码的,有强大工程能力的,在就业市场上都有巨大优势;若是再有基础扎实,能快速读懂文章,从中获取新知识并举一反三,经验丰富,看文能抓住要点痛点下手,从纷繁想法中修剪思路,那就是老手了;再上一层,有战略眼光,能从万千文章中看出大势远景,巧妙定题,以最小代价获取最大收益,那就是一流高手,能站在前沿火线,直接推动领域的发展。然而要做到这一步,需要在这样的快速迭代中静下心来积累经验,日久方能见效。人工智能火爆的背后,是多少天才你来我往的战斗,在这个高维空间里攻城拔寨,刺刀见红。虽然累点苦点,却正是这个领域的诱人之处和希望所在。与苦与累相比更可怕的,是舒适安逸时却因技能陈旧而被解职,徘徊天地间,无处可去。我无法想像那种绝望感,所以还是紧追时代的脚步吧,至少我们还能看见技术发展的轨迹,为它出一份力。在这个领域里,只要工具运用得当,思路巧妙,每个人都有成为超人的潜质,一个好算法好框架可服务千万人,且24小时工作,不会出错,不会疲劳,这在以前完全不可想像。正所谓:灵工巧技汇涓流,奔腾到今浩无垠;谁料硅砂一捧土,更胜周郎百万兵。

转自:知乎田渊栋主页 /p/21315591?refer=yuandong

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。