當年Transformer的那篇驚世(shi)之作，早(zao)已人去樓(arXiv)空。就在(zai)昨天，網友(you)發現谷(gu)歌已經把(ba)「Attention Is All You Need」論文中的所有(you)作者的郵箱(xiang)全部「劃線」刪(shan)除。
論(lun)文地址：//arxiv.org/pdf/1706.03762v6.pdf并在(zai)論(lun)文最上方，用(yong)醒目的紅色字(zi)體備(bei)注：
在注明出處的(de)前(qian)提下，谷歌特此允許復制本文中的(de)表(biao)格和(he)數字，僅供新聞(wen)或(huo)學術著作使用。
從(cong)2017年(nian)(nian)到2023年(nian)(nian)，如下這張圖(tu)已經(jing)成(cheng)為歷史。
谷(gu)歌這波操作，也是很(hen)及(ji)時(shi)。前段時(shi)間，Transformer僅剩的一位(wei)作者Llion Jones宣布，7月(yue)底要離(li)職谷(gu)歌自(zi)創業。
論文的更新，也(ye)是Llion Jones在(zai)昨天提交的第7版。
網友熱議
有網友驚嘆道，我以前從未見過論文將所有作者郵箱劃去，顯然谷歌這種做法自成一派。
我(wo)不知道(dao)這其中有多少是(shi)因為他們的(de)(de)工(gong)作基本上(shang)被(bei)扼殺了(le)，而谷歌以外的(de)(de)人(OpenAI等(deng))卻在用它做(zuo)著令人驚嘆的(de)(de)事情。又(you)或者，海灣地區(qu)的(de)(de)每家風險投資(zi)公(gong)司都會拿著大筆(bi)錢，投資(zi)他們想做(zuo)的(de)(de)任何(he)事情。LinkedIn上(shang)的(de)(de)Ashish和Niki似乎在2022年(nian)12月(yue)創立了(le)初創公(gong)司。我(wo)想知道(dao)那最(zui)終會是(shi)什么。
有網友回答道，可能是兩者的結合。谷歌主要發明了生成性人工智能熱潮(chao)背后的(de)基(ji)礎技(ji)術(除了(le)A100)，然后拒絕將其中任何一項作為產品(pin)實(shi)施(shi)。他們聲稱要注重安全——我(wo)發現他們更有可能(neng)不想擾亂搜索業(ye)務，并認(ren)為這項技(ji)術需要更長時間才(cai)能(neng)成(cheng)熟(shu)。谷歌遇到(dao)了(le)創新的(de)困境。
還有網友給Transformer八子(zi)，做了一(yi)個總結。
新硅谷「八叛徒」
那么(me)，其(qi)他七子(zi)現又(you)身(shen)處何處呢?Jakob Uszkoreit被公認是Transformer架構(gou)的主要(yao)貢獻者(zhe)。
他在2021年(nian)中離開了Google，并共同創立(li)了Inceptive Labs，致力(li)于使用神經網(wang)絡設(she)計mRNA。
到目(mu)前為止(zhi)，他們(men)已經籌集了2000萬(wan)美(mei)元，并且團(tuan)隊規(gui)模也(ye)超過(guo)了20人。
Ashish Vaswani在(zai)2021年(nian)底離開(kai)谷歌(ge)，創立了AdeptAILabs。
可以說(shuo)，AdeptAILabs正處在高(gao)速發展(zhan)的階(jie)段。目前(qian)，公(gong)司(si)不(bu)僅已經(jing)籌(chou)集了(le)4.15億美元，而且也(ye)估值超(chao)(chao)過(guo)了(le)10億美元。此外(wai)，團隊規模也(ye)剛(gang)剛(gang)超(chao)(chao)過(guo)了(le)40人。
然而，Ashish卻在幾個月前離(li)開了(le)Adept。
在(zai)Transformers論(lun)文中(zhong)，Niki Parmar是唯一的女(nv)性(xing)作者(zhe)。
她在(zai)2021年底離(li)(li)開(kai)Google，并(bing)和剛剛提到的Ashish Vaswani一(yi)起(qi)，創立(li)了(le)AdeptAILabs。不(bu)過，Niki在(zai)幾(ji)個月前也離(li)(li)開(kai)了(le)Adept。
Noam Shazeer在Google工作(zuo)了20年(nian)后，于2021年(nian)底離(li)開了Google。
隨后(hou)，他便立(li)刻與自己的朋友Dan Abitbol一起(qi)，創立(li)了Character AI。
雖然公(gong)司只有大約20名員工，但效率(lv)卻相(xiang)當之高(gao)。目(mu)前，他(ta)們已經(jing)籌集了近2億美元，并即將(jiang)躋身(shen)獨角獸(shou)的行列。
Aidan Gomez在(zai)2019年9月離開了(le)Google Brain，創立了(le)CohereAI。
經(jing)過3年的(de)穩定發展后，公(gong)司依然(ran)正在擴大規(gui)模——Cohere的(de)員(yuan)工數量最近超過了(le)180名。與此同時(shi)，公(gong)司籌(chou)集(ji)到的(de)資金(jin)也即將突(tu)破4億美(mei)元大關。
Lukasz Kaiser是TensorFlow的共同作者(zhe)人之(zhi)一，他(ta)在2021年中離(li)開了Google，加入了OpenAI。
Illia Polosukhin在2017年2月離(li)開了Google，于2017年6月創立了NEAR Protocol。
目前(qian)，NEAR估(gu)值約為20億(yi)美(mei)元(yuan)。與(yu)此同時(shi)，公司(si)已經籌(chou)集(ji)了(le)約3.75億(yi)美(mei)元(yuan)，并進行了(le)大量(liang)的二次(ci)融資。
Llion Jones在2023年8月離開了Google，并于同月加入初創公司Stealth Startup，任AI研究科學家。
參考(kao)資料(liao)：
//arxiv.org/pdf/1706.03762v6.pdf
