當年(nian)Transformer的(de)(de)那篇驚世之作(zuo)，早已人去(qu)樓(arXiv)空(kong)。就在昨天，網友發(fa)現(xian)谷(gu)歌已經把(ba)「Attention Is All You Need」論文(wen)中的(de)(de)所有作(zuo)者(zhe)的(de)(de)郵箱(xiang)全部「劃線」刪除(chu)。
論(lun)文(wen)地址：//arxiv.org/pdf/1706.03762v6.pdf并在論(lun)文(wen)最上方，用醒(xing)目的紅(hong)色字體備注：
在注明出處的前提下，谷歌(ge)特此(ci)允許(xu)復制本(ben)文中的表格和(he)數字，僅供新聞或學術著作(zuo)使(shi)用。
從2017年到2023年，如(ru)下這張圖已經成為歷史。
谷歌這波(bo)操作(zuo)，也(ye)是很(hen)及時(shi)(shi)。前段(duan)時(shi)(shi)間，Transformer僅剩的一位(wei)作(zuo)者Llion Jones宣布，7月(yue)底要離職谷歌自創業。
論文的更新，也是Llion Jones在昨天提(ti)交(jiao)的第7版(ban)。
網友熱議
有網友驚嘆道，我以前從未見過論文將所有作者郵箱劃去，顯然谷歌這種做法自成一派。
我不知(zhi)(zhi)道這其中有(you)多少是(shi)因為他(ta)們的(de)工作基本上被扼殺了(le)，而谷歌以外(wai)的(de)人(OpenAI等)卻在用它做(zuo)著令人驚(jing)嘆(tan)的(de)事情。又(you)或者，海灣地區的(de)每家風險投(tou)資公(gong)司(si)都會拿著大(da)筆錢，投(tou)資他(ta)們想(xiang)做(zuo)的(de)任何事情。LinkedIn上的(de)Ashish和Niki似乎在2022年12月創立(li)了(le)初(chu)創公(gong)司(si)。我想(xiang)知(zhi)(zhi)道那最終(zhong)會是(shi)什么(me)。
有網友回答道，可能是兩者的結合。谷歌主要發明了生成性人工智能熱潮背后(hou)的(de)(de)基礎技(ji)術(shu)(除了(le)A100)，然后(hou)拒(ju)絕(jue)將其中任何一項(xiang)作為產品實施。他們聲(sheng)稱要注重安全——我發現他們更有可能不想擾亂搜(sou)索業務，并認為這項(xiang)技(ji)術(shu)需要更長時間才能成熟。谷歌遇(yu)到了(le)創新的(de)(de)困境。
還有網友(you)給(gei)Transformer八子，做了一個總結。
新硅谷「八叛徒」
那么，其他七子現又身處何處呢?Jakob Uszkoreit被公認是(shi)Transformer架構的主要貢獻者。
他(ta)在2021年中離開了Google，并共同創立了Inceptive Labs，致力于使用神經網(wang)絡設計mRNA。
到目前為(wei)止(zhi)，他們已經籌集了(le)2000萬(wan)美(mei)元，并且團隊(dui)規模(mo)也超過(guo)了(le)20人(ren)。
Ashish Vaswani在2021年底離(li)開谷歌(ge)，創立(li)了AdeptAILabs。
可以說，AdeptAILabs正處(chu)在高速發展(zhan)的(de)階(jie)段。目前，公司不僅(jin)已經籌(chou)集(ji)了(le)4.15億美元，而(er)且(qie)也(ye)估值超過了(le)10億美元。此外，團隊規模也(ye)剛(gang)剛(gang)超過了(le)40人。
然而，Ashish卻(que)在幾個月前離開了(le)Adept。
在(zai)Transformers論文中，Niki Parmar是唯一的女性作者。
她在2021年底離開(kai)Google，并(bing)和剛剛提到的Ashish Vaswani一起，創立(li)了AdeptAILabs。不過(guo)，Niki在幾個月前也離開(kai)了Adept。
Noam Shazeer在Google工作了(le)20年后，于2021年底離開了(le)Google。
隨(sui)后(hou)，他(ta)便(bian)立刻與(yu)自己的(de)朋友Dan Abitbol一起，創立了Character AI。
雖(sui)然公司只(zhi)有大(da)約20名員工，但效率(lv)卻相當(dang)之(zhi)高。目前(qian)，他們(men)已經籌集了近2億美元，并即將躋身獨(du)角獸(shou)的行列。
Aidan Gomez在2019年9月離開了(le)Google Brain，創立了(le)CohereAI。
經過3年的穩定發展后，公司依然正(zheng)在擴大規模(mo)——Cohere的員工數(shu)量最近超過了180名。與(yu)此同時，公司籌集到的資(zi)金也即將突破4億美元大關(guan)。
Lukasz Kaiser是TensorFlow的共同作者人之(zhi)一，他在2021年中離開了(le)Google，加(jia)入了(le)OpenAI。
Illia Polosukhin在2017年(nian)2月(yue)離開了(le)Google，于(yu)2017年(nian)6月(yue)創立了(le)NEAR Protocol。
目(mu)前，NEAR估(gu)值約為20億美(mei)元(yuan)(yuan)。與此同時，公司已經籌集了約3.75億美(mei)元(yuan)(yuan)，并進行了大(da)量的二次融資。
Llion Jones在(zai)2023年8月(yue)離開了Google，并于同(tong)月(yue)加(jia)入初創公司Stealth Startup，任AI研究科學(xue)家。
參考(kao)資(zi)料：
//arxiv.org/pdf/1706.03762v6.pdf
