相信有很多的人在无聊的时候应该都会选择回头去看那些比较经典的老的电视剧，虽然说这些电视剧当时在拍摄条件上没有现在这么好，但是他们却也拍出了一种独属于自己的气质，让很多的观众在看完之后感觉还想看，特别是里面的每一位演员基本上都是最符合这个角色，他们的演技也都表现的非常的有特点，基本上做到了在出演这个角色的时候就绝对能够演好。
2017年6月12日，Attention is All You Need，一声炸雷，大名鼎鼎的Transformer横空出世。它的出现，不仅让NLP变了天，成为当然谈话边界的主流模子，还收效跨界CV，给AI界带来了有时的惊喜。
到今天为止，Transformer出身6周年。而这篇论文被引数高达77926。
英伟达科学家Jim Fan对这篇盖世之作作念了深度追究：
1. Transformer并莫得发明讲求力，而是将其推向极致。
第一篇讲求力论文是在3年前（2014年）发表的。
这篇论文来自Yoshua Bengio的履行室，而标题并不起眼「Neural Machine Translation by Jointly Learning to Align and Translate」。
它是「RNN+凹凸文向量」（即讲求力）的组合。
好像许多东说念主都莫得别传过这篇论文，但它是NLP中最伟大的里程碑之一，已经被援用了29K次（比较之下，Transformer为77K）。
2. Transformer和当先的讲求力论文，都莫得谈到通用序列筹画机。
相背，两者都为了贬责一个局促而具体的问题：机器翻译。值得讲求的是，AGI（不久的某一天）不错追猜想不起眼的谷歌翻译。
3. Transformer发表在2017年的NeurIPS上，这是公共顶级的东说念主工智能会议之一。筹商词，它致使莫得赢得Oral演讲，更无须说获奖了。
那一年的NeurIPS上有3篇最好论文。限制到今天，它们加起来有529次援用。
Transformer这仍是典之作却在NeurIPS 2017莫得引起许多东说念主的温文。
对此，Jim Fan觉得，在一项出色的使命变得有影响力之前，很难让东说念主们认同它。
我不会贬低NeurIPS委员会——获奖论文仍然是一流的，但影响力莫得那么大。一个反例是ResNet。
何凯明等东说念主在CVPR 2016年赢得了最好论文。这篇论文当之无愧，得到了正确的认同。
2017年，该边界贤慧的东说念主中，很少有东说念主能够展望到今天LLM蜕变性的限度。就像20世纪80年代一样，很少有东说念主能预料自2012年以来深度学习的海啸。
OpenAI科学家Andrej Karpathy对Jim Fan第2点追究颇感意思意思，并示意，
先容讲求力的论文（由@DBahdanau , @kchonyc , Bengio）比 「Attention is All You Need」的论文受到的温文要少1000倍。而且从历史上看，这两篇论文都相等平庸，但真谛的是适值都是为机器翻译而树立的。
你只需要讲求力！Transformer出身之前，AI圈的东说念主在当然谈话处理中大都遴荐基于RNN（轮回神经集会）的编码器-解码器（Encoder-Decoder）结构来完成序列翻译。
筹商词，RNN过头繁衍的集会最致命的缺点就是慢。重要问题就在于前后笼罩状态的依赖性，无法收尾并行。
Transformer的现世可谓是如日中天，让许多商量东说念主员开启了追星之旅。
新宝体育2017年，8位谷歌商量东说念主员发表了Attention is All You Need。不错说，这篇论文是NLP边界的颠覆者。
论文地址：https://arxiv.org/pdf/1706.03762.pdf
它都备放置了递归结构，依赖讲求力机制，挖掘输入和输出之间的筹商，进而收尾了并行筹画。
致使，有东说念主提问「有了Transformer框架后是不是RNN都备不错撤销了？」
JimFan所称Transformer当初的联想是为了贬责翻译问题，千真万确。
谷歌当年发的博客，便阐扬了Transformer是一种谈话融会的新式神经集会架构。
著作地址：https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
具体来讲，Transformer由四部分组成：输入、编码器、解码器，以及输出。
输入字符开首通过Embedding转为向量，并加入位置编码（Positional Encoding）来添加位置信息。
然后，通过使用多头自讲求力和前馈神经集会的「编码器」和「解码器」来索要特征，临了输出驱散。
如下图所示，谷歌给出了Transformer如何用在机器翻译中的例子。
机器翻译的神经集会频频包含一个编码器，在读取完句子青年景一个表征。空腹圆代表着Transformer为每个单词生成的运行表征。
然后，期骗自讲求力，从总计其他的词中团员信息，在通盘凹凸文中为每个词产生一个新表征，由实心圆示意。
接着，将这个门径对总计单词并行重迭屡次，顺序生成新的表征。
雷同，解码器的进程与之肖似，但每次从左到右生成一个词。它不仅温文其他先前生成的单词，还温文编码器生成的最终表征。
2019年，谷歌还有意为其苦求了专利。
自此，在当然谈话处理中，Transformer逆袭之路颇有王者之风。
归宗溯源，咫尺种种层见叠出的GPT（Generative Pre-trained Transformer），都发源于这篇17年的论文。
筹商词，Transformer燃爆的不仅是NLP学术圈。
皇冠信用网下载全能Transformer：从NLP跨到CV2017年的谷歌博客中，商量东说念主员曾对Transformer将来应用后劲进行了畅享：
不仅触及当然谈话，还触及相等不同的输入和输出，如图像和视频。
没错，在NLP边界掀翻巨浪后，Transformer又来「踢馆」筹画机视觉边界。致使，其时许多东说念主狂呼Transformer又攻下一城。
自2012年以来，CNN已经成为视觉任务的首选架构。
跟着越来越高效的结构出现，使用Transformer来完成CV任务成为了一个新的商量标的，新2官网能够缩小结构的复杂性，探索可延迟性和考验遵守。
2020年10月，谷歌建议的Vision Transformer (ViT)，无须卷积神经集会（CNN），不错径直用Transformer对图像进行分类。
值得一提的是，ViT性能阐扬出色，在筹画资源减少4倍的情况下，朝上起初进的CNN。
紧接着，2021年，OpenAI连仍两颗炸弹，发布了基于Transformer打造的DALL-E，还有CLIP。
这两个模子借助Transformer收尾了很好的遵守。DALL-E能够证实笔墨输出踏实的图像。而CLIP能够收尾图像与文本的分类。
再到其后的DALL-E进化版DALL-E 2，还有Stable Diffusion，雷同基于Transformer架构，再次颠覆了AI画图。
以下，就是基于Transformer出身的模子的整条时候线。
皇冠客服飞机：@seo3687
由此可见，Transformer是有何等地能打。
2021年，其时就连谷歌的商量东说念主员David Ha示意，Transformers是新的LSTMs。
而他曾在Transformer出身之前，还称LSTM就像神经汇蚁合的AK 47。无论咱们如何戮力用新的东西来取代它，它仍然会在50年后被使用。
据悉，某富豪在一家赌场进行了大额赌博，并意外中了百万巨奖，引起了周围人的惊叹和羡慕。有网友表示，这种赌博行为虽然有风险，但也有机会，人生就是要大胆尝试。Transformer仅用4年的时候，摧毁了这一预言。
新硅谷「七叛徒」如今，6年已往了，也曾联手打造出谷歌最强Transformer的「变形金刚们」怎么样了？
皇冠现金盘Jakob Uszkoreit被公认是Transformer架构的主要孝顺者。
他在2021年中离开了Google，并共同创立了Inceptive Labs，戮力于使用神经集会联想mRNA。
到咫尺为止，他们已经筹集了2000万好意思元，况兼团队限度也朝上了20东说念主。
Ashish Vaswani在2021年底离开Google，创立了AdeptAILabs。
不错说，AdeptAILabs正处在高速发展的阶段。
咫尺，公司不仅已经筹集了4.15亿好意思元，而且也估值朝上了10亿好意思元。
此外，团队限度也刚刚朝上了40东说念主。
筹商词，Ashish却在几个月前离开了Adept。
在Transformers论文中，Niki Parmar是惟一的女性作家。
欧博体育她在2021年底离开Google，并和刚刚提到的Ashish Vaswani一说念，创立了AdeptAILabs。
不外，Niki在几个月前也离开了Adept。
Noam Shazeer在Google使命了20年后，于2021年底离开了Google。
随后，他便坐窝与我方的一又友Dan Abitbol一说念，创立了Character AI。
固然公司只须大要20名职工，但遵守却相等之高。
咫尺，他们已经筹集了近2亿好意思元，并行将踏进独角兽的行列。
Aidan Gomez在2019年9月离开了Google Brain，创立了CohereAI。
经过3年的踏实发展后，公司依然正在扩大限度——Cohere的职工数目最近朝上了180名。
与此同期，公司筹集到的资金也行将突破4亿好意思元大关。
Lukasz Kaiser是TensorFlow的共同作家东说念主之一，他在2021年中离开了Google，加入了OpenAI。
Illia Polosukhin在2017年2月离开了Google，于2017年6月创立了NEAR Protocol。
如何上分咫尺，NEAR估值约为20亿好意思元。
与此同期，公司已经筹集了约3.75亿好意思元，并进行了大都的二次融资。
咫尺，只须Llion Jones还在谷歌使命。
在论文的孝顺方面，他意思意思地捉弄说念：「我方最大的意旨在于——起标题。」
网友热评走到咫尺，回看Transformer，如故会激发不少网友的想考。
AI中的始创性论文。
马库斯示意，这有点像波特兰开荒者队对迈克尔·乔丹的松手。
这件事诠释了，即使在这么的一级商量水平上，也很难展望哪篇论文会在该边界产生何种进程的影响。
iba娱乐这个故事告诉咱们，一篇商量著作的着实价值所以一种持久的方式体现出来的。
哇，时候过得真快！令东说念主骇怪的是，这个模子突破了讲求力的极限，透澈改变了NLP。
在我攻读博士本事，我的导师 @WenmeiHwu 老是教师咱们，最有影响力的论文始终不会赢得最好论文奖或任何认同，但跟着时候的推移，它们最终会改变宇宙。咱们不应该为奖项而慷慨，而应该专注于有影响力的商量！
本文作家：桃子、好困，来源：新智元北京赛车彩票网，原文标题：《Transformer全新里程碑！出身6年，开山之作被引近8万，没夺下NeurIPS最好论文，却透澈改变AI界》
风险指示及免责条件 市集有风险，投资需严慎。本文不组成个东说念主投资建议，也未谈判到个别用户罕见的投资议论、财务景色或需要。用户应试虑本文中的任何办法、不雅点或论断是否相宜其特定景色。据此投资，包袱自夸。