2017年是OpenAI命运的分水岭。好音讯是，谷歌帮OpenAI处理了没有详细目的的困扰。2017年，谷歌在一篇论文中开源了“Transformer神经网络架构”。它的反动性在于可以让AI“听懂人话”，而这很能够会是通往AGI的关键钥匙。不断在做坏事的OpenAI，霎时有了攻坚的方向。一篇改动了世界限的论文坏音讯则是，没钱攻坚了。一个热知识是，假如没一个出手阔绰的靠山，基本没资历搞AI。光算力——也就是芯片的开支，就是一笔巨额本钱。从2012年的AlexNet模型到2017年的AlphaGoZero，算力耗费足足翻了30万倍。同期英伟达股价翻了整整15倍，黄仁勋做梦笑醒好几回。早些年，一大批迷信家纷繁跳槽去硅谷巨头，就是爲了找靠山。2010年，还在斯坦福的吴恩达研讨出一套新算法，却发现大学的算力条件远远不够。他从美国东海岸找到西海岸，发现只要谷歌契合条件。2017年，Transformer横空出生后，AI进入大模型阶段。所谓大模型，面前支撑的是大算力、大数据以及大算法，而这也意味着烧大钱。以OpenAI的GPT-3模型爲例，无机构做过测算，发现训练一个GPT-3，需求至多1024张A100显卡继续运转足足一个月[7]。而A100显卡最廉价的版本也要8769美元。也就是说，什麼还没算，就先给英伟达交了900万美元入场费，这还没算搭建机房的本钱和后续源源不时的电费。如今，ChatGPT训练一次的本钱高达1千万美元，这是普通公司无法接受的。小冰企业CEO李笛算过一笔账：“假如依照ChatGPT成原本考量的话，每天我要烧3亿人民币，一年要烧一千多亿。”回到2017年，仍是非盈利机构的OpenAI，基本有力担负这些费用。本来的大靠山马斯克也在2018年终宣布辞职，缘由是防止与特斯拉AI业务有所抵触。摇摇欲坠之际，阿尔特曼悄然修正了OpenAI“非盈利”的使命，开端给OpenAI另谋靠山。此时，既无科研效果，又无大牛坐镇的微软，进入了阿尔特曼的视野。作爲美国高科技范畴老牌列强，微软在AI上的决计不可谓不强，但临时被谷歌的DeepMind来回摩擦。2019年，恨铁不成钢的微软遇见人才辈出的OpenAI。事先，比尔·盖茨自己并不置信OpenAI会成功——投资会谈中，他很直白地对其开展道路表达了失望，以为Transformer这类大言语模型在过来五年都没什麼停顿，没人晓得它会有什麼价值。但话虽如此，微软还是直爽的掏出了10亿美元。阿尔特曼与微软CEO纳德拉这次接盘，很能够会成爲微软历史上最成功的一笔抄底。2022年12月，OpenAI沿着Transformer道路开收回了最新款AI，名爲Chat-GPT。2个月后，Chat-GPT的全球月活打破了1亿。这回，该轮到谷歌睡不着觉了。03包围：难以复刻的朴素品Chat-GPT登上热搜之后，大众经常会讨论一个成绩：为何又在美国？现实上，复刻一个Chat-GPT并责难事。Chat-GPT的实质，其实以GPT-3模型爲框架，经过“对话”这一场景，搭建了一个普通用户也能运用的AI使用，两者之间的技术提高并不算大。假如翻一翻前两年的旧事能发现，早在GPT-3时代，中国企业曾经在依样画葫芦，大可不用对各种中国版Chat-GPT冷言冷语。在地道的技术层面，中国公司落后的并不太多。我们回到一开端，大模型开展的三要素：算法、算力、数据。算法，好像人类大脑，决议了AI的学习才能。一个业内主流观念是，虽然没有率先做出来Transformer、GPT-3，但国际公司在大模型上的技术，间隔ChatGPT的差距其实也仅在半年到两年之间。比方GPT-3发布之后，百度、腾讯、阿里等公司诸如一言、M6、混元等十万亿参数级别的大模型也很快跟进。算力，这意味着一种资源，决议了算法的运转效率。AI训练高度依赖英伟达A100、H100等AI公用显卡。罕见的消费级显卡通常会将局部算力让渡于光追等功用，相比之下，A100的特点则是从硬件设计到软件配套 all in AI。虽然从2022年开端，美国曾经限制英伟达向中国大陆销售A100/H100显卡，但很快英伟达也推出了A800，成爲中国特供版A100平替。数据，训练算法的优质教材，决议了AI会学到哪些知识。站在OpenAI面前的，是一座数据贫矿，即丰厚的高质量英文文本数据。例如在全球最大的百科网站维基百科上，拥有最多百科文章的言语正是英文。除此之外，英文互联网还有众多相似Github这样的专业论坛、海量的图书、学术论文、专业旧事等数据。虽然，中文互联网的文实质量有待提升，但数据总量却是碾压级别的劣势。无论是算法的调教，还是算力的堆积，实质都是砸钱砸人。在这方面，中国其实并不落后于美国。正如百米赛跑中，冠军和亚军的差距往往不到一秒钟。但是不到一秒钟的差距，却决议了鲜花与掌声的归属，这能够也是Chat-GPT和“中国版Chat-GPT”的差异。OpenAI的降生似乎离不开有数偶尔的堆积，但也有着异样多的必定。“造福人类”的AGI神教，聚集了世界上最有才气的青年AI学者；适时呈现的技术打破让OpenAI的途径有迹可循，微软的呈现组成了最初一块拼图。Chat-GPT的昂贵之处，既在于地理数字的投资和令人心生畏惧的烧钱速度，也在于一个可以容纳疯狂想法的商业环境。正如阿尔特曼所说：不计其数的创业企业在做社交软件，只要不到20家企业努力于核聚变。但是伟大的事情实践上更容易，由于飞向太空是每一团体的梦想。梦想并不昂贵，但勇于梦想的勇气却是一件朴素品。参考材料[1] 深度学习反动，凯德·梅茨[2]Why Elon Musk fears artificial intelligence，Vox[3] SAM ALTMAN’S MANIFEST DESTINY，The NewYorker[4] Inside OpenAI, Elon Musks Wild Plan to Set Artificial Intelligence Free，Wired[5] The messy, secretive reality behind OpenAI’s bid to save the world，MIT Technology Review[6] AI的十年熬赢往事，Tech对角线[7]浅谈ChatGPT打工的底层逻辑[8] How Microsoft’s Stumbles Led to Its OpenAI Alliance，The Information[9] 中国如何出席ChatGPT盛宴，红博士说