张亚勤朱民对话大模型：不要触碰AI伦理，就像某些基因编辑不该研究一样
文库划重点：说conversational AI，其实对话引擎也很多年历史了，1966年第一个也就是MIT就做出了一个对话的引擎ELIZA，这么多年有很多次迭代，到了Siri，到了Alex，到了Cortana.现在大语言模型，或者基础模型，它自己本身就是一个工具，同时它也可以使用别的工具，比如使用Hugging Face等开源的数据、模型，然后去执行新的任务或者构建新的应用。
4月28日，清华大学智能产业研究院院长、中国工程院外籍院士张亚勤与清华大学国家金融研究院院长、著名经济学家朱民进行对话。
张亚勤表示，对于ChatGPT横空出世，自己有三个感悟，一是人类历史上第一次有了智能体，而且通过了图灵测试。二是，它是AI时代的一个新操作系统。三是，它是我们从面向具体任务的人工智能到走向通用人工智能的一个起点。
他认为，AI大模型可能会突破物理、数学等基础科学研究，达到根本的、方法论上的颠覆，但将如何颠覆，目前尚不清楚。可以肯定的是，未来的智能一定是人类智能和机器智能的融合，机器是人类的强大延伸，就像汽车一样，跑得比人快，但不能替代人。
就未来中国如何在大模型领域缩小差距，张亚勤指出，在算力、算法和数据方面，中国是有资源可以解决的，目前中国的大模型还没有完成充分竞争。
“大模型让以后的创业更容易了”，张亚勤表示，很多数据已经被预训练成模型了，只要依靠这个模型再加上自己领域的精准数据，或结合自己的模型，就可以开发出应用。“但创业公司要注意，别做太简单的东西，因为大模型马上就帮你做了，还是要稍微有一些门槛的。”他补充。
以下为部分对话实录。
张亚勤：2019年底我离开百度时，就一直在想做一个研究院。这个研究院应该是从事基础研究的，和20多年前微软亚洲的研究院相似，但这个研究要为产业服务，解决真正的问题。另外，当时的微软研究院是给单一企业做，这个智能产业研究院，我们希望是面向整个产业开放的。还有一点，在清华，有最优秀的学生和老师，所以研究院名字叫“AIR”，就是AI for industry research。同时，这里的“I”有三个含义，一是international，二是AI，三是industry。
研究院现在有21位全职教师，还有200多位博士生、博士后研究人员等。目前，研究院主要研究面向产业的人工智能，聚焦三个我们认为有很大机遇的方向，一是机器人和自动驾驶，二是生命科学生物科学，三是物联网，特别是面向双碳的绿色计算领域。
朱民：最新的突破在哪里？
张亚勤：我们一直在从事算法和模型方面的研究，我们跟很多企业合作，在语言模型，比如多模态、强化学习、联邦学习方面，也做一些垂直模型，比如面向自动驾驶机器人和生命科学。前几天刚开源了一个生物医疗的GPT，叫BioMap。在自动驾驶方面，我们也有一个基础决策感知模型。
朱民：你的研究是和现在正在崛起的ChatGPT以及GPT大模型趋势是一致的。那么，我们就聊聊大模型吧，这是现在最热的事儿。
ChatGPT当然是惊艳，又能画画，又能作诗、写歌。可能大家也都听了，它模仿贝多芬创作了一首音乐。当然，作为一名贝多芬的资深爱好者，我觉得它作的并不怎么样，但它的确装模作样地做作曲了，还有4个乐章，虽然很搞笑，但确实影响很大。不仅如此，它还能写代码、做文件检索。这些当然很好，但争论也很多。有观点认为它已经走向AGI，也有观点认为它还很不成熟，在技术上也没有特别大的突破，只是商业模式用的好，选的路径好。你是真的专家，你怎么看这件事？
张亚勤：你刚才讲的是过去这2-3年，一个大的趋势就是生成式AI。ChatGPT做的最成功，其他还包括DALL-E，stable diffusion等一系列的生成式AI。
ChatGPT推出之后对我的震撼还是挺大的。前段时间谈到我的GPT时刻是什么样的，我有三个想法，第一，我感到就是人类历史上第一次我们有了一个智能体，而且通过了图灵测试。
朱民：通过了图灵测试，我们回头回到这一点，这个是个了不得的结论。
张亚勤：对，图灵测试是图灵1950年提出的，是我们做计算机科学这么多年大家都梦想实现的一个目标。过去也有人说达到了，但是ChatGPT，我认为是第一个通过图灵测试的软件智能体。我太太是ChatGPT或者GPT这些产品系列的大粉丝，她说ChatGPT也会幻想，也经常说错话，也会说谎，我说这和人更像了，更分不出它和人的区别了。
所以我觉得第一点还是通过了统一测试（此处应为“图灵测试”——哈希力量校准），包括语言对话的引擎，说conversational AI，其实对话引擎也很多年历史了，1966年第一个也就是MIT就做出了一个对话的引擎ELIZA，这么多年有很多次迭代，到了Siri，到了Alex，到了Cortana，然后国内有小度，有天猫精灵，有很多对话的产品，那么都是针对某一些领域或者聊聊天。
朱民：包括微软的小冰。
张亚勤：包括小冰，都是过去的对话引擎的这么一些产品。但ChatGPT完全在功能和通用性方面远远超过了早期的产品，它就用了大规模Generative AI，所以这是我第一个感受。
第二个感受，我认为它是我们在AI时代的一个新的操作系统，就像在PC时代Windows，在移动时代iOS，它是一个新的操作系统，一会我们可以再展开讲。
朱民：我觉得这个比你的第一个结论更重要，因为过了图灵测试，这是过去，如果是新操作系统的话，那是一个巨大的未来。
张亚勤：就会重写、重塑、重建整个生态系统。
朱民：你的第二点感受打开了一个阿里巴巴大门，这可是个了不得的结论，先听你说完。
张亚勤：第三点咱们原来也讨论过，我认为它是我们从面向具体任务的人工智能到走向通用人工智能的一个起点。
当然也可以讲ChatGPT，更多是大语言模型，更多的是叫大基础模型，就开启了一个亮光。因为我们多少年也在往那个方向走，所以这是我的三个当时的观察，我的ChatGPT瞬间。
我经常在AIR跟学生和老师讲，这么多年，不管人工智能也好，或者整个IT领域也好，有好多热词，Blockchain，Crypto，Bitcoin，Web3.0，NFT，metaverse等。有些可能是真的，有些只是个概念，但整个大语言模型，包括ChatGPT，GPT4.0，是一个大的变革。
朱民：所以这次是真的让你兴奋了，这还是很不容易的，让一个科学家兴奋就表明something is happening。
所以这个还是挺有意思，图灵测试过了，因为机器和人对话，当然还有很多误差，它会撒谎等等，因为它是token system，这个都是不断完善的，并且通过人类的反馈机制训练，我觉得Fine-tuning都会不断提高，这个没问题。
张亚勤：你们听朱民讲，他在讲算法，他完全不像是央行的副行长。
朱民：这个是跟你学的。但是你讲的大操作平台可有意思了，比如说ChatGPT现在开始出现了API，然后出现了插件，所以它逐渐地就可以把专业的东西给放进去，形成垂直系统。而且现在还出现了plugins，这又是一个特殊的路，很多东西又可以往上放。
所以，如果以后变成一个生态，真的是一个大的操作平台，然后就会出现我们以前讨论过的Super app，整个产业就被根本性地颠覆了，这个在什么情景下？多远会发生呢？
张亚勤：其实，尽管目前有这么多的新插件、API和新应用，但有些本质并没有变化。大家可能还记得，在PC时代也有很多应用，Office就是一个大的超级应用，到移动时代，有的操作系统上也有应用商店，上面有很多超级应用，比如微信，短视频、淘宝、搜索等。
现在到了AI时代，就像用一个大模型做了一个操作系统，不论是plugin还是API，上面都可以有APP，会有很多的APP需要有一些垂直的模型，因为有些行业需要深入，比如自动驾驶在很多地方还是需要有这么一个垂直的技术模型，再比如像生物计算也需要一个垂直模型。这些垂直模型可以建立在横向的大语言基础上，这个大语言不仅仅是语言，其实是多模态的，也包括视频、图像、语音。但有了这个之后，垂直模型就会有更多的应用。
你刚才提到，现在大语言模型，或者基础模型，它自己本身就是一个工具，同时它也可以使用别的工具，比如使用Hugging Face等开源的数据、模型，然后去执行新的任务或者构建新的应用。
还有一点，我们也可以用不同的大模型，去构建新的应用，就是大模型可以使用你，你也可以使用大模型，互相使用。这也是以后研究的一个方向。
刘洋院长就在研究模型和模型之间怎么互动，我们的另外一位女老师刘洋，是做联邦学习的，就是在模型上面有知识，知识上面怎么样去学习，所以我觉得我们已经做了很多基础研究。
朱民：以后，在想象中的世界，因为智能了，机器就能自己讲话了，已经脱离人了。一旦你给了数据，机器就能自己生成，生成完又出现智能，然后它就可以自己交流，而且不断地改进，那是不是意味着一种新的物种正在出现？
张亚勤：可以这么理解。
朱民：又是一个很重要的概念，我们理解的新物种，都像电影里的外星人，是从另外一个星球跑来的。但如果把人工智能大模型看成一个物种的话，那就是人类面临的根本挑战了，是这样吗？
张亚勤：首先是一种新的能力吧，叫物种也好，能力也好，比如说现在的GPT-4 plus，然后马上也有4.5、4.9、5.0。那么5.0的主要开发者是谁呢？是4.0，所以它是在自我开发，自我迭代，自我进化，这是一种和人类一样的很强的能力。
但是我并不认为人类会被替代，我觉得它还是我们的一个工具，是我们的延伸，就人类有这样的智慧可以发明东西，也可以控制它，让它按照我们希望的方向去演化。我是乐观者。
朱民：对，你是个乐观者，我听说了，我也是个乐观者，我很高兴两个乐观者在一起，最怕的是过分乐观，我们要小心。这其实是很有意思的一件事。我们先不讲人类和机器的对比，现在，有人提出了一个根本的问题，就是人工智能是人的智能的一部分，还是人的智能之外的，一种新的或者人不知道的、人还没有悟到的智能。对此你怎么看？
张亚勤：这是一个特别好的问题。我认为现在的大语言模型，其实它的很多智能是我们不知道的，或者是我们可能有，但还没有认识到的，因为我们所认识到的知识，我们所看到的所谓的智能，只占我们人类很少的一部分。机器一方面把我们有但不知道的部分找出来了，另外机器可能会有新的能力，但这种新能力我不希望大家就有一种想法，像科幻电影那样会把人替代了。未来的智能一定是Human Intelligence，一定是人类智能和机器智能的融合，而且机器一定是人类的一个很强的延伸，很多事机器能做但人类可能做不了。就像汽车一样，汽车跑得比人快，它比人有更强的能力，但它并没有替代人。
朱民：工业革命扩展了人的肌肉，现在是人工智能要扩展人的智能。所以我觉得是一个很大的判断，现在关于机器智能究竟是人的智能的发现，还是一种人的潜在不知道的智能的挖掘出现，或者是更新的一个我们根本就不知道的智能，所以你认为是？
张亚勤：我觉得三者都有。
朱民：这个很有意思，所以从这意义上来说，根本的一个哲学问题就是说，智能不只是人类独有的。
张亚勤：是的，要看怎么定义。如果定义智能的关键是生存能力和繁殖能力，那么繁殖能力最强的物种不是人，而是细菌和病毒。比如冠状病毒，那么小，就可以给我们造成这么大的麻烦和困惑。而且都是几十亿年前就已经存在，寿命比人类要长。
所以我觉得，智能有很多不同的维度，我们是要把智能分成几个不同的层次，在有些方面，我们要有边界。
这又回到前面提到的图灵了。机器的第一个层次是感知，就是听得见、能说话——视觉、语音识别、语音合成、人脸识别，图像识别，包括文字OCR等，都属于这种感知层面的方面。现在的机器已经比人厉害了，比如人脸识别，5年前就达到和人类同样的水平了。
第二层次智能是可以思考，可以决策，可以推理。在这个认知层面，现在的大语言模型出来之后，和人的距离会越来越小，再过几年，在这个方面和人类可能也会差不多。现在大家看到说ChatGPT考试比人还厉害，两个星期前，我的一个朋友在北大教量子力学，量子学是很难的，她说ChatGPT的期中考试成绩高于班里50%的学生，而且没有经过任何专门的学习。所以，未来机器在认知方面也会和人类差不多。
另外还有几个层次，我觉得是我们不应该去触碰的，我一直在讲我们做AI的伦理也好，治理也好，比如说它的个体能不能作为独立个体？人工智能它有没有自我意识？它有没有感情？这些方面我不认为我们可以达到，但是我也不认为我们人类应该做这样的研究，就像基因编辑某些这个方面我们不应该去触碰。
另外当然就是人工智能的治理，就是人工智能需要一个边界。边界就是人类有信息社会、物理世界和生物世界，其实这些空间在走向一种融合，数字化融合。但是我们需要有一些边界，比如ChatGPT可能先把它放到信息世界里面，然后如果真正去到了物理世界，比如自动驾驶，我们可能要小心点，它需要一个边界，包括金融系统。在新加坡一个银行顾问会上，我提出，对广告策划这类创造性活动，我鼓励多用ChatGPT，但对于银行，我建议先别用，或者说，作为信息类的可以用，但是牵涉到核心金融系统的，还是要比较小心。
朱民：我们可以看到科学家的乐观和谨慎，从乐观的方面，毫无疑问这是个颠覆，是个突破，但从谨慎的方面，我们还是要很小心地划一个边界，在我们不知道的情况下，我们先谨慎，这个还是很有意思的。但这个边界是会被不断地突破的，原因你刚才讲了。
还有一个特别重要的概念，就是工程应用，人工智能现在越来越多地被认为是一种工程学，你可以应用大模型，大模型也可以应用人工智能，所以它越来越变成一个工程了。如果从工程学这个角度看大模型的话，大模型的发展会怎么样？
张亚勤：我觉得它肯定是会变得越来越准确，越来越成熟。而且，它进化的速度会越来越快，但是在我们没有很清楚它的成熟度，因此我们需要给它划定边界。
我相信，对以后整个物理世界，比如说机器人自动驾驶，对于物联网，人工智能都会有很大的应用，但是我觉得，根据需要不一样，应用不一样，更要谨慎一些。比如在核心任务上，还是要有更多可控性，因为就目前而言，生成式AI能生成什么东西，我们并不完全知道，我们甚至不知道为什么会发生这样的事。换句话说，我们知道一部分，并不是完全黑盒，只是有很多我们不知道。
朱民：所以这又涉及到我们现在大模型的根本概念，emergence「涌现」，这个是以前没有的。因为它开始有数据逻辑推演以后，就开始「涌现」一些非线性的发展。这个「涌现」怎么讲？它未来的发展前景怎么样？我觉得这是一个很重要的问题。
张亚勤：刚才朱民行长讲了一个特别重要的概念，这个都是比较专业的词汇，叫做「涌现」emergence。
emergence确实目前是在这种大模型里面，当模型的参数体量大到一定程度的时候，基本上是到了百亿参数的时候，开始「涌现」，就是你可以看到它在准确度还是可预测性都跳跃式提高。
为什么在这个时候出现「涌现」，具体这些数学模型或者这种因果关系，现在不是完全清楚。
但可以这样想，当数据体量大到一定程度，参数到一定程度，而且训练方法是正确的，就好比人类，每天读书，读到一定的时候忽然就开窍了，灵光一闪。可能有的时候读的书只是填补这个知识，但到一定程度之后我就可以掌握了这个规律。
就是像大模型，参与到一定程度之后，它自己把真正的Structure找出来了。
朱民：这里又提出一个重大的哲学问题，「涌现」会不会是灵光一闪，跳跃式的变化？人类讲顿悟，顿悟是有点智慧的含义的，但是「涌现」是智慧吗？
张亚勤：其实是参数到一定程度之后，忽然很准确了，就像语音识别，贯通了，其实就这么一件事儿。
有一点很重要，由于数据量特别大，参数很多，人工智能在做预训练的时候用的是自监督学习，在语料很大的时候，它要把里面一些mask出去，然后自己训练自己，所以模型大到一定程度后，准确率就比较高。
但是为什么只有在参数达到一定程度后才会这样，而且不仅仅是ChatGPT，很多别的大模型也有类似现象？
所以，我不能讲这是灵光一闪，是哲学或者宗教的概念，但我们的确还不清楚为什么，或者清楚一部分，但不清楚全部。所以这个是emergence.
还有一个是统一性，这也是现在GPT里面T很重要的一部分。过去可能对不同的任务有不同的算法，现在有了transformer之后，不管是语言也好，还是语音也好，还是图像或者是视频或者是蛋白质，都可以用token based里的token转化。这跟人的大脑思维方式比较像，我们的neural，都是neural。
朱民：我们现在又往里了走一步。现在如果回到深层的方法上面来看，两三年前都有一种议论，深度学习已经不行了。
张亚勤：我没有听到。
朱民：但是四五年前有很多这样的说法，觉得大数据的应用开始出现了小数据。那么现在的新的工具transformer这是一个很重要的基本的结构。GCAI或者AIGC是一个很重要的approach，那么从技术上来说，你觉得transformer模式成型了？以后会有怎么样的发展？因为你是科学家，咱们得想一想科学的问题。
张亚勤：我认为transformer确实挺了不起的。2017年，Vaswani在Google，当时一开始是为Google translate做的算法，但这个算法出现之后，确实是把整个深度学习的进展推到了一个更高的层次，相比之下，transformer或现在的大模型，其实效率还是比较低的。
再和大脑比一下。人类大脑经过几十万年的进化，确实不得了，不到三斤的大脑，有860多亿个神经元，每个神经元差不多有1万个Synapse突触，如果把每个连接都做一个相当于参数的话，我们大脑比现在GPT-4，我假定是1万亿，比它要高上千倍。但大脑就三斤重，功耗30瓦。所以我觉得，人脑效率还是很高的，而且目前这种大模型，虽然让很多工作变得更高效，但耗费电力高，运算效率差。transformer当然是很好的一种算法，但是确实在计算方面十分耗能。
朱民：所以，从能耗来说，还会有很大的突破空间。
张亚勤：我认为，5年之后也许就会有一个不同的算法。
朱民：怎么叫不同的算法。
张亚勤：也许是transformer算法，也许不是。
朱民：你会发明一个吗？
张亚勤：我希望，但把更多希望寄托在我们的博士生身上。
朱民：回到工程学。工程学就很有意思了，因为它等于一个辅助工具，无所不能。所以我觉得现在比较有意思的一件事，就是大模型脱虚向实，所谓虚是它离开了服务业，实就是它进入了物理世界，去操纵和管理物理世界。这是工程学很重要的概念和应用场景。
现在我们出现了AI for science，而且现在科学研究进入了第四范式的Fourth Paradigm，把整个科学研究的方法全部变掉了，是数据主导，不再是独立的由根开始往上走，而是逆向发展，那么这个就很厉害了。
那么最近的很多事，比如说常温超导，这个卤是算出来的；最近的可控核聚变，可控是大模型控的；蛋白质，现在我们已经有了那么多三维的蛋白质结构分析。你也做生命是吧？大模型在科学研究方式的方面，对它将来会怎么样。
张亚勤：这是特别好的问题，我花半分钟讲一下范式这个定义。其实，第四范式，包括最近还提到第五范式，都是微软的科学家提出来的。范式从最早是亚里士多德提出来的，后面是伽利略，然后是观测。牛顿则是第一次把所谓的第一范式数学方程式化，包括到Maxwell、薛定谔、爱因斯坦，是方程式的第二范式。
第三范式是计算机出来之后，是computational science，是一种计算科学。后面大数据来之后是data driven，Jim Green一个图灵奖获得者，他提出data driven，第四范式。
最近微软英国的科学家又提出说第五范式就是深度学习。作为科研的一个新范式，其实我认为，第四和第五基本上是不同阶段，可以统称第四范式。
这里面有很多新工具，比如在工程学中，新的工具就可以使用，可以使用很重要一点就是，可以把方程式的东西，结合到我们观察、测量的数据里面来。
比如，可以用方程式生成大数据，加上观测数据开始预训练，然后结合起来，把我们掌握的知识和我们要掌握的未知方程式化的，把这些大量的数据融合起来，这样会大幅度加快我们的科学发现，同时，还能把我们的实验科学和理论科学无缝连在一块。因为我们实验现在可以有实验机器人去做了，设计实验本身的实验的流程，包括实验的结果和干实验能无缝融合，这会加速科学发现最新的一个范式，比如蛋白质解析，现在更新的蛋白质是怎么生成的，合成新的蛋白新的材料，新药研发，这也是我们AIR在做很多新研究之一。
朱民：实际上，它出现了两种流的合作，一个是人的流，把一些观察到的参数放进去，一个是数据位自由，就是机器的深度学习，然后让这两种东西结合起来，朝我们想象中的用预训练模式来实现它的未来，这是人工智能和人的智能开始合作。现在看的比较多的是材料科学，数字材料现在很明显，生物对蛋白，做 three dimensional structure也是很多的，但是这个会很容易突破物理或数学这类根本的科学研究。你觉得会有这类根本的、方法论上的颠覆吗？
张亚勤：我认为会的，但是怎么颠覆我也不是很清楚。
我那天开玩笑说5年后，所有数学、物理奥林匹克的考试，冠军都是机器人。另外，我认为AI可以证明一些我们没有证明的事儿，比如哥德巴赫猜想等，我觉得它会解决一些我们还没解决的问题。
朱民：我不知道会不会解决问题，我觉得科学家还是很严谨的，但哲学家可以有天马行空的思索，这还是很有意思。
张亚勤：对，新的方程式以后可能是AI发明的，这都是有可能的。
朱民：量子力学就可能会有很大的突破，所以这是一个很大的事情。如果科学能发生这么大变化，那么人类的发展和进化的速度会大大加强，5年是很乐观的，5年很快。
张亚勤：刚才你问的特别好，就是科学的范式。
其实如果看一下我们物理学，每一个科学都需要一种描述的语言。数学是物理学最好的描述的语言。其实我觉得，比如蛋白质，也许因为没有办法用数学公式来表示，可能阿尔法for二是特别好的一个描述它的语言，而且我认为AI的发展方向，不一定是GPT，也可能是一个科学的描述语言。当科学的东西没法表示出来时，就可以用一个大模型加上一个参数去表示，然后它就变成了一种新的语言。
朱民：讲到现在其实我们已经走得很远了，天马行空，那么落地到现在，大家很关心的问题是中国的大模型发展怎么样了？现在百度出了文心一言，现在我看能列出的大模型大概有几十种了。
张亚勤：百模大战。
朱民：当然困难是很明显的，第一个美国把芯片卡住了，算法当然也受到很大的影响，数据也有一个质量和规模的问题，对语言也是个问题。对中文和英文而言，在自然语言处理的方面还是有不一样的。那么你怎么看百模大战？中国的差距究竟有多大？我们应该怎么干？
张亚勤：不想得罪人，我觉得（现场笑声）。
朱民：科学家没问题的。先说我的观点，我不怕得罪人（现场笑声）。1月7号的时候，我曾说在大模型上，中国落后两年。
张亚勤：对，我觉得大模型这方面肯定是落后的，具体落后多少我就不说了，但是目前这么多企业，包括BAT、华为、字节等大企业以及一些创新企业等很多公司都在做大语言模型，最后就是充分竞争，只有充分竞争后的产品和企业才是好的。第二，在竞争的过程中，每个企业就让市场去检验它，政府就别管了，政府就鼓励竞争。
我个人的看法，这里面可能最后会有五六个大模型，所有的操作系统，大部分可能还是面向行业的垂直模型，而且有很多垂直模型可以结合大模型，给他提供更多的能力解决更多问题，但是在每个行业可能还需要细分。
还有芯片和数据的问题。数据是问题也不是问题，第一，目前大模型也没有人充分地把自己的数据都用了，比如企业外部有很多公用数据，每个企业也有好多自己的数据，都没有用完，可能用了很少一部分，因为时间不够。第二，现在的多模态，比如语言多模态里面很多视频数据、图像的数据，也都可以使用。第三，GPT用了很多中文、法文，以及很多各种不同语言的数据，咱们也可以用别的语言，我们完全可以用英文的数据。
这些数据能用就用，所以我认为长期不是大问题，短期也不是大问题，都不是大问题。而且说实话，数据不仅量要大，重要的是怎么样去清洗它，怎么样把它变成高质量的数据。做大语言模型也很有意思，如果这个数据太清，太干净也不行，还是需要有一些免疫力的，就像人身上需要有一点细菌和病毒共存，提高免疫力。所以，做大语言模型，1/3的工作是关于怎么样把这些数据进行data engineering，这很重要。
算力的确是比较挑战的，如果咱们把中国所有的算力加在一块，现在至少也有50万个A100了，这个不是政府数据，是我们自己估算的。训练100个模型有点小问题，但是训练5个模型是没问题的。另外，这个东西你也不是永远在用它，你在预训练的时候用它，用了几个月可能就不需要用这个东西了，并不是永远在用这个东西。
还有一点，现在很多的工作是怎么样把这个模型简化，然后怎么样小型化边缘化。我们刘云新教授就是，别人是模型越来越大，它是模型越来越小。所以我认为这些东西是有挑战的，但不能作为两年三年之后模型没做好的借口。我认为，我们一定会做得不错。
还有一点，中国自己也在做芯片，有昆仑、汽车的地平线等，当时我在百度的时候就自己做芯片，其实当时主要为搜索了，但也是AI芯片。
朱民：所以你还是乐观的，算力算法和这个数据，我们还是有资源可以解决，是吧？但是大模型它有几个特点，第一个是它进入的门槛很高，它不是一个可以自由竞争的世界。第二个它有天然的垄断性，算法取决于你是不是开源，而且这个规模也使得进去不那么容易。所以在这个情况下，那是一种市场充分竞争，还是一种类似于寡头竞争，用经济学的语言来说，未来中国发展大模型的路径大概是个什么情况？
张亚勤：我认为现在的大模型，就像42公里的马拉松跑了第5公里，所以目前就好比春秋战国时期，大家要充分竞争，竞争到一定程度之后，肯定就不可能有那么多大模型，就像云一样，一开始有那么多云，现在美国也好，中国也好，最后可能就四五朵云。所以我认为最后肯定是要收敛的。
朱民：你还是乐观，中国人会做出自己的大脑模型，一定会有成功的。
张亚勤：对。但是我就是想讲一点的，我们现在不能假设一定是那几个大公司的事儿，这些初创公司也有希望，OpenAI就是小公司。所以我觉得大家都有机会。但是平台门槛的确是很高，比如我们研究院，一开始就提出不要自己去做这种大型的语言模型，我们也不会去买上万个GPU，很多工程的东西我们也不会去做，但我们可以和企业合作。
朱民：这个就提出了一个很重要的问题，在我们追赶的道路上，第一个是算力算法数据，你有没有底气？第二个是市场准入竞争公平，这个结果会怎么样？但是形成生态合作共赢还是很重要的。你认为大概会是怎么样的一个生态呢？
张亚勤：比如4年5年之后会有几个大的模型，在云上面有大量算力，有横向的，我把它叫做AI的云操作系统，在这个上面有很多垂直的、很大的apps，而且我认为有些apps会在一个云上而有些会在很多云上，有些超级apps还可能会调用不同的模型。
刚才你讲的工程化和工具化，既可以用你的操作系统也可以用别的，我可以用我这个APP，也可以用好多不同的模型，可以用开源模型，也可以用商业化模型。开源是很重要一个力量，不在我们刚才讲的这些里面。
朱民：现在美国出现了stability，对这样的一个平台，作为一种生态的构造形式的培训，像这样的模式可采用么？
张亚勤：我觉得都会，各种模式都可能发生。
朱民：现在世界上的大模型主要是美国和中国在做，但是美国的模型还是平行的，广义的模型比较多一些，中国现在来看的还是垂直模型比较多一些。
张亚勤：不能这么讲，我觉得都有对横向的模型，但是解决某一些问题的也都有垂直模型。
朱民：所以现在，市场竞争的是横向模型，现在是百模大战，活下来的人会支撑垂直模型。
张亚勤：对，可以这样讲。垂直模型总是要做的，面上的一些任务总是要做的。横向模型则会解决很多横向的问题，比如自动驾驶的长尾问题，但是它没法替代垂直模型。比如安卓和iOS操作系统，也很强大，上面有商店，有很多超级APP。但操作系统不可能做所有的应用，特别是如果面向工业互联网，更加细分，更加深度。就像在PC时代，微软很强大，但也只能做个office，其他应用还是要靠生态。我经常讲，生态操作系统如果是1，那么它的整个生态是乘100倍，在上面它的价值是100倍。
朱民：这个世界不可能只有唯一，一定是一个生态的，各种穿插的，在这个上面又产生更丰富的应用场景等。
张亚勤：而且我觉得对以后垂直领域或者对一些新的创业者来说，其实是件好事。我看很多言论说，大模型出来之后就别创业了，都给大公司做了。我认为不是这样，恰恰相反，现在面向某些任务的时候，反而更容易做了。比如说过去做事情，自己没有数据或者数据很少，需要先收集数据，那么现在，很多这些数据已经被预训练变成模型了，你就去靠那个模型，然后加上自己这个领域的精准数据，或者结合自己的模型，然后就可以开发应用出来。
有点像云计算。过去云计算创业公司要买一大堆服务器，自己要有IT的人，现在有了云之后，只要买云服务就行了，算力、存储、网络能力都按需分配，所以我觉得，有了这个之后是件好事，但创业公司可能要注意，别做太简单的东西，因为大模型马上就帮你做了，还是稍微要有一些门槛的。
朱民：创业的门槛高了。
☉
（原文标题：《经济学家朱民和科学家张亚勤最新对话畅谈ChatGPT精彩万字实录全文》；收录源标题：《张亚勤对话朱民：颠覆认知的AI时代及产业机遇》，收录经过哈希力量二次校对）
（首发未删节版全文链接追溯：https://mp.weixin.qq.com/s/mBRmQ-wi9DFnN6CFiyn2jA）
延伸阅读：
过去做什么应用都需要海量数据，现在很多基础数据通过预训练模型给你了，那么每家就可以结合自己的专有数据做fine-tuning（精调），做prompting（提示），做这种适应就行了。之前做个公司，最怕数据不够，因为数据散着或者在别的公司那里。
收录于哈希力量，手机站省略本文固定网址
