百度“文心一言”遇冷,背后的“昆仑芯”火热

刘浩然 ☉ 文 来源:与非网
2023-03-18 @ 哈希力量文库
归集: 首页 > AI+产业 > AI芯片

文库划重点:2018年,自然语言处理NLP领域进入了LLM时代。Transformer的提出,使得深度学习模型参数突破了1亿,GPT-1也应用了上亿规模的参数量,数据集约有25亿单词量......芯片制造业是一项极为复杂、困难的技术活动,需要高超的人才、雄厚的资金和长期的研发投入。尤其是在制程工艺、芯片设计和设备研发等方面,需要积累大量的经验和技术储备。


就在国产ChatGPT“文心一言”发布的时候,百度港股却应声下跌近10%。用户不买账?技术不过关?抛开似乎是“赶鸭子上架”般的文心一言外壳,百度AI成功与否的关键,还得看背后的“昆仑芯”。Kp6哈希力量 | 消除一切智能鸿沟

2023年3月16日下午两点,百度创始人、董事长、CEO李彦宏宣布文心一言正式发布。李彦宏介绍指出,文心一言具有文学创作、商业文案创作、多模态生成、数理逻辑推算、中文理解等能力。李彦宏在在开场白中表示:“百度文心一言‘十月怀胎’,终于‘一朝分娩’。”Kp6哈希力量 | 消除一切智能鸿沟

不过资本市场似乎察觉到了“文心一言”上市的急迫心理。发布会是两点准时开的,股票也是应声暴跌的。14时22分,百度股价跌幅扩大至近10%,截至收盘,百度当天下跌收至6.36%。记者在“文心一言”发布的第一时间尝试体验一下,却发现它的官网并不像ChatGPT一样拥有简单直接的搜索入口,进入文心一言(ERNIE Bot)页面需要点击上方的二级导航栏才能找到。重要的是,目前该页面依旧处于未开放状态,要想真正体验到中国版ChatGPT还需要等一等,这或许也是百度开了发布会,却导致股票下跌的原因之一。李彦宏也在发布会上直言:“作为国内大型企业中首家发布“类ChatGPT”产品的企业,百度之所以选择最先发布,是因为市场有需求,百度包括搜索、智能云以及小度音响等在内的产品,以及众多的合作伙伴,都等待着用这项技术,百度需要尽早的发布这项技术。”,“内测中“文心一言”并不完美,但市场有需求必须要推出来。”Kp6哈希力量 | 消除一切智能鸿沟

近年来百度的发展遭遇瓶颈,无论是家喻户晓的百度搜索,还是曾经人手必备的百度贴吧,都难以再取得往日辉煌,连“BAT”领头羊的“B”如今也被字节跳动取代。百度在旧战场失利,却在新赛道上蓄力已久。早在2016,李彦宏就已经在为AI摇旗呐喊,曾讲出“移动互联网的时代已经结束。”,“我看之前那些讲互联网下半场的人,今天都开始讲人工智能了。”Kp6哈希力量 | 消除一切智能鸿沟

不过这几年“AI”一直不冷不热,VR/AR、元宇宙、区块链等概念的炒作一波接一波,但都是雷声大雨点小,大部分都只是停在PPT上,百度就像“地主家的傻儿子”般持续押宝,自研的AI芯片“昆仑”系列持续迭代。进入2023年,ChatGPT的出现终于让“AI”真正热了起来。风口来临,有了芯片的百度还能再起飞吗?Kp6哈希力量 | 消除一切智能鸿沟

“文心一言”是表,“昆仑芯”是实Kp6哈希力量 | 消除一切智能鸿沟

2018年,自然语言处理NLP领域进入了LLM时代。谷歌出品的Bert模型,碾压了以往的所有模型,学会了如何从大量的数据中学习复杂的上下文联系。于此同时,OpenAI也基于Transformer模型发布了初代GPT。Transformer是一个利用注意力机制来提高模型训练速度的模型,它适用于并行化计算,可以对输入的文本进行重新编解码,通过各类矩阵函数,将输入数据分配到众多NPU中并行计算,最后输出最可能的结果,Bert和GPT都是Transformer的衍生品。Transformer的提出,使得深度学习模型参数突破了1亿,GPT-1也应用了上亿规模的参数量,数据集约有25亿单词量。Kp6哈希力量 | 消除一切智能鸿沟

此后OpenAI持续迭代GPT系列,GPT-2在GPT的基础上,添加了多个任务,扩增了数据集和模型参数,其参数量达到了15亿规模,使用了800万在Reddit被链接过的网页数据。GPT-3拥有1750亿个可调节参数,其语料库大小达到了45TB。而ChatGPT是基于GPT-3.5制造的,其可调参数与语料库训练量将更为惊人。GPT的每一代均相比前一代有了数量级的飞跃,百度要想将“文心一言”塑造一个比肩ChatGPT的AI大模型,其数据运算量绝不会小,起码在数量级上应处于同一水平。Kp6哈希力量 | 消除一切智能鸿沟

而处理这些海量语料库的背后,其实是成百上千颗AI芯片的并行计算。记者曾在之前的文章《ChatGPT如何驱使上千颗GPU为你工作》中讲到,若使用8张英伟达V100GPU计算45TB数据,需要连续工作36年,若将这些数据平均分布到1000张英伟达H100 GPU中,单颗ALU仅会分到2.6KB左右的计算量,总计算量将会减少至数天。即使是在用户使用模型的时候,也会有数量众多GPU藏在“大模型”背后为你计算。Kp6哈希力量 | 消除一切智能鸿沟

然而早在2022年8月26日,美国政府就向英伟达下达通知,要求对A100、H100进行新的出口管制许可,并立即生效。这也意味着中国的大模型计算也会受到美国限制,中国需要用自己的AI芯片来计算大模型了。中美在AI大模型上争得头破血流,看似是软件的比拼,实质上还是要在芯片上一决高下。Kp6哈希力量 | 消除一切智能鸿沟

“文心一言”和“ChatGPT”是表,“昆仑芯”与“英伟达”是实。Kp6哈希力量 | 消除一切智能鸿沟

百度“昆仑芯”的野望Kp6哈希力量 | 消除一切智能鸿沟

2021年6月,百度智能芯片及架构部门完成独立融资,成立昆仑芯(北京)科技有限公司,首轮估值约130亿元,百度芯片首席架构师欧阳剑出任昆仑芯公司CEO。在此之前一年,百度已经试产了第一代云端通用人工智能计算处理器“昆仑1”芯片,这在当时国内唯一一款经历过互联网大规模核心算法考验的云端AI芯片。在芯片部门独立融资两个月后,百度就宣布第二代昆仑芯片“昆仑2”正式量产。Kp6哈希力量 | 消除一切智能鸿沟

事实上,百度在AI领域的布局野心很大,“文心一言”只是基于百度文心大模型研发的其中一小步。这点在百度文心的官网上也能看到,对话功能仅仅占了文心大模型总体规划的一小块。假如没有ChatGPT的横空出世引爆全球,或许“文心一言”还得在项目档期表上躺个一年半载。Kp6哈希力量 | 消除一切智能鸿沟

“文心一言”之外, “昆仑芯”在自动驾驶上的押注要更多。阿波罗(Apollo)是百度发布的面向汽车行业及自动驾驶领域的合作伙伴提供的软件平台。整个系统基于文心大模型“感知 2.0”架构组建,其中昆仑系列芯片是该系统的核心,也是未来L4级别自动驾驶的必需要素。根据百度方面的说法,未来自动驾驶也会和“文心一言”进行整合。事实上微软已经尝试将ChatGPT与Bing搜索结合并取得了不错的成绩,未来百度也可以跟着微软的道路实行大模型商业化运营。Kp6哈希力量 | 消除一切智能鸿沟

不过押上了百度“身家性命”的昆仑芯,其落地应用却令人十分迷惑。目前国内AI芯片赛道玩家不少,寒武纪、地平线等均推出了自己的产品。在云计算领域,寒武纪已经拿下国内AI芯片市场的30%,仅次于英伟达。地平线也与上汽、一汽、蔚来等厂商深度合作,提供自动驾驶相关AI芯片。“昆仑”呢?自“昆仑2”量产已经过去两年,今天记者依旧很难从互联网上搜索到除百度之外的厂商应用昆仑芯片的痕迹。据了解,有消息称全国各地都有超算中心应用昆仑芯片,也有部分工业检测厂家购买了昆仑芯片的检测仪器,除此之外再难见踪迹,其具体应用情况难以查询。拆分出来的昆仑,似乎还是百度的一个部门,独立融资图啥?Kp6哈希力量 | 消除一切智能鸿沟

造芯火热Kp6哈希力量 | 消除一切智能鸿沟

目前谷歌、亚马逊、阿里巴巴、腾讯、字节跳动等互联网企业均投身造芯领域,百度只是其中动身较早的玩家。尤其是近年来美国持续加大对华半导体行业的限制,中国对于国产芯的需求愈发强烈,全国各地纷纷掀起了“造芯热潮”。但造芯哪有那么简单。Kp6哈希力量 | 消除一切智能鸿沟

芯片制造业是一项极为复杂、困难的技术活动,需要高超的人才、雄厚的资金和长期的研发投入。尤其是在制程工艺、芯片设计和设备研发等方面,需要积累大量的经验和技术储备。这些都需要中国政府、企业和投资者做出长期的努力和投入,以建立起一个可持续的芯片产业链。今天百度能抢在3月发布“文心一言”大模型,实际上背后已经有了近10年在AI行业的积累,虽然效果不尽如人意,但这仍然是国内唯一一款很快能上线的聊天大模型。“文心一言”背后的AI芯片技术,也是依托百度作为曾经全国前三的互联网企业的深厚资金功底支撑才能不停迭代。Kp6哈希力量 | 消除一切智能鸿沟

AI风口+造芯热潮,又会有一批企业将随之“起飞”,“昆仑”芯或许也会随着“文心一言”的完善成为资本热捧的对象。不过造芯可“飞”不得,盲目入局遇到坎坷,百度是遇冷,其他企业或许就是“灭顶之灾”。Kp6哈希力量 | 消除一切智能鸿沟

(文章插图未收录)Kp6哈希力量 | 消除一切智能鸿沟



收录于哈希力量,手机站省略本文固定网址