英伟达发布新人工智能芯片,CEO黄仁勋:大模型运行成本将大幅降低
来源:富途牛牛 发布时间:2023-08-09 08:49:01

8月9日,英伟达宣布推出一款新芯片,旨在在人工智能硬件领域抵御竞争对手,包括AMD、谷歌和亚马逊。

据估计,目前英伟达在AI芯片市场占据了超过80%的市场份额。该公司的专长是图形处理单元(GPU),已成为支撑生成式人工智能软件(如谷歌的Bard和OpenAI的ChatGPT)的大型AI模型的首选芯片。但由于科技巨头、云服务提供商和初创企业争夺GPU容量来开发自己的AI模型,英伟达的芯片供应短缺。


(资料图片仅供参考)

英伟达最新发布的芯片GH200,与该公司目前最高端的AI芯片H100采用相同的GPU。但GH200还配备了141GB的尖端内存和一个72核的ARM中央处理器。

英伟达CEO黄仁勋在周二的演讲中表示:“我们给这个处理器加了一些提升。”他补充说:“这个处理器是为全球数据中心的规模而设计的。”

据黄仁勋透露,这款新芯片将于明年第二季度在英伟达的经销商处上市,并计划在年底前提供样品。英伟达的代表拒绝透露价格。

通常,处理AI模型的过程至少分为两个部分:训练和推理。

首先,使用大量数据对模型进行训练,这个过程可能需要数月时间,有时需要数千个GPU,例如英伟达的H100和A100芯片。

然后,该模型将在软件中用于进行预测或生成内容,这个过程称为推理。与训练类似,推理需要大量的计算资源,并且每次软件运行时都需要大量的处理能力,例如生成文本或图像时。但与训练不同,推理是几乎持续进行的,而训练只在需要更新模型时才需要进行。

黄仁勋表示:“你可以将几乎任何大型语言模型放入其中,它将进行疯狂的推理。大型语言模型的推理成本将大幅降低。”

英伟达的新芯片GH200专为推理而设计,因为它具有更大的内存容量,可以容纳更大的AI模型在单个系统中。英伟达副总裁伊恩·巴克在与分析师和记者的电话会议上表示,英伟达的H100具有80GB的内存,而新的GH200则有141GB的内存。英伟达还宣布推出了一种将两个GH200芯片组合到一台计算机中的系统,以支持更大的模型。

巴克表示:“更大的内存使得模型可以常驻在单个GPU上,而不需要多个系统或多个GPU来运行。”

此次宣布正值英伟达的主要GPU竞争对手AMD推出面向AI的芯片MI300X,该芯片支持192GB的内存,并被市场推广为适用于AI推理。谷歌和亚马逊等公司也正在设计自己的定制AI芯片用于推理。

编辑/jayden

标签:

猜你喜欢

英伟达发布新人工智能芯片,CEO黄仁勋:大模型运

8月9日,英伟达宣布推出一款新芯片,旨在在人工智能硬件领域抵御竞争对更多

2023-08-09 08:49:01

减肥药还能降低心血管风险,华尔街疯狂做多相关概

在诺和诺德宣布旗下一款减肥药对心脏有益后,华尔街对瘦身概念股的热情更多

2023-08-09 08:57:22

公告精选︱理想汽车Q2营收同比大增约228%;中国电

重磅公告1、$中国电信(00728 HK)$:上半年净利润202亿元,同比增长10 2更多

2023-08-09 08:48:41

生成式AI添利器!英伟达推出超级芯片GH200 Grace

摘要GH200Grace芯片搭载全球首款HBM3e处理器,可通过英伟达的NVLink技更多

2023-08-09 07:49:55

喜忧参半!Rivian上调全年产量指引,但预计亏损仍

美东时间周二,$RivianAutomotive(RIVN US)$公布了2023财年第二季度财更多

2023-08-09 07:50:42

市值暴跌超万亿,苹果急需AI大模型「新解药」

「慢半拍」的苹果,加速追赶AI大模型。在交出连续三个季度负增长的业绩更多

2023-08-09 05:49:44

英伟达宣布推出新一代GH200 Grace Hopper超级芯

英伟达宣布推出新一代GH200GraceHopper超级芯片,同时宣布基于GH200构更多

2023-08-09 05:58:40

股票下跌的原因,只有这一点是最直接的

一、风险偏好是如何影响股价的?如果只看直接原因,股价为什么会下跌呢更多

2023-08-09 05:58:54

穆迪重磅下调10家美国银行评级,并将一些知名银行

香港万得通讯社报道,穆迪下调了许多美国中小银行的信用评级,并将几家更多

2023-08-08 22:46:57

拒绝认输!小摩顽固空头坚持唱衰美股,看好防御板

智通财经APP获悉,摩根大通全球市场策略团队表示,如果美国经济软着陆更多

2023-08-08 22:58:51