询价 | 在线问答
机架闭联用度这还没有算，务器险些占用全豹法式机柜）和消费的电费（9台4U服。 0B的模子倘使是7，INT8同样是，600张卡要用到起码，台任职器快要80，会更高本钱。 切的投资人k_zeroS分享按照推特上与Groq联系密，与GPU天渊之别LPU的作事道理。struction Set Computer）架构它采用了时序指令集企图机（Temporal In，M）的GPU那样经常地从内存中加载数据这意味着它无需像利用高带宽存储器（HB。避免HBM缺少的题目这一特质不只有帮于，下降本钱还能有用。 成式AI中正在古代的生，日常的事项守候是稀松，个个蹦出字符一，解答完毕半天禀能。放的云任职体验平台上但正在Groq即日开，是一秒一屏你看到的会。到提示后当模子收，即天生谜底险些可能立。仅切实可托这些谜底不，有援用还附，到数百个单词长度更是达。 诠释了一下LPU和GPU的分歧另一位安卡拉大学的帮教更情景的，象一下“思，个工人你有两，们称他们为“LPU”）一个来自Groq（我，（咱们称之为“GPU”）另一个来自Nvidia。速清理一大堆文献两人的使命都是尽。 章对标的是英伟达H100目前社交媒体广博撒播的文，0G的HBM其采用的是8，个7B的大模子实例这个容量可能安置5；来看算力咱们再，化后寥落，6下的算力快要2PH100正在FP1，上也快要4P正在INT8。 上算了一笔账贾扬清正在推特，内存容量（230MB）由于Groq幼的可怜的，-2 70b模子时正在运转Llama，roq卡才足够必要305张G，则只必要8张卡而用H100。代价来看从目前的，平等模糊量下这意味着正在，是H100的40倍Groq的硬件本钱，是10倍能耗本钱。 
的规格中从芯片fun88官方网站，，SRAM的容量是230MB可能看到几个症结新闻点：，TB/s带宽80，188TFLOPsFP16的算力是。 超越了英伟达？对此Groq是否真的，达了本人差别的见识姚金鑫（J叔）也表： 方面另一，一个高效机闭使命的工人Groq的LPU就像，么速地交付文献他们不必要那，的更幼的桌子（这就像SRAM以是用了一张就放正在他们身边，幼的存储器）一种更速但更，即刻获取所需的东西以是他们险些可能。速交付体例的状况下急迅作事这意味着他们可能正在不依赖速。 q复造他正在谷歌的得胜体会罗斯等人的对象是正在Gro，部芯片项目打造一个内，向新身手迈进引颈全豹行业。少数症结客户他盼望吸引，为公司供给安闲的收入来历通过广博安置Groq芯片，的独立繁荣胀舞公司。前目，向潜正在客户发送样品这家草创公司已最先。 公然基准测试结果按照其模子的初度，eal模子正在企图和反映速率上远超ChatGPTGroq云任职搭载的Llama2或Mistr。机能的背后这一优异，M）量身定造的专用芯片（ASIC）是Groq团队为狂言语模子（LL，成高达500个 token它使得Groq每秒可能生。之下比拟，本每秒只可天生约莫40个token目前ChatGPT-3.5的公然版。 天禀刷屏固然今，初出茅庐的新创企业但Groq公司并非。际上实，于2016年该公司创办，了Groq牌号并正在那时就注册。11月客岁，智能模子Grok时当马斯克发表人为，一篇作品说马斯克撞名本人的公司Groq公司的开采者们就发了。挺逗的信写的，们是一点没吃到但这波流量他。 
模子磨练必要的数据量远幼鉴于AI的推理企图相较于，PU于是更节能Groq的L。理使命时正在履行推，读取的数据更少它从表部内存，vidia的GPU消费的电量也低于N。 中提到原文，en天生速率是750 Tokens/sGroq对Llama2-7B的Tok，H100任职器倘使对标的是，颗的H100芯片那这2台总共16，不明白哪里去了并发模糊就高到。本的角度倘使从成，oq任职器9台的Gr，器（尽管今朝代价仍旧高到离谱）也是远远贵过2台H100的任职。 采用Groq的LPU倘使正在AI惩罚场景中，GPU修设卓殊的存储治理计划能够就无需为Nvidia 。样对存储速率有极高哀求LPU并不像GPU那。公司宣传Groq，巨大的芯片和软件其身手可能通过其，代GPU的脚色正在AI使命中取。 
以做个对照那么就可，等算力来看倘使从同，NT8来推理倘使都是用I，台包蕴72片的任职器集群采用Groq的计划必要9，H100而倘使是，必要2台8卡任职器到达平等算力约莫，算力仍旧到64P此时的INT8，模子数目到达80多个可能同时安置的7B大。 话反过来现正在把句，正在很有限的单卡模糊才能上的Groq极高的速率是开发。00同样模糊量要保障和 H1，更多的卡你就必要。 PU必要依赖高速数据传输差别于Nvidia G，有采用高带宽存储器（HBM）Groq的LPU正在其体例中没。是SRAM它利用的，的存储器速约20倍其速率比GPU所用。 的容量是230MB其卓殊内存SRAM，TB/s带宽80，算力为188TFLOPs正在INT8、FP16下。 速率很速的工人GPU就像一个，或HBM）将全面文献急迅传送到他们的办公桌上但也必要利用高速传送体例（这就像高带宽存储器。能够很高贵这个别例，为HBM产能有限）有时很可贵到（因。 海潮中的绝对当先位子“英伟达正在本次AI，首以盼挑拨者使得环球都翘。眼球的作品每次吸引，初被人信赖总会正在最，情由以表除了这个，比时的“套道”依旧由于正在做对，其他要素用意忽视，度来做比拟用简单维。言“扔开底细不道这就比如那句名，点错的地方吗？岂非你就没有一” 
系构造）意味着它不必不绝站起来从堆里抢更多的论文LPU机闭作事的卓殊式样（这是时态指令集企图机体。PU差别这与G，体例供给更多的文献GPU延续必要高速。” 模子的推理安置服从今朝对大，14G以上的内存容量7B的模子约莫必要，一个7B的模子那么为了安置，片控造的芯片约莫必要70，露的新闻按照透，应一张企图卡一颗芯片对，置8张企图卡来企图服从4U任职器配，险些占了一个法式机柜了）就必要9台4U任职器（，颗企图芯片总共72，状况下正在这种，188T * 72 = 13.5P算力（正在FP16下）也到达了惊人的，8来算便是54P倘使服从INT。推理7B的大模子54P的算力来，描画一点也不为过用大炮打蚊子来。 ·舒默（Matt Shumer）正在演示中亲身体验了Groq的巨大性能电子邮件草创企业Otherside AI的首席履行官兼拉拢创始人马特。oq速如闪电他歌唱Gr，数百个单词的底细性、援用性谜底可能正在不到一秒钟的岁月内天生。吃惊的是更令人，岁月用于寻求新闻它凌驾3/4的，短到只要几分之一秒而天生谜底的岁月却。 来道对照扔开场景，不相宜的实在是。这种架构来讲看待Groq，处的操纵场景也有其尽显长，高的带宽终于这么，据搬运的场景来说对很多必要经常数，好只是了那便是再。 
团队也相对较幼Groq目前的，加州山景城其总部位于，80余名员工该公司仅有1，造商所需工程师数目的四分之一以至还不到英特尔等大型芯片造。 对着许多潜正在的题目固然Groq还面，GPU以表的能够道途但它依旧让人看到了。背后的超强团队这闭键得益于其。 相仿于晦气用那么无数据的人为智能使命）看待不必要查看堆中每一篇文献的使命（，以至更好LPU。常一律来回挪动它不必要像往，了能源既节约，结束作事又能急迅。 猎杀大象“这就像，斯说道”罗，就能支持本人的性命“你只必要少数猎物，这样弱幼的工夫越发正在咱们还。” 以是能猛然产生这一次他们之，oq云任职的上线闭键是由于Gr，不卡顿的AI用起来有多爽让大师真的能切身感想一下。 U之父”的前谷歌员工乔纳森·罗斯Groq的CEO是被称为“TP；特曼也来自谷歌TPU团队拉拢创始人性格拉斯·怀，了四家公司并先后创立。云企图任职AWS策画算力硬件的担负人该公司首席身手官吉姆·米勒曾是亚马逊，cintosh的商场发表CMO曾主导了苹果Ma。 
开采的用户歌唱有从事人为智能，品的“游戏规定变革者”Groq是探求低延迟产，求到获取反映所需的岁月低延迟指的是从惩罚请。户则默示另一位用，人为智能操纵需求方面竣工“革命性提拔”Groq的LPU正在将来希望对GPU正在，00芯片的“高机能硬件”的有力取代品并以为它能够成为英伟达A100和H1。 刚刷屏的工夫正在Groq刚，闪电速率的震动之中AI行业都重溺正在它。撼事后然而震，大佬一算账许多行业，价钱能够有点高发掘这个速的。 起来总结，构开发正在幼内存Groq的架，力上大算，实质对应着极高的算力于是有限的被惩罚的，度特别速导致其速。