免费看在线a黄视频|99爽99操日韩毛片儿|91停婷在线无码观看|日韩三级片小视频|一级黄片免费播放|欧美成人视频网站导航|亚洲日韩欧美七区|国产视频在线观看91|人成视频免费在线播放|国产精品成人在线免费观看

鈦媒體App 2月21日消息，一家名為Groq的初創(chuàng)公司在AI圈爆火。主要因其自研的LPU芯片在AI推理技術(shù)上，通過(guò)優(yōu)化架構(gòu)和減少內(nèi)存瓶頸，實(shí)現(xiàn)了高效率和低延遲，在處理大模型時(shí)的速度遠(yuǎn)超英偉達(dá)GPU，每秒生成速度接近500 tokens，而GPT-4僅40tokens。 不過(guò)，原Facebook人工智能科學(xué)家，原阿里技術(shù)副總裁賈揚(yáng)清發(fā)文分析，因?yàn)镚roq小的可憐的內(nèi)存容量（230MB），在運(yùn)行Llama-2 70b模型時(shí)，需要305張Groq卡才足夠，而用H100則只需要8張卡。從目前的價(jià)格來(lái)看，這意味著在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。如果運(yùn)行三年的話，Groq的硬件采購(gòu)成本是1144萬(wàn)美元，運(yùn)營(yíng)成本是76.2萬(wàn)美元或更高。8卡H100的硬件采購(gòu)成本是30萬(wàn)美元，運(yùn)營(yíng)成本是7.2萬(wàn)美元或略低。