優(yōu)刻得發(fā)布新一代GPU虛擬化技術(shù)，小模型推理資源利用率最高提10倍
2025.12.01 17:15?
刻得發(fā)布新一代GPU虛擬化技術(shù)，小模型推理資源利用率最高提10倍--鈦媒體快報(bào)】鈦媒體App 12月1日消息，優(yōu)刻得發(fā)布新一代GPU虛擬化技術(shù)，可將單張GPU精細(xì)切分為多個(gè)虛擬算力單元，最小粒度達(dá)10%，支持單卡并行多項(xiàng)AI任務(wù)。該技術(shù)通過(guò)輕量級(jí)用戶態(tài)截獲，實(shí)現(xiàn)顯存與算力的強(qiáng)隔離與可控分配，虛擬化損耗僅1%–3%，兼容PyTorch等主流框架，并支持NVIDIA、昇騰、寒武紀(jì)、沐曦等異構(gòu)芯片，可構(gòu)建跨節(jié)點(diǎn)共享的算力池。在7B/13B小模型推理和高?？蒲协h(huán)境中，資源利用率最高提升10倍。（廣角觀察）&pic=https://images.tmtpost.com/uploads/images/2023/10/20231026171706975.png)
17
19
鈦媒體App 12月1日消息，優(yōu)刻得發(fā)布新一代GPU虛擬化技術(shù)，可將單張GPU精細(xì)切分為多個(gè)虛擬算力單元，最小粒度達(dá)10%，支持單卡并行多項(xiàng)AI任務(wù)。該技術(shù)通過(guò)輕量級(jí)用戶態(tài)截獲，實(shí)現(xiàn)顯存與算力的強(qiáng)隔離與可控分配，虛擬化損耗僅1%–3%，兼容PyTorch等主流框架，并支持NVIDIA、昇騰、寒武紀(jì)、沐曦等異構(gòu)芯片，可構(gòu)建跨節(jié)點(diǎn)共享的算力池。在7B/13B小模型推理和高?？蒲协h(huán)境中，資源利用率最高提升10倍。（廣角觀察）
優(yōu)刻得-W
本文內(nèi)容僅供參考，不構(gòu)成投資建議，請(qǐng)謹(jǐn)慎對(duì)待。
投資日歷
更多
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論