解決方案

在通過(guò)了解與學(xué)習(xí)后，維塑科技決定選擇市面上已有的大語(yǔ)言模型進(jìn)行微調(diào)與訓(xùn)練。但如何選擇一個(gè)合適的模型來(lái)更好的匹配相應(yīng)的業(yè)務(wù)是維塑科技面臨的首要問(wèn)題。最初，維塑科技選擇了市面上流行的大模型作為基礎(chǔ)模型進(jìn)行訓(xùn)練，但在使用過(guò)程中發(fā)現(xiàn)，模型使用成本高，且會(huì)有延遲問(wèn)題。另外，由于是閉源模型，因此無(wú)法更深入的進(jìn)行調(diào)參，有針對(duì)性地滿足業(yè)務(wù)需求。

在 Amazon SageMaker 中輕松構(gòu)建由 20 多萬(wàn)數(shù)據(jù)集訓(xùn)練的大語(yǔ)言模型

亞馬遜云科技服務(wù)團(tuán)隊(duì)針對(duì)維塑科技的業(yè)務(wù)需求，以及對(duì)市面上大模型的深入了解，認(rèn)為開(kāi)源的中文大模型更能符合維塑科技的需求，在亞馬遜云科技建議下，維塑科技最終選擇了清華大學(xué)研發(fā)的、支持中英雙語(yǔ)的開(kāi)源對(duì)話語(yǔ)言模型 ChatGLM 為基礎(chǔ)模型，并在 Amazon SageMaker 中進(jìn)行構(gòu)建。 Amazon SageMaker 擁有完全托管的機(jī)器學(xué)習(xí)服務(wù)能力，可以幫助維塑科技進(jìn)行模型的部署和管理。

技術(shù)選型完成后，亞馬遜云科技配合維塑科技進(jìn)行 20 多萬(wàn)語(yǔ)料數(shù)據(jù)集的準(zhǔn)備，并以 ChatGLM 為基礎(chǔ)模型在高性能的計(jì)算資源 Amazon Elastic Compute Cloud P4d（Amazon EC2 P4） 實(shí)例上運(yùn)用已 POC 驗(yàn)證的 Amazon SageMaker Notebook 腳本做全量微調(diào)，Amazon EC2 P4 實(shí)例是一種強(qiáng)大的 GPU 實(shí)例，適用于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)等計(jì)算密集型任務(wù)。維塑科技可以利用這些實(shí)例進(jìn)行大規(guī)模模型訓(xùn)練和推理，以滿足其應(yīng)用的需求。

波峰波谷不用怕，無(wú)需手動(dòng)管理，輕松擴(kuò)展實(shí)例

亞馬遜云科技也為維塑科技波峰波谷較為明顯的業(yè)務(wù)特點(diǎn)提供了解決方案，利用 Amazon SageMaker AutoScaling 的能力，系統(tǒng)可以自動(dòng)按照負(fù)載調(diào)整需要的資源，在業(yè)務(wù)高峰期，該工具能自動(dòng)增加資源供給，確保系統(tǒng)穩(wěn)定、響應(yīng)迅速；而在業(yè)務(wù)低谷期，它則能減少資源使用，避免浪費(fèi)，降低成本。通過(guò)使用 Amazon SageMaker AutoScaling，維塑科技可以確保在任何時(shí)候都能滿足用戶的需求，同時(shí)也能大大降低運(yùn)營(yíng)成本。這種自動(dòng)調(diào)整資源的方式，不僅提供了業(yè)務(wù)連續(xù)性的保障，也為企業(yè)帶來(lái)了實(shí)質(zhì)的經(jīng)濟(jì)效益。