小紅書開源首個大模型，預(yù)訓(xùn)練未使用合成數(shù)據(jù)
2025.06.10 09:12?
訓(xùn)練未使用合成數(shù)據(jù)--鈦媒體快報】鈦媒體App 6月10日消息，小紅書開源了首個大模型dots.llm1，小紅書方面稱，dots.llm1是一個1420億參數(shù)的混合專家模型（MoE），在推理過程中僅激活140億參數(shù)，能保持高性能的同時大幅度降低訓(xùn)練和推理成本。此外，dots.llm1.ins在預(yù)訓(xùn)練階段使用了11.2萬億的非合成數(shù)據(jù)，最終性能與阿里Qwen3-32b相比，在中英文、數(shù)學(xué)、對齊任務(wù)上表現(xiàn)接近。（廣角觀察）&pic=https://images.tmtpost.com/uploads/images/2023/10/20231026171706975.png)
19
12
鈦媒體App 6月10日消息，小紅書開源了首個大模型dots.llm1，小紅書方面稱，dots.llm1是一個1420億參數(shù)的混合專家模型（MoE），在推理過程中僅激活140億參數(shù)，能保持高性能的同時大幅度降低訓(xùn)練和推理成本。此外，dots.llm1.ins在預(yù)訓(xùn)練階段使用了11.2萬億的非合成數(shù)據(jù)，最終性能與阿里Qwen3-32b相比，在中英文、數(shù)學(xué)、對齊任務(wù)上表現(xiàn)接近。（廣角觀察）
本文內(nèi)容僅供參考，不構(gòu)成投資建議，請謹(jǐn)慎對待。
投資日歷
更多
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論