Nomic、Jina、CLIP 的衍生模型都做過(guò)嘗試，但它們要么只覆蓋兩三種模態(tài)，要么精度不夠，總結(jié)來(lái)說(shuō)就是能用但不好用。
更關(guān)鍵的是，市面上絕大多數(shù)嵌入模型，本質(zhì)上仍然是“文本優(yōu)先”的。
想搜索一段視頻？先把視頻轉(zhuǎn)錄成文字，再對(duì)文字做嵌入。這個(gè)中間步驟不僅拖慢速度，還不可避免地?fù)p耗語(yǔ)義。
畫面的構(gòu)圖、音樂(lè)的情緒、說(shuō)話人的語(yǔ)氣，這些只存在于原始模態(tài)中的微妙信號(hào)，在轉(zhuǎn)錄為文字的那一刻就已經(jīng)不存在了。
Gemini Embedding 2的做法則完全不同。
它原生理解聲波和動(dòng)態(tài)畫面，直接將五種模態(tài)映射到同一個(gè)3072維的語(yǔ)義空間里，不需要任何中間轉(zhuǎn)譯。
法律科技公司Everlaw在使用embedding 2模型處理訴訟發(fā)現(xiàn)（litigation discovery）流程時(shí)，跨數(shù)百萬(wàn)條記錄的檢索召回率提升了20%；另一家企業(yè)Sparkonomy則發(fā)現(xiàn)，相比此前的多管道方案，延遲降低了70%，語(yǔ)義相似度得分直接翻倍。
聰明的大腦固然重要，但如果這個(gè)大腦看不見(jiàn)、聽(tīng)不到、摸不著真實(shí)世界里那些紛繁復(fù)雜的多模態(tài)信息，它就像一個(gè)被關(guān)在漆黑房間里的天才，再聰明也無(wú)處施展。
所以谷歌的策略是：與其在上層應(yīng)用上和對(duì)手肉搏，不如直接去修路、定標(biāo)準(zhǔn)。
標(biāo)準(zhǔn)從何定起？前提在于，每一家大模型廠商的嵌入標(biāo)準(zhǔn)是完全不兼容的。
同一張照片，在谷歌的語(yǔ)義空間里坐標(biāo)可能是 (1, 2)，到了 OpenAI 的體系里就變成了 (9, 8)。谷歌自己的文檔也明確指出，從上一代gemini-embedding-001升級(jí)到Embedding 2，所有已有數(shù)據(jù)都必須重新嵌入，兩代模型生成的向量之間無(wú)法直接比較。
一旦企業(yè)用了谷歌的模型為積攢多年的圖片、音頻、視頻建立了索引，想要遷移到其他平臺(tái)，就意味著把全部數(shù)據(jù)重新投喂、重新計(jì)算。這種耗費(fèi)巨大算力和時(shí)間的索引重建工程，會(huì)讓企業(yè)在不知不覺(jué)中被深度綁定到谷歌的生態(tài)里。
谷歌深諳此道，并且在加速這種綁定。
Embedding 2發(fā)布當(dāng)天就已經(jīng)集成了LangChain、LlamaIndex、Haystack、Weaviate、Qdrant、ChromaDB、Pinecone 等幾乎所有主流AI開(kāi)發(fā)框架和向量數(shù)據(jù)庫(kù)，官方Colab示例代碼以Apache 2.0許可證開(kāi)源，文本嵌入定價(jià)僅0.20美元/百萬(wàn)token，批量調(diào)用再打五折。
這套動(dòng)作的意圖非常清晰：讓開(kāi)發(fā)者和企業(yè)以低門檻的方式涌入，等到數(shù)據(jù)沉淀到一定規(guī)模，遷移成本就會(huì)像滾雪球一樣越滾越大。
“我們開(kāi)發(fā)和利用人工智能潛力的方法根植于我們的創(chuàng)始使命——組織世界信息，使其普遍可訪問(wèn)且實(shí)用。”這是2023年谷歌官網(wǎng)發(fā)布的《我們?yōu)槭裁搓P(guān)注人工智能以及目的是什么》中的一句話。
從幫助科學(xué)家探索蛋白質(zhì)折疊的 AlphaFold，到針對(duì)數(shù)學(xué)和物理頂級(jí)難題推出的Gemini DeepThink模式，再到這次的跨模態(tài)檢索，谷歌確實(shí)在一步步兌現(xiàn)這個(gè)承諾。
Gemini Embedding 2支持超過(guò)100種語(yǔ)言，擁有8192個(gè)token的上下文窗口（大約對(duì)應(yīng)4000到5000個(gè)中文字符），每次請(qǐng)求最多可以處理6張圖片、120秒的視頻以及6頁(yè)的PDF。
在基準(zhǔn)測(cè)試中，它的多語(yǔ)言檢索、代碼檢索和圖文檢索得分全面超越了Amazon Nova 2和Voyage 3.5。
但真正讓這件事具有里程碑意義的，不只是跑分?jǐn)?shù)字，而是它所瞄準(zhǔn)的那片無(wú)人深海。
根據(jù)IDC 2023年的報(bào)告，視頻、音頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)占到了全球數(shù)據(jù)總量的92.9%，即便到2028年，這個(gè)比例預(yù)計(jì)也只會(huì)降到82.3%。
換句話說(shuō)，人類產(chǎn)生的絕大多數(shù)信息——會(huì)議錄音、產(chǎn)品視頻、設(shè)計(jì)圖稿、監(jiān)控畫面由于其非結(jié)構(gòu)化特征，長(zhǎng)久沉寂在茫茫的互聯(lián)網(wǎng)世界中無(wú)法被按需打撈，就像一個(gè)個(gè)封閉的黑盒。
以前要對(duì)這些黑盒數(shù)據(jù)進(jìn)行語(yǔ)義比對(duì)、建立索引，主流所采用的是“雙編碼器”架構(gòu)，OpenAI的CLIP就是如此。
一個(gè)視覺(jué)編碼器處理圖片，一個(gè)文本編碼器處理文字，兩個(gè)編碼器各自獨(dú)立運(yùn)行，最后再通過(guò)對(duì)比學(xué)習(xí)把它們的輸出對(duì)齊到同一個(gè)空間里。
谷歌Cloud團(tuán)隊(duì)在技術(shù)博客中寫到：因?yàn)閮蓚€(gè)編碼器是分開(kāi)的，它們只在最后階段才見(jiàn)面，所以錯(cuò)過(guò)了在網(wǎng)絡(luò)中間層形成深層跨模態(tài)連接的機(jī)會(huì)。
就好比兩個(gè)翻譯各自把一本書翻成了不同的語(yǔ)言，然后試圖在目錄層面對(duì)齊。它們的字面意思或許能對(duì)上，但原文中那些微妙的語(yǔ)境、情緒，在這個(gè)過(guò)程中已經(jīng)丟失了。
到了Gemini Embedding 2這里，當(dāng)模型處理一張配有文字說(shuō)明的產(chǎn)品圖時(shí)，它不是分別理解圖片和文字再拼接結(jié)果，而是像人類一樣，把視覺(jué)信息和語(yǔ)言信息當(dāng)作一個(gè)整體來(lái)感知。
這也造就了檢索的一種新玩法：交錯(cuò)輸入（interleaved input）。
開(kāi)發(fā)者可以在一次API調(diào)用中同時(shí)傳入一段文字、三張圖片和一段音頻，模型會(huì)返回一個(gè)捕捉了所有跨模態(tài)關(guān)系的統(tǒng)一向量。
說(shuō)得再直觀一點(diǎn)。比如一家電商平臺(tái)想做“以圖搜物”功能，但用戶的需求比較復(fù)雜：他拍了一張朋友穿的外套照片，同時(shí)輸入文本：“和這個(gè)款式類似但顏色要偏暖”。
在傳統(tǒng)方案下，系統(tǒng)只能要么理解圖片、要么理解文字，總是顧此失彼，兩條線索無(wú)法合流。
而交錯(cuò)輸入允許模型生成一個(gè)同時(shí)編碼了“外套版型”和“暖色調(diào)”的統(tǒng)一向量，再用這個(gè)向量去商品庫(kù)里做檢索。
兩種模態(tài)的信息在向量層面真正交匯成了一個(gè)完整的意圖。
如果說(shuō)用自然語(yǔ)言編程標(biāo)志著我們進(jìn)入了Vibe Coding時(shí)代，那么拿著一段描述、一張圖、一段音頻就能找到高度匹配的多模態(tài)內(nèi)容，標(biāo)志著我們正在進(jìn)入Vibe Searching時(shí)代。
當(dāng)新embedding模型接入谷歌Workspace以后，Gemini可以準(zhǔn)確分析那些混合了圖片和表格的金融文檔；在Gmail里，你記不清楚郵件的關(guān)鍵詞，你只需要給個(gè)模糊信息就能找到那封郵件。接入YouTube，用戶即便忘了視頻標(biāo)題和博主名字，只要描述視頻的內(nèi)容和風(fēng)格，就能精準(zhǔn)找到對(duì)應(yīng)的視頻。
模型不再是對(duì)關(guān)鍵詞做匹配，而可以理解審美、風(fēng)格和氛圍。
搜索的本質(zhì)也對(duì)應(yīng)發(fā)生變化：從前要精確匹配關(guān)鍵詞，現(xiàn)在只需模糊表達(dá)意圖。
你不再需要知道你要找的東西叫什么，你只需要告訴它，這個(gè)東西給你的感覺(jué)是什么。
這個(gè)轉(zhuǎn)變對(duì)內(nèi)容行業(yè)的沖擊尤其值得關(guān)注。如今的內(nèi)容推薦極度依賴人工打標(biāo)簽，沒(méi)被標(biāo)注的好內(nèi)容往往石沉大海。
模型理解不了一個(gè)作品的好，因?yàn)樗荒芄铝⒌乜串嬅妗⒙?tīng)音樂(lè)、讀文案。
現(xiàn)在的AI無(wú)法像人類一樣對(duì)美感有意會(huì)。
而Gemini Embedding 2卻能從綜合視角去“意會(huì)”一個(gè)作品，仿佛擁有了人類審美。
它可以聽(tīng)出這首歌的旋律氣質(zhì)和某類用戶的聽(tīng)歌偏好之間的語(yǔ)義距離，然后把它推到對(duì)的人面前。好內(nèi)容不再需要會(huì)自我營(yíng)銷，它只需要是好內(nèi)容。
企業(yè)的知識(shí)管理也是同理。
比如說(shuō)一家運(yùn)營(yíng)了十年的制造企業(yè)，它的網(wǎng)盤里躺著上萬(wàn)份技術(shù)手冊(cè)、產(chǎn)品圖紙、質(zhì)檢報(bào)告和會(huì)議錄音。
某天一個(gè)新入職的工程師遇到了一個(gè)良品率異常的問(wèn)題，他隱約記得老師傅提過(guò)類似的案例，但不知道記錄在哪里。
可能某個(gè)PDF里的一張圖表中提到過(guò)類似的事情，也可能是某次會(huì)議錄音里的一段討論。以前他只能挨個(gè)問(wèn)人、翻文件夾碰運(yùn)氣。
而在跨模態(tài)檢索的加持下，他可以直接描述問(wèn)題的特征，系統(tǒng)就能從圖表、錄音、文檔中同時(shí)檢索，把三年前一位已經(jīng)離職的老哥在某次會(huì)議上提到的解決方案精準(zhǔn)地調(diào)出來(lái)。
企業(yè)最寶貴的經(jīng)驗(yàn)不再系于某個(gè)人的記憶，知識(shí)庫(kù)從一個(gè)堆放雜物的倉(cāng)庫(kù)，變成了一個(gè)隨時(shí)響應(yīng)、迅速調(diào)用的實(shí)時(shí)大腦。
更遠(yuǎn)一些看，在具身智能領(lǐng)域，跨模態(tài)嵌入可能成為機(jī)器人理解物理世界的基礎(chǔ)設(shè)施。當(dāng)一個(gè)倉(cāng)儲(chǔ)機(jī)器人聽(tīng)到“把那個(gè)紅色的、摸起來(lái)比較軟的東西拿過(guò)來(lái)”時(shí)，它可以同時(shí)處理語(yǔ)言指令、視覺(jué)識(shí)別和觸覺(jué)記憶，并在語(yǔ)義空間中找到這三者的交匯點(diǎn)。
在統(tǒng)一的向量空間里建立視覺(jué)、聽(tīng)覺(jué)與邏輯的通感，這恰恰是Gemini Embedding 2所擅長(zhǎng)的事情，讓機(jī)器人不再機(jī)械地執(zhí)行預(yù)設(shè)指令，而是像人一樣在真實(shí)的物理空間中感知、判斷、行動(dòng)。
谷歌已經(jīng)出手了。留給對(duì)手的時(shí)間窗口，正在關(guān)閉。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論