場景描述
德比軟件處理全球超過 22.7 萬家酒店數(shù)據(jù)，每月處理超過 1800 萬酒店間夜數(shù)，致力于用領先技術為不同企業(yè)系統(tǒng)提供數(shù)據(jù)對接和數(shù)據(jù)集成，包括酒店供應商、分銷商、垂直搜索引擎、旅游技術服務商等之間。德比軟件讓 BI 報表開發(fā)融入各產品業(yè)務中，成為不可或缺的工具和服務。
德比軟件于 2020 年構建了 BI 系統(tǒng)，然而，不同酒店和 OTA（Online Travel Agency，在線旅游服務商）之間系統(tǒng)對接復雜，數(shù)據(jù)量龐大，數(shù)據(jù)瞬時變化多，各業(yè)務團隊臨時數(shù)據(jù)分析需求千變萬化，跨業(yè)務團隊的數(shù)據(jù)查詢需求層出不窮，外部 BI 解決方案需求迸發(fā)，這些內部/外部的海量、個性化需求超出當前 BI 系統(tǒng)的處理能力，所以給德比軟件的 BI 開發(fā)團隊提出亟需解決的問題，如下：
- 部分報表需求響應慢：部分報表分析為低頻需求，在 BI 系統(tǒng)找不到相應的數(shù)據(jù)支撐；由于時差的原因，無法及時響應美國或歐洲團隊提出的需求；
- 數(shù)據(jù)分析門檻高：普通業(yè)務人員往往不懂 SQL 語言 (Structured Query Language，結構化查詢語言），難以進行數(shù)據(jù)解讀與分析；
- 定制化數(shù)據(jù)分析耗時耗力：個性化的定制需求會越來越多，這些需求只能依靠有經驗的數(shù)據(jù)分析師來開發(fā)，通常需要花費數(shù)天或數(shù)周；
- 數(shù)據(jù)價值未被挖掘和利用：海量的數(shù)據(jù)未能盤活，如何從中挖掘、分析出對業(yè)務有啟發(fā)的洞察，進而獲得商業(yè)價值是長期難題。
解決方案
面向海外客戶提供服務時，德比軟件通過亞馬遜云科技 Amazon Bedrock 訪問業(yè)界領先 LLM（Large Language Model，大語言模型），基于此構建 ChatBI。首先，借助 LLM 優(yōu)秀的歸因能力與上下文理解能力，可根據(jù)用戶輸入的自然語言進行意圖識別，判斷是否屬于 BI 問題；其次，基于 LLM 良好的推理與歸因能力，ChatBI 可根據(jù)提示詞自動生成對應的 SQL 語句，普通業(yè)務人員無需編碼即可自動完成自然語言到 SQL 的轉換，極大降低了數(shù)據(jù)分析門檻；第三，ChatBI 還支持可視化的展示分析結果，并為業(yè)務人員提供下一個階段的運營建議。
基于 Amazon OpenSearch Service 構建向量數(shù)據(jù)庫，讓數(shù)據(jù)查詢更快、搜索更準確要充分釋放生成式 AI 技術優(yōu)勢，將 ChatBI 潛能充分應用于業(yè)務，建立一個堅實的端到端數(shù)據(jù)基座，既是基礎也是決定性的差異化優(yōu)勢，亞馬遜云科技助力德比軟件實現(xiàn)這一目標。
- 首先，在亞馬遜云科技的支持下，德比軟件開展了一系列數(shù)據(jù)準備工作，包括制定標準化 SQL 規(guī)范、預訓練等；
- 接著，應用 Amazon OpenSearch Service 構建向量數(shù)據(jù)庫，讓德比軟件高效查詢和匹配大規(guī)模和多維度向量數(shù)據(jù)，近乎實時的?持添加、更新和刪除向量嵌?，不會影響查詢性能或重新索引數(shù)據(jù)，極大提升了搜索準確性與檢索效率。同時，德比軟件還采用了 RAG（Retrieval-Augmented Generation，檢索增強生成）技術，從歷史數(shù)據(jù)和外部數(shù)據(jù)中檢索相關示例，作為輸入提示。例如，酒店數(shù)據(jù)中包含有大量的專有名詞，若用戶提問中使用的名詞和系統(tǒng)中的專有名詞不一致，原來的情況是，SQL 就無法匹配到正確信息，但借助 RAG 技術，通過與外部數(shù)據(jù)庫建立映射，就能匹配到正確的專用名詞，從而提升 SQL 語句生成的準確性；
- 此外，采用 Amazon Titan Multimodal Embeddings 模型對大量的酒店數(shù)據(jù)進行向量化處理，將圖像和短文本轉換為 embedding 數(shù)字表示形式，業(yè)務實體、問答數(shù)據(jù)進行向量化匹配后，向量化數(shù)據(jù)庫極大提高 BI 的數(shù)據(jù)檢索速度，輸出的結果更準確。亞馬遜云科技強大專家團隊提供 PE 和 RAG 工程化實施，讓 ChatBI 發(fā)揮更大潛力、性能更優(yōu)德比軟件在亞馬遜云科技大客戶支持團隊和行業(yè)解決方案架構師等團隊的支持下，僅用 2 個月就完成了 ChatBI 的上線。期間，亞馬遜云科技為德比軟件提供了大語言模型的 PE（Prompt Engineering，提示工程）優(yōu)化服務，更大限度地發(fā)揮 LLM 的潛力，使其生成更準確、和上下文相關的輸出；還采用了 RAG 技術使大語言模型不再完全依賴訓練數(shù)據(jù)，而是能夠靈活利用外部知識，從而擴展其應用場景和能力范圍。
成效
2 個月完成 ChatBI 高效落地，生成的 SQL 語句準確率高達 90%，BI 報表開發(fā)效率提升 50%
每到月底，旅游與酒店行業(yè)往往會有大量的 BI 需求提交到德比軟件 BI 團隊，部分復雜、高度定制化的查詢需求每條均需要花數(shù)分鐘或更長時間才能完成，常常導致需求堆積。亞馬遜云科技的專家團隊與德比軟件業(yè)務團隊、BI 團隊深度合作，僅用兩個月就完成了從項目范圍確定、數(shù)據(jù)準備、開發(fā)概念驗證、接入生產環(huán)境到最終上線的全部流程。應用 ChatBI 后，結合 PE 和 RAG 技術，SQL 語句生成準確率可高達 90%，使得一半的定制化需求通過 ChatBI 即可自動完成，開發(fā)效率提升 50%，開發(fā) BI 報表時間相對以前縮短了一半，極大提升旅游與酒店行業(yè)客戶的滿意度。
降低數(shù)據(jù)分析門檻，從數(shù)據(jù)中產生對業(yè)務有價值的洞察
德比軟件的部分業(yè)務團隊或領導層并不精通 SQL 語言，往往需要 BI 人員根據(jù)需求編寫 SQL 語句定制化開發(fā)來查詢。采用 ChatBI 后，無需人工編碼即可自動將自然語言轉換為 SQL 語句，輕松進行數(shù)據(jù)查詢，比如可以直接用自然語言提問“上個月的訂單量多少”，ChatBI 會根據(jù)上下文識別對應月份中對應酒店對應房型的訂單數(shù)據(jù)，生成 SQL 語句，并返回數(shù)據(jù)結果，還可以進行同比、環(huán)比、跨業(yè)務團隊的數(shù)據(jù)對比，挖掘數(shù)據(jù)洞察。
提升數(shù)據(jù)質量，促進數(shù)據(jù)治理水平提升
要想 ChatBI 輸出的結果達到較好的問答效果，首先得有高質量的數(shù)據(jù)基礎，因此完備的元數(shù)據(jù)，業(yè)務口徑、指標等數(shù)據(jù)都需要有清晰的定義，針對這些元數(shù)據(jù)進行數(shù)據(jù)收集、數(shù)據(jù)建模，以及數(shù)據(jù)全生命周期管理，為 Chat BI 的高效、準確輸出奠定基礎。ChatBI 的實施過程，也推進了德比軟件全面建設和提升數(shù)據(jù)治理水平。
快報
根據(jù)《網絡安全法》實名制要求，請綁定手機號后發(fā)表評論