場景描述
華通證券國際有限公司（以下簡稱華通證券）是擁有 33 年證券行業(yè)經驗的持牌券商，華通證券的海外客戶咨詢時，往往涉及大量的賬戶信息和交易數據等，客戶若得不到及時回復，就會缺乏安全感，同時對公司的信任度也會大大降低。
解決方案
面向海外客戶，華通證券通過亞馬遜云科技 Amazon Bedrock 調用 Anthropic Claude 3 模型構建 AI 客服，通過 Claude Sonnet、Haiku 模型識別客戶意圖，結合華通證券的自建知識庫，和引入的開源 embedding（嵌入）模型，自動生成專業(yè)嚴謹、滿足客戶訴求的回復。
在 AI 客服構建中，起初華通證券的工程師自己摸索編寫提示詞，初始版本的 AI 客服生成的答復用語較長，句式不太符合口語表達習慣，效果不盡理想。
為此，亞馬遜云科技專門安排了專家團隊來到華通證券，提供關于提示詞的最佳實踐介紹和技術支持，幫助華通證券開發(fā)人員清晰了解不同的提示詞及其對應的大語言模型輸出效果，指導開發(fā)人員更好地構建有效的提示詞庫。經過 PE（Prompt Engineering，提示詞工程）優(yōu)化后，AI 客服生成的回復比較簡短，有更多更個性化表現，句式和口吻等更符合日常交流，讓 AI 客服的角色設定更符合既定要求，更自然和人性化。
除了 AI 客服，華通證券面向海外客戶通過與亞馬遜云科技 Amazon Bedrock 調用 Claude 模型，結合向量知識庫、文本語音互轉等技術，整合上市公司、資本市場相關數據，打造并發(fā)布了 AI 投資者關系官。上市公司通過 AI 投資者關系官數字人與海外投資者無縫溝通，回答投資者各類提問，提升上市公司的投資者關系工作生產力。
此外，AI 投資者關系官還能為上市公司提供增值服務，在華通證券的上市公司與投資者社區(qū)中面向投資者開展上市公司直播，通過 AI 投資者關系官數字人的持續(xù)曝光，與華通證券實現流量互引，在投資者中擴大雙方的品牌覆蓋和提升品牌形象。
在實際的部署和應用中發(fā)現，相比于華通證券之前采用的其它大語言模型，通過 Amazon Bedrock 調用 Claude 模型，不僅僅綜合性能更好，而且安全性也得到了更充分保障。
成效
3 個月落地 2 項生成式 AI 應用，讓 AI 客服效能起飛，投資者關系管理再進化
華通證券的生成式 AI 應用部署，原本預計需要半年才能完成。和亞馬遜云科技合作后，通過 Amazon Bedrock 調用先進的大語言模型和端到端生成式 AI 服務，從初步接洽、POC 測試、架構部署，到 AI 客服、AI 投資者關系官最終上線，僅用不到 3 個月就完成了應用落地。
7*24 小時 “秒回” 響應和個性化準確回復，將客戶投訴率降低 80%
通過 Amazon Bedrock 調用 Claude 模型，AI 客服可以準確地識別海外客戶意圖，將客服響應時間從數分鐘壓縮到 3 秒內，7*24 小時、近乎實時地處理客戶咨詢和服務請求。Claude 模型在角色扮演類場景表現突出，借助 PE 進行提示詞優(yōu)化后，AI 客服面向海外客戶生成的回復更加個性化和貼近日常對話，符合角色設定?？头?ldquo;秒回”式響應和個性化準確回復，讓客戶投訴率降低 80%，增強客戶體驗，客戶粘性進一步加強。
AI 客服提高客服人員效率，綜合運營成本節(jié)省了 36.6%
在生成式 AI 應用部署前，華通證券面向海外客戶的客服工作需要配置兩位白天客服和五位夜間客服。通過亞馬遜云科技引入生成式 AI 技術后，客服人員只需對大語言模型生成的回復內容進行審核和增強，大大節(jié)省了客服人員效率。華通證券僅需采用 3 位人工客服配合 AI 客服即可勝任之前的海外客服工作，客服人員的培訓、管理成本均大大減少，調配的客服資源還可投入到更具生產力的崗位中，綜合運營成本節(jié)省了 36.6%。
除了客服和投資者關系官這兩大場景外，華通證券還在嘗試生成式 AI 在證券業(yè)務更多場景如結算、投顧、HR 中的應用。華通證券期望借助生成式 AI 生成財務報表、生成市場分析報告、提供投資建議、提供風險管理提示、撰寫新聞稿等，減少人工在這些場景中的時間和成本投入，提升業(yè)務流程的智能化和效率。華通證券與亞馬遜云科技將繼續(xù)探索如何把最新生成式 AI 技術引入到證券業(yè)務中，并一起規(guī)劃、構建和部署生成式 AI 應用，推動行業(yè)的數智升級。
快報
根據《網絡安全法》實名制要求，請綁定手機號后發(fā)表評論
生成式AI回答客戶咨詢的準確性、合規(guī)性目前還是存在一定問題的。
這個場景真的需要用到大模型技術么？