數(shù)據(jù)作為一種新興的生產(chǎn)要素，被稱為數(shù)字時(shí)代的“新石油”，是基礎(chǔ)性資源和戰(zhàn)略性資源，也是重要的生產(chǎn)力。如何更高效地管理和利用數(shù)據(jù)，推動(dòng)數(shù)據(jù)資源轉(zhuǎn)化為數(shù)字資產(chǎn)，成為了各行各業(yè)面臨的關(guān)鍵問(wèn)題。
近兩年來(lái)，國(guó)家先后發(fā)布《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》、《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》等政策，以促進(jìn)數(shù)據(jù)、分析和AI在經(jīng)濟(jì)中的應(yīng)用。在《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》中還提及，到2025年要基本形成橫向打通、縱向貫通、協(xié)調(diào)有力的一體化推進(jìn)格局，實(shí)現(xiàn)數(shù)據(jù)資源規(guī)模和質(zhì)量加快提升，數(shù)據(jù)要素價(jià)值有效釋放，數(shù)字經(jīng)濟(jì)發(fā)展質(zhì)量效益大幅增強(qiáng)。
值得注意的是，目前數(shù)據(jù)編織平臺(tái)正通過(guò)對(duì)數(shù)據(jù)的優(yōu)質(zhì)處理，為AI在學(xué)習(xí)訓(xùn)練的過(guò)程注入更多“源頭活水”，從而進(jìn)一步提升其性能和應(yīng)用范圍。AI技術(shù)的不斷進(jìn)步也推動(dòng)數(shù)據(jù)構(gòu)建架構(gòu)的優(yōu)化、更新，以適應(yīng)新的生成模型需求。
由于對(duì)數(shù)據(jù)編織架構(gòu)、數(shù)據(jù)產(chǎn)品交付以及支持生成式AI的集成數(shù)據(jù)的需求即將到來(lái)，數(shù)據(jù)集成工具市場(chǎng)正在蓬勃發(fā)展。數(shù)據(jù)和分析領(lǐng)導(dǎo)者應(yīng)該利用這項(xiàng)研究來(lái)評(píng)估合適的供應(yīng)商，以滿足他們的數(shù)據(jù)集成需求。
權(quán)威信息技術(shù)分析公司Gartner連續(xù)三年將數(shù)據(jù)編織技術(shù)（Data Fabric）列為“十大數(shù)據(jù)和分析技術(shù)趨勢(shì)”之一。在該公司此前發(fā)布的中國(guó)數(shù)據(jù)分析與人工智能技術(shù)的相關(guān)報(bào)告中，數(shù)據(jù)編織技術(shù)與大模型一并被列為有望膨脹發(fā)展的技術(shù)。
Gartner高級(jí)研究總監(jiān)張桐也表示：“數(shù)據(jù)、分析和AI用例的出現(xiàn)，以及快速變化的數(shù)據(jù)安全法規(guī)，導(dǎo)致了中國(guó)數(shù)據(jù)管理的復(fù)雜性和不確定性。數(shù)據(jù)編織能充分利用沉沒成本，同時(shí)也能為數(shù)據(jù)管理基礎(chǔ)設(shè)施方面的新支出提供優(yōu)先級(jí)排序和成本控制指導(dǎo)。”
據(jù)悉，數(shù)據(jù)編織是一種設(shè)計(jì)框架，用于獲得靈活而且可復(fù)用的數(shù)據(jù)管道、服務(wù)和語(yǔ)義，涉及數(shù)據(jù)集成、主動(dòng)元數(shù)據(jù)、知識(shí)圖譜、數(shù)據(jù)剖析、機(jī)器學(xué)習(xí)和數(shù)據(jù)分類。能集成來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)，安全提供不同數(shù)據(jù)對(duì)象的“集成視圖”，將“集成數(shù)據(jù)”用于分析和操作。
數(shù)據(jù)編織相關(guān)技術(shù)的應(yīng)用能提供值得信賴的數(shù)據(jù)基礎(chǔ)，提高生成模型的相關(guān)性和準(zhǔn)確性，成為解決企業(yè)AI部署難題的重要路徑。與此同時(shí)，生成式AI也降低了數(shù)據(jù)管理的使用門檻，大大拓展了數(shù)據(jù)編織的應(yīng)用規(guī)模。生成式AI與數(shù)據(jù)編織互利共進(jìn)，正為數(shù)據(jù)管理市場(chǎng)帶來(lái)更大的發(fā)展機(jī)遇。
以全球性的制藥公司為例，在進(jìn)行藥物的生產(chǎn)、商品化、零售運(yùn)營(yíng)的過(guò)程中，會(huì)用到大量數(shù)據(jù)，后續(xù)生產(chǎn)的產(chǎn)品進(jìn)入到醫(yī)院端，還需要進(jìn)行各種臨床數(shù)據(jù)驗(yàn)證，不同的階段都會(huì)出現(xiàn)不同的表現(xiàn)。在這個(gè)過(guò)程中，制藥公司不僅要獲取各種健康相關(guān)的數(shù)據(jù)，還要在每一個(gè)垂類中，針對(duì)面臨的難點(diǎn)、痛點(diǎn)，獲得高質(zhì)量并且不違規(guī)、不會(huì)涉及隱私侵犯的數(shù)據(jù)。
面對(duì)如此龐大的數(shù)據(jù)量，數(shù)據(jù)編織的重要性顯得尤為突出。鈦媒體APP了解到，應(yīng)對(duì)數(shù)據(jù)量陡增，數(shù)據(jù)編織被認(rèn)為能為海量數(shù)據(jù)快速、有序分析提供有效方案，以虛擬化的方式對(duì)數(shù)據(jù)進(jìn)行“編織”，使得數(shù)據(jù)無(wú)需復(fù)制就可以整合，且不受數(shù)據(jù)源、格式的限制，還隱藏了數(shù)據(jù)本身的復(fù)雜性和差異性。
在近期召開的數(shù)據(jù)編織研討會(huì)上，數(shù)據(jù)管理領(lǐng)域的資深專家、被稱為“邏輯數(shù)據(jù)編織之父”的Denodo技術(shù)公司首席執(zhí)行官兼創(chuàng)始人Angel Viña表示，從物理數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)到現(xiàn)在的數(shù)據(jù)湖，傳統(tǒng)的數(shù)據(jù)管理側(cè)重于將數(shù)據(jù)集中到單個(gè)存儲(chǔ)單元中，需要大量開發(fā)人員，一旦數(shù)據(jù)源變化頻繁更新，獲取數(shù)據(jù)的效率就會(huì)大幅降低。邏輯數(shù)據(jù)編織可以使用更少的資源、更低的成本，實(shí)現(xiàn)更快的數(shù)據(jù)獲取時(shí)間，也由此成為數(shù)據(jù)管理新的發(fā)展方向。
據(jù)了解，Denodo于1999年創(chuàng)立于西班牙，目前已為金融保險(xiǎn)、制造、高新技術(shù)、零售、教育、醫(yī)療、能源等行業(yè)客戶提供服務(wù)，并且多年蟬聯(lián)Gartner魔力象限數(shù)據(jù)集成工具領(lǐng)導(dǎo)者、Forrester Wave數(shù)據(jù)編織領(lǐng)導(dǎo)者位置。
2019年，Denodo正式進(jìn)入中國(guó)，在基于企業(yè)數(shù)字化轉(zhuǎn)型各類項(xiàng)目場(chǎng)景與需求，為企業(yè)不同關(guān)鍵角色帶來(lái)顯著價(jià)值及成果。如幫助CDO及數(shù)據(jù)管理部門打造數(shù)據(jù)民主化的數(shù)據(jù)自助服務(wù)，幫助CIO及IT部門實(shí)現(xiàn)IT 基礎(chǔ)設(shè)施現(xiàn)代化，幫助COO及運(yùn)營(yíng)部門提高運(yùn)行效率、靈活性和韌性，為CMO、CRO及市場(chǎng)與收入部門打造改善客戶體驗(yàn)的數(shù)據(jù)基礎(chǔ)，以及實(shí)現(xiàn)風(fēng)險(xiǎn)、合規(guī)的集中管理等。
此外，在大量數(shù)據(jù)需求的基礎(chǔ)下，Denodo進(jìn)行統(tǒng)一的數(shù)據(jù)處理，以便其獲得更高質(zhì)量的信息，并在需要時(shí)“隨取隨用”；而在IT領(lǐng)域，Denodo則支持?jǐn)?shù)據(jù)遷移、相關(guān)數(shù)據(jù)的合規(guī)使用、建模過(guò)程等。
根據(jù)IDC機(jī)構(gòu)調(diào)研的數(shù)據(jù)顯示，2023年，中國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模達(dá)到194.8億美元，預(yù)計(jì)到2027年將增長(zhǎng)至425億美元，CAGR（復(fù)合增長(zhǎng)率）將達(dá)到21.5%，硬件服務(wù)器、AI數(shù)據(jù)存儲(chǔ)仍是投資重點(diǎn)方向。此外，企業(yè)認(rèn)為有60%的業(yè)務(wù)數(shù)據(jù)是有價(jià)值的，而這些數(shù)據(jù)中僅有56%被實(shí)際分析；有18%的企業(yè)認(rèn)為“缺乏高質(zhì)量數(shù)據(jù)”是其在組織中使用生成式AI的障礙之一。
IDC中國(guó)高級(jí)分析師李浩然指出，決策者普遍預(yù)測(cè)企業(yè)未來(lái)的數(shù)據(jù)量、數(shù)據(jù)速度以及多樣性會(huì)增加，以需要滿足更加快速的業(yè)務(wù)決策和市場(chǎng)挖掘探索需求。同時(shí)，他還表示：“未來(lái)五年，資產(chǎn)績(jī)效管理、創(chuàng)新研發(fā)、數(shù)據(jù)探索將會(huì)更加重要，而數(shù)據(jù)編織作為一種最佳實(shí)現(xiàn)路徑，可以實(shí)現(xiàn)對(duì)數(shù)據(jù)更好的管理和價(jià)值挖掘。”
目前數(shù)據(jù)編織技術(shù)在國(guó)內(nèi)的發(fā)展還處于早期階段，在政策利好及市場(chǎng)需求驅(qū)動(dòng)下，中國(guó)數(shù)據(jù)市場(chǎng)規(guī)模正迎來(lái)快速增長(zhǎng)，數(shù)據(jù)管理需求持續(xù)升高。對(duì)于中國(guó)企業(yè)來(lái)說(shuō)，能否激活數(shù)據(jù)要素、釋放數(shù)據(jù)價(jià)值，成為在激烈的全球競(jìng)爭(zhēng)中取得先機(jī)的關(guān)鍵。（本文首發(fā)于鈦媒體 APP，作者｜陳偉納）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論