北京，2020年11月3日，當前大數(shù)據(jù)技術的創(chuàng)新速度已經領先于市場需求，一方面技術提供商在不斷突破創(chuàng)新，另一方面行業(yè)用戶還困在大數(shù)據(jù)應用如何帶來價值的起步階段。不同行業(yè)不同數(shù)字化階段的用戶，對于技術能力、工程能力以及產品之外的生態(tài)互補能力需求均有不同的側重點。在此背景下，IDC開啟了《IDC MarketScape: 中國大數(shù)據(jù)管理平臺廠商評估，2020)》研究并已于近期發(fā)布了此報告。

大數(shù)據(jù)管理平臺市場現(xiàn)狀

市場發(fā)展驅動力：

1、大數(shù)據(jù)技術的不斷突破創(chuàng)新，主要來源于廠商的主動性突破創(chuàng)新，例如湖倉一體、交互式查詢等;

2、從商業(yè)模式上看，商業(yè)生態(tài)環(huán)境無時無刻不在變化，企業(yè)也需要不斷調整、擴展業(yè)務邊界，加強生態(tài)合作，使得企業(yè)與外部之間的數(shù)據(jù)交互呈現(xiàn)明顯增長，為數(shù)據(jù)集成、查詢、實時分析等都帶來需求;

3、數(shù)字化轉型、智能化升級帶來的需求，一方面企業(yè)內部場景都有降本增效的需求，另一方面企業(yè)都在向原生數(shù)字化企業(yè)發(fā)展，要實現(xiàn)業(yè)務數(shù)據(jù)化必須要規(guī)范建設大數(shù)據(jù)平臺;

4、數(shù)據(jù)量的變化，一方面數(shù)據(jù)量以26%的CAGR(2019-2024年復合增長率)速度高速增長，另一方面新增數(shù)據(jù)中半結構化數(shù)據(jù)、非結構化數(shù)據(jù)越來越多，對于數(shù)據(jù)存儲和計算帶來新的需求。

需求特點：

不同行業(yè)間需求差異化較高，對于有近千PB級數(shù)據(jù)量的用戶，比如互聯(lián)網、運營商、金融行業(yè)頭部機構，用戶對于高可用、吞吐量、實時性、并發(fā)量、彈性擴展等有很高的要求。而大部分傳統(tǒng)行業(yè)用戶并沒有較高的數(shù)據(jù)量積累，更重視的是數(shù)據(jù)集成、治理，以及大數(shù)據(jù)平臺工程化能力。

新技術熱點：

流數(shù)據(jù)分析已成為大數(shù)據(jù)平臺必備組件、圖數(shù)據(jù)庫、智能搜索、交互式分析、數(shù)據(jù)庫/數(shù)倉/大數(shù)據(jù)平臺融合成一體的數(shù)據(jù)管理架構、隱私計算。

從市場格局角度來看，大致分為3類公司：

1、以云服務廠商為代表，追求技術的領先性，具備豐富的產品組合，代表廠商AWS、阿里云、騰訊云;

2、以傳統(tǒng)ICT廠商為代表，強調大規(guī)模部署的能力，強調擴展性、穩(wěn)定性，代表廠商華為、浪潮、新華三;

3、大數(shù)據(jù)時代的創(chuàng)企，典型的企業(yè)有早期的星環(huán)科技、Cloudera，以及近2年正在崛起的Kyligence公司。

未來趨勢：

1、對于大數(shù)據(jù)的投資不再是單純的平臺層、基礎軟件層的投資，廠商都在積極拓展“數(shù)據(jù)中臺”類解決方案，強化數(shù)據(jù)治理能力，建立數(shù)據(jù)服務能力，以降低數(shù)據(jù)獲取門檻以及數(shù)據(jù)分析任務的復雜性;

2、數(shù)據(jù)管理平臺的簡化和統(tǒng)一，數(shù)據(jù)庫、數(shù)倉、大數(shù)據(jù)平臺、數(shù)據(jù)湖混搭架構下，如何簡化數(shù)據(jù)pipeline、提高數(shù)據(jù)開發(fā)效率是重要方向。

供行業(yè)用戶參考建議

幾個關鍵問題：

1、開源還是自建：基于開源技術自建與采用商業(yè)化產品的考量，自建大數(shù)據(jù)系統(tǒng)固然有較高的自主化程度，大部分傳統(tǒng)企業(yè)并沒有足夠的人力資源和技術水平可以熟練靈活采用大數(shù)據(jù);

2、數(shù)倉還是大數(shù)據(jù)、數(shù)據(jù)湖：新增數(shù)據(jù)，未經處理的數(shù)據(jù)，先入大數(shù)據(jù)平臺，經過清洗處理后，按照企業(yè)的元數(shù)據(jù)管理標準進入數(shù)倉，重要的是先規(guī)劃好企業(yè)的元數(shù)據(jù)標準，避免重復建設、逐步解決數(shù)據(jù)煙囪林立問題。

評估廠商的大數(shù)據(jù)能力：

1、在大數(shù)據(jù)平臺之外，考量廠商以及其合作伙伴對業(yè)務應用的理解能力，大數(shù)據(jù)實施中能夠融入行業(yè)最佳實踐經驗的能力;

2、數(shù)據(jù)治理能力，包括工具層面與方法論層面;

3、考慮能夠與組織商業(yè)模式、生態(tài)體系互補的合作伙伴，用戶在選擇大數(shù)據(jù)平臺的時候，應該考慮供應商在此方面能提供的支撐，包括數(shù)據(jù)資源以及商業(yè)合作層面的考量;

4、不同行業(yè)間數(shù)據(jù)就緒程度、數(shù)據(jù)架構基礎、數(shù)據(jù)應用需求差距大，尋找適配當前業(yè)務需求的產品最為重要;

5、未來的大數(shù)據(jù)分析類平臺的建設，都應該考慮數(shù)據(jù)的自助服務能力、數(shù)據(jù)的復用性，不斷推進企業(yè)業(yè)務數(shù)據(jù)化，數(shù)據(jù)資產化。

展望未來，IDC中國助理研究總監(jiān)盧言霞表示：“推動大數(shù)據(jù)平臺的建設，核心即深化數(shù)字化業(yè)務戰(zhàn)略及執(zhí)行。大數(shù)據(jù)平臺建設能取得的成就與數(shù)字化轉型能實現(xiàn)的高度呈正相關，要推動數(shù)字化轉型首先需要建立協(xié)同的組織架構與流程,一是建立自上而下的戰(zhàn)略，由核心高管推動落地;二是建立真正能夠推動數(shù)字化的組織架構，三是建立高度認可、全員積極推動的數(shù)據(jù)文化;最后，建立業(yè)務與技術部門的有效協(xié)同機制?！?/p>