從2010年開始，BI與數據分析市場便形成了一個趨勢，那就是從IT驅動升級到業務驅動。這一趨勢在2016年得到了完全確認，在Gartner 2016年BI與數據分析魔力象限報告中，在領導者象限傳統BI與數據分析廠商無一幸存，有的甚至在整個魔力象限報告中完全消失。而Qlik、Spotfire、Tableau等敏捷BI與數據分析廠商的業務持續增長，到2016年已經幾乎完全接管了BI與數據分析的增量市場。

 Gartner2017年商業智能與分析魔力象限

Gartner2016年商業智能與分析魔力象限

BI與數據分析市場的這一巨大變革，源于整個市場的用戶和場景的變革。

在上世紀末和2000年初，BI與數據分析領域的最常見場景，就是IT人員負責企業各個部門的需求收集并將之實現成為一張張靜態報告，而業務人員則查看靜態報告，或者接收到系統推送的一張張靜態報告。

這一場景存在著兩個巨大的問題，首先是IT人員不足成了企業數據分析的瓶頸。占企業不到5%的IT人員承擔著巨量的靜態報告開發任務，他們加班加點地工作以月或者季度為單位發布更多的靜態報告，IT人員工作負擔很重。第二，分析報告的及時性無法滿足業務需求，往往也讓一線業務人員經常抓狂，例如電商企業的一線營銷人員在備戰雙11時往往需要數據來做決策，但面對這樣的需求IT人員往往只能在12月才能提交上線。

基于以上需求，在2000年左右BI與數據分析市場出現了幾款面向業務人員數據分析需求的單機版產品，例如QlikView、Spotfire等，這些單機版產品受到了越來越多業務人員的喜好，后續這些單機版產品逐漸演變為企業級產品，到現在又逐漸演變為云平臺產品。

越來越多的業務人員成為了BI與數據分析產品的深度用戶，很多人還成為了“公民數據科學家”。

當前，“公民數據科學家”的增長速度是“職業數據科學家”的5倍，這一增長速度意味著成百上千家企業里，有成千上萬的“公民數據科學家”如雨后春筍般涌現。

他們接入敏捷BI與數據分析平臺，按照自己的意愿去探索數據、發現問題、找到答案并采取行動。大量具有業務洞察的數據分析報告被他們制作、分享、交流，整個過程被IT人員在企業級平臺上進行監控和管理。

這一場景在2016年成為了主流場景，BI與數據分析市場的大部分采購都源于業務部門的主張，IT部門會積極主導并參與其中。他們采購的往往都是敏捷BI與數據分析產品，這些產品必須很好地支持無邊界的探索式分析。

要更好地滿足業務人員的需求，新技術成為了解決新問題的必要手段。

要支持無邊界的探索式分析，細粒度數據是基礎性要求之一。

舉個例子：基于每一張訂單的細節數據，業務人員將能分析去年全年訂單銷售收入中男性消費均值、男性消費方差、女性消費均值、女性消費方差，區域消費均值、區域消費方差等等。而上世紀90年代的數據分析技術建立在OLAP等預先匯總技術之上，很難滿足無邊界的探索式分析。這并不是因為我們的前輩水平有限，而是因為當時處于286/386/486/586時代，哪怕是小型機的存儲和計算能力都很有限，只有把數據進行預先匯總，企業的BI與數據分析的平臺才基本可用。20多年來，這些傳統BI與數據分析平臺為企業帶來了巨大的價值，也因為技術架構的限制而難以適應當前的新需求。

從2000年以來，大數據技術逐漸發展起來。分布式計算、分布式存儲、高性能計算、庫內計算、列存儲等相關技術應運而生，并被投入到實際的商業應用中逐漸成熟。

但事情沒有那么簡單。在大數據時代，一則數據源復雜且數據量巨大，二則業務人員并不具備足夠的計算機科學知識，這讓整個場景變得復雜起來。

從使用永洪科技的一站式大數據分析平臺Yonghong Z-Suite的用戶群體中我們發現，在探索式分析場景中，業務人員一個無心的點擊有可能給平臺帶來上百億次計算量，什么計算請求應該被支持什么計算請求應該被剎車，這對平臺提出了極高的要求。一站式大數據分析平臺需要支持上千甚至上萬個用戶，在這一平臺上既有成熟的數據分析報告，也有探索式分析；既有高時效性數據分析報告，也有低時效性數據分析報告。如何讓整個平臺一直穩定高效地運行并持續支撐上萬用戶的數據分析需求，這對大數據技術提出了更高的要求，因此現代企業最需要的一站式大數據分析平臺的研發難度極高。

另一方面，業務人員對平臺的易用性提出了更高的要求，語音輸入、模式匹配、自然語言搜索等新技術也將被BI與數據分析產品納入，去更好地支持業務人員的數據分析需求。

AI和深度分析將成為“公民數據科學家“的下一個使用熱點。

基于統計方法，探索式分析為業務人員帶來了強大的數據解讀能力。他們可以從數據中快速找出模式、發現異常、解讀趨勢等等。

但這還是不夠，如果平臺能給業務人員提供有效的深度分析能力，業務人員將不只能看到過去，還能預測未來。不過，”公民數據科學家“畢竟不是”職業數據科學家“，他們當中的大多數人不懂分類不懂聚類，也不懂時間序列等等技術，如何讓他們能得心應手地結合深度分析技術從數據中獲取洞察，是一個不小的挑戰。

另外，AI技術在各個領域改變著人們的生活，結合AI技術人們在自動駕車自動掃地自動飛行等領域取得了很大的進展，而BI與數據分析市場也必然可以結合AI技術為用戶帶來更多的價值。雖然AI技術在這一領域尚未被成熟而廣泛地運用，筆者相信自動分析將在下一代BI與數據分析產品中發揮巨大作用。

云計算和大數據將不再是熱詞。

云計算和大數據已經是多年的熱詞，各行各業的人們都在討論云計算和大數據，IaaS、PaaS、SaaS、DaaS等云計算術語讓人應接不暇，而HDFS、MapReduce、Spark等大數據術語也吸引著大量眼球。筆者發現，在成年累月的探討之后，人們不再像之前那樣將云計算和大數據當做熱點談資，而大約一年前投資圈對On-Premise和SaaS的態度還是涇渭分明的。商業社會持續催生熱點吸引著大家，但人們對每個熱點的關注往往難以持續。

我們看到，在BI與數據分析市場客戶將不再關注模式是On-Premise還是SaaS，或者底層是不是大數據技術，塵埃落定之后漸漸回歸到了商業的本質，也就是：如何給客戶創造價值。

永洪一站式大數據分析平臺

以下是<Gartner 2017 BI與數據分析魔力象限>報告的內容，歡迎朋友們解讀。

現在BI與數據分析市場從IT為中心轉向以業務為中心的狀況已經成為主流。數據和分析市場的領導者們面臨無數的選擇：傳統的BI供應商已經在近期不斷創新彌補了差距，而那些“分裂者”們則進一步的增強了落地實施的能力。

到2020年，智能的、企業級管控的、基于Hadoop/Spark技術的和以可視化為基礎的數據挖掘能力將成為下一代現代BI和數據分析平臺的組成部分。

到2021年，現代BI和數據分析平臺將會因為智能數據挖掘能力的不同而體現出差異化，擁有智能數據挖掘能力的平臺的用戶量將達到非此類平臺兩倍的增長率，而這也會給客戶帶來兩倍的商業價值的提升。

到2020年，自然語言處理和人工智能技術將成為90%的現代BI平臺的標準性能。

到2020年，50%的分析問題將通過使用搜索，自然語言處理和語音的方式生成，或者將被自動生成。

到2020年，一些平臺將為用戶提供內部和外部的數據目錄，與無法提供這些數據目錄的企業相比，他們將幫助客戶通過對數據分析的投資實現兩倍的商業價值。

到2020年，公民數據科學家的數量將比數據科學家的數量增長快五倍。

BI廠商們應該支持以下5種應用場景

1.以敏捷為中心的BI產品：這種平臺支持敏捷型的、IT化的工作流程，包括從數據到集中交付和管理分析內容，平臺具有自有的數據管理能力。

2.去中心化的分析：支持數據的自服務數據分析。可以為獨立的業務模塊和用戶提供分析支持。

3.數據挖掘管控：支持從自服務數據分析到自助創建數據分析管理頁面的工作流程，IT級的內容管控，而用戶內容生成、管理頁面和分析內容都是可復用和可升級的。

4.OEM和內嵌式BI：支持數據分析流程以內嵌BI至一個流程或者一種應用中來實現。

5.外部部署：支持為外部客戶或者公共領域、公民接入分析內容，流程類似以敏捷為中心的BI。

以及以下15種關鍵能力

1.BI平臺的監管、安全與架構：平臺具有安全管理、用戶管理、平臺接入與使用的審計、調優和保障高可用性和容災的能力。

2.云BI：具有平臺即服務和分析應用即服務的能力，可以同時在云端和本地部署、使用和管理數據分析報告和數據分析應用。

3.數據源的連接和融合：讓用戶能連接到云端和本地化的結構化和非結構化的數據，包含支持不同類型的數據存儲平臺。

4.元數據管理：該工具能夠讓用戶利用數據包模型和元數據。實現這些功能需要提供一種強大的和核心的方式方便管理者們去搜索、抓取、存儲、復用和發布元數據對象，比如維度、層級、度量、表現特性/核心指標和報告布局等。平臺管理者們需要有能力去升級業務用戶創建的數據模型將其提升為系統級的數據模型。

5.自有數據的抽取、轉換、加載以及數據存儲：該系統有能力為連接、融合、轉換和加載數據至一個自有的功能引擎以及有能力去索引數據、管理數據加載以及更新計劃。

6.自服務數據準備：平臺可拖拽不同來源的用戶數據集，可生成分析模型，比如根據不同數據來源的用戶可自定義度量、組合、集合和層級。高級功能包括對不同來源的數據通過機器學習、語義識別、智能聯結、智能側寫、層級生成、數據行數和數據混合等進行分析處理。

7.內置的高級分析功能：讓用戶可以非常方便的接入高級分析功能，在自有平臺或者通過引入、結合外部高級模型進行分析。

8.分析儀表盤：通過視覺探索和內置的高級地理空間分析能力去生成能夠被其他人使用的高交互性的儀表盤和內容。

9.可交互的視覺化探索：使這種數據分析的探索可以借助可視化的選項，包括但不限于基礎的圖表形式，比如餅圖、柱狀圖、線圖等，也包括熱力圖和樹狀圖，地圖和散點圖以及其他特殊主題的圖表形式。這些工具能讓用戶通過百分比、細分和組合的展示情況去分析和操作數據。

10.智能數據挖掘：幫助用戶在不通過查詢和建模以及寫算法的情況下自動挖掘、視覺化和敘述重要的分析發現，比如數據間的關聯、排除、集合、連接和預測等。

11.移動端的數據探索和編程： 通過利用移動設備的天然屬性，例如觸屏、照相功能和地理位置信息，讓客戶可以用發布或交互的模式給移動設備升級和傳送內容。

12.嵌入分析內容：這種性能包含供應商提供的軟件開發工具包和API接口，支持用戶創建和修改分析內容，支持可視化展現和嵌入應用程序，可將其嵌入到業務流程、應用程序或門戶的開放標準中。這些能力可以來自于外部的應用、或者被復用的分析基礎設施，但必須可以無縫的與內部應用連接，也不需要讓用戶在兩種系統間進行切換。這種能力讓BI與其他數據分析應用架構可以結合，讓用戶可以選擇在哪個業務流程中嵌入分析模塊。

13.分析內容的發布、分享和結合：這些能力可以讓用戶通過不同的結果類型和分布方式去發布、配置和優化分析內容，同時也有對內容搜索的支持、計劃和預警的功能。

14.平臺能力和工作流：對于單一的、無縫的產品，或者多個產品來說，需要基于怎樣不同的功能去適配這種融合的需求。

15.便捷的使用和可視化展現：對管理者來說可以便捷的使用和部署平臺、生成內容、銷售內容以及與內容互動，同時也具備可視化展現的能力。

這種預期的低增長率是對目前主流市場的情況反饋，這說明市場的需求正在增加，但仍會受到價格壓力的阻礙。購買決策將持續受到業務決策者和業務用戶的強烈影響——這些使用者希望使用更敏捷的、具備成功能力的產品，為小型組織和部門級使用而服務。這意味著這種先落地再擴展的模式始終主導著市場的銷售形態，但作為企業客戶來說實施需求的增長以及平臺的模式是否對具備敏捷、客戶友好等性能已經成為了更重要的衡量標準。企業的IT部門現在已經失去了部分的決策影響力。在這個快速進化的市場中，新增長的核心驅動因素如下：

在規模上，現代BI是新型采購的主要目標。企業在管理上的需求遞增將推動IT部門更多參與到業務用戶的需求實現上。業務用戶最初傾向于使用這些新型工具的原因是通過這些工具進行數據分析，可以讓他們不依靠IT中心的幫助而自行完成——這對他們來說是最主要的吸引力。而現在用戶數的增加、應用場景復雜性的增長以及更多應用場景的產生都使業務部門催生出更多的使用需求。因此IT部門必須更多的與業務部門協作，用更好的更敏捷的流程去支持快速的業務擴張需求，支持業務用戶自助完成分析內容以及這些內容的分布，去保障使用和決策是基于可信賴的數據分析的基礎之上。現代的BI工具可以擁有更好的連接性、更敏捷的分析方式以及更客觀的分析洞察，同時也將保持很好的易用性，這些都將驅動和主導新的采購方式的產生。

創新型供應商和已有的廠商會驅動下一次市場分裂的浪潮，而現在這種情況已經開始顯現。市場一旦分裂，可視化的探索經驗將成為主流并被普及，無論對大型或小型的廠商都是如此，這個市場將成為下一次分裂的風口浪尖，將推動新一輪購買激增的熱潮——原因是這種高性能的產品將為用戶減少從高級分析中獲得洞察的時間，以及為他們帶來在企業內部更廣泛的分析組合。智能數據挖掘能力會幫助用戶自動的去發現那些存在于大量的、復雜的和持續增長的復合型數據集中的隱秘模式，而這些都不需要通過建模、寫代碼或者查詢來實現。這些能力減少了人為和自然的偏見在可視化探索編程中的產生，用戶可通過高亮、視覺化和描述重要發現、關聯、組合、預測、異常值、異常呈現、聯動或者數據趨勢，在不通過建模的情況下去展現數據分析的結果。這種能力讓用戶通過自然語言理解和嵌入可落地的應用模塊去實現數據查詢和探索式分析，將幫助企業擴大數據分析的范圍和價值。智能數據挖掘利用自動探索讓數據科學平臺進一步增強了性能，而在未來，專業領域的數據科學家將推進更前沿的數據探索和驗證的方式去支持企業決策的需求。當創新型企業的新浪潮崛起時，傳統BI的廠商們——那些曾經以緩慢的步調適應“現代分裂浪潮”的公司， 現在已經給出了回應（比如IBM和Salesforce），而他們中的一些（比如IBM and Salesforce），也正在主導下一次的“智能”潮流。

對復合型數據集的需求驅動了在數據準備上的投資。業務用戶希望能夠分析不同來源和不同類型的數據，這其中還包含大量且復雜的數據組合和數據模型，除數據倉庫和數據池之外，也包括對流數據的處理能力的需求等，這都要求更快速的計算能力。這種能力需要能夠支持對數據的快速準備、清洗、豐富以及發掘出可信賴的數據，對擴展使用需求來說，對復合型數據集的支持變得非常重要。

可延展性和可嵌入性將成為擴大使用范圍和提升使用價值的主要的驅動因素。擴大使用范圍的方式可以通過為業務人員包括內部用戶和客戶提供更為自動化的工具或者給他們正在使用的應用產品內置分析模塊來實現——也可以兩者兼而有之。可嵌入性和對用戶內容的分析能力的提升將成為這些工具的適用性和普及性的有力支持，無論從分析產生的價值或者分析本身來說皆是如此。

支持對實時活動和流數據的處理能力，將幫助使用場景得到延伸。為適應企業快速決策的需求，企業將增加對設備、感應裝置和交互產生的流數據的處理需求。在BI和數據分析市場將需要在一些類似的能力上進行技術投資——目的是幫助買家提供可以將實時活動和流數據以及其他來源和種類的數據合并處理的平臺，將其升級成一種新的高效能分析應用，以幫助客戶在實時的可落地的洞察建立之后，保障分析洞察可以被很好的利用起來。

內容、數據和算法的市場空間將得到提升，而這些市場也將變得更加成熟，將為企業創造更多的機會去購買、出售在業務洞察上的分析能力和計算能力。在細分領域內新的市場空間的增長使買方和賣方能轉換和交換分析應用，規劃數據的來源，定制可視化的展現和算法，而這些市場空間的增長很可能就出現在BI和數據分析市場。現有的市場空間仍然為BI廠商提供了新的渠道——在平臺上構建出解決方案，通過他們的客戶渠道和合作伙伴的資源去銷售產品。成熟市場空間的主要好處在于——這是一個可連接終端用戶群體到虛擬的無限能力的通道，這將幫助他們在自己內部發展出解決方案和流程。

Yonghong 云端產品布局

對云部署的需求將持續增長。云產品很有可能會幫助客戶減少部署時間和成本。然而，“數據重力”的現象仍然存在，大多數企業仍傾向于本地部署，這成為這種轉變情況的抑制劑—特別是對于IT部門的采購者來說。現在，這一狀況正在緩慢的被改變。在2016年，有46%的參與調查問卷的客戶表示他們已經或者準備要做云端BI的部署了，來自業務端客戶的反饋要比IT端客戶的反饋更加積極。到2017年，云端部署的比例將增加到51%，大部分增加的比例會來自于IT部門的需求轉變。我們希望這種趨勢將繼續，伴隨著新的軟件授權方式/購買方式成為主流（超過半數），預計這種情況會持續到2020年。

伴隨下一次市場分裂的浪潮，新的創新型供應商將持續產生，而這次變革應該被廠商們看做是整體策略的一部分。之后的幾年中，大型的BI廠商在創新技術和創新領域的投資同樣會讓買方收益，同理，風險投資機構對創新型企業的投資也同樣能使買方市場獲益。對過剩的創新產品的試點出現了下降趨勢，同時供應商們去做POC的頻率也在下降，這種趨勢體現的是買方企業隨著時間推移將產生更多的科技負債——多個獨立的解決方案會促使業務價值快速（匆忙的）轉變為產品實施，而在實施過程中卻往往缺乏足夠的對系統設計，項目執行和項目支持的關注。在這個快速進化的BI市場中，企業應該通過發展正式的IT策略和參考合理的項目架構去避免在做選型評估時產生科技負債， 這些策略也將幫助企業在未來避免大部分返工和再設計的工作量產生。

本文由大數據專家，永洪科技創始人&CEO何春濤（Henry He）先生撰文