浪潮下,數(shù)據(jù)智能的組織變革和發(fā)展邏輯

0 評論 32282 瀏覽 17 收藏 12 分鐘

整個行業(yè)市場就是巨頭引導的IaaS/PaaS/DaaS/TaaS/AaaS/MaaS各服務層加上各中小企業(yè)在應用層不斷向其他行業(yè)滲透的過程。市場在不斷的被瓜分和細化。大數(shù)據(jù)/云計算/人工智能互相交織,趨于一體。一根針捅破天的機會越來越少,AI產(chǎn)品落地、垂直領(lǐng)域的創(chuàng)新、AI組織變革,將是接下來的熱點。

AI(數(shù)據(jù)智能)技術(shù)的普及

技術(shù)的發(fā)展有自己的規(guī)律,在不同階段表現(xiàn)出不同的狀態(tài),發(fā)展的關(guān)鍵問題也不同。

技術(shù)的興起階段,技術(shù)本身的進步是發(fā)展的關(guān)鍵。此時往往是科研機構(gòu)、高?;虼笮推髽I(yè)內(nèi)部研究院開始進行前沿技術(shù)的研究。比如中國科學院大數(shù)據(jù)實驗室、阿里人工智能實驗室、上海大數(shù)據(jù)聯(lián)盟等。

當技術(shù)發(fā)生了重大的突破,如AI的關(guān)鍵性技術(shù)突破,加上大數(shù)據(jù)和云計算技術(shù)提供了充足的數(shù)據(jù)和計算能力,使得AI迅速獲得人們的關(guān)注。15年Alpha Go驚艷地表現(xiàn)像一個火種,整個行業(yè)市場開始有了燎原之勢,風投、科技媒體開始逐漸關(guān)注。

隨著而來的是大量的技術(shù)社區(qū)、技術(shù)布道者(技術(shù)培訓等)和AI創(chuàng)業(yè)公司。好像當時的淘金熱,創(chuàng)業(yè)公司是淘金者,技術(shù)布道者是渡船人。這一階段,AI技術(shù)人員最為搶手。這時AI領(lǐng)域的垂直培訓公司,如七月在線也風生水起,數(shù)據(jù)科學競賽的平臺kaggle、阿里天池大數(shù)據(jù)、datacastle也吸引力眾多的技術(shù)人才。

當技術(shù)普及到達一定程度,技術(shù)能否真正的落地,去解決實際的問題則成為關(guān)鍵。這時候我們需要一批有著敏銳的市場需求并可以將技術(shù)落地的AI產(chǎn)品經(jīng)理,技術(shù)開始滲透到各行各業(yè),垂直細分領(lǐng)域的應用開始快速發(fā)展。各個領(lǐng)域應用的如電商銷售、廣告推薦系統(tǒng)、智能醫(yī)療等產(chǎn)生了大量的初創(chuàng)AI公司,而其背后,投資人關(guān)鍵的重點開始從技術(shù)本身變?yōu)槟芊窠鉀Q實際的行業(yè)痛點。

然后,當技術(shù)發(fā)展趨于成熟,技術(shù)會導致生產(chǎn)生活關(guān)系、團隊組織的變化。此時,一個團隊能夠適應性的改進自身,成為關(guān)鍵。比如回過頭去看互聯(lián)網(wǎng)發(fā)展的過程,從關(guān)注技術(shù)本身,到互聯(lián)網(wǎng)應用,到企業(yè)互聯(lián)網(wǎng)轉(zhuǎn)型。AI技術(shù)也一樣,技術(shù)本身會給團隊的管理帶來新的挑戰(zhàn)。

當前AI(數(shù)據(jù)&智能)技術(shù)正處于技術(shù)普及的中后期,重點是技術(shù)的應用。在團隊組織方面,我們試圖尋找到一種新的合適的形式,來應對變化。

AI 組織變革

此處我們給出了一種組織架構(gòu),來應對這種變化。

數(shù)據(jù)采集團隊:

內(nèi)部數(shù)據(jù)對企業(yè)來說更為關(guān)鍵,是實現(xiàn)數(shù)據(jù)驅(qū)動的基礎(chǔ)。外部數(shù)據(jù)一種是對互聯(lián)網(wǎng)和線下數(shù)據(jù)的采集,一種是通過數(shù)據(jù)交易市場來獲取。內(nèi)部數(shù)據(jù)的獲取依賴企業(yè)內(nèi)部的信息化,數(shù)據(jù)交易市場目前在國內(nèi)已經(jīng)趨于成熟,如數(shù)據(jù)堂、聚合數(shù)據(jù)、發(fā)源地等。企業(yè)可以根據(jù)自己需求決定團隊的規(guī)模,團隊技能包括網(wǎng)絡(luò)爬蟲、協(xié)議解析、數(shù)據(jù)清洗、數(shù)據(jù)對接等。

數(shù)據(jù)治理團隊:

數(shù)據(jù)治理包括數(shù)據(jù)質(zhì)量控制、元數(shù)據(jù)管理等。數(shù)據(jù)治理保證了數(shù)據(jù)可用、可控、可信。數(shù)據(jù)治理從本質(zhì)上來講是服務的角色,讓數(shù)據(jù)加工過程透明化,讓各個環(huán)節(jié)的數(shù)據(jù)使用者能夠清楚的知道數(shù)據(jù)從何而來,經(jīng)過了怎樣的處理過程。比如一個人的消費明細是原始數(shù)據(jù),處理夠得到消費天統(tǒng)計表、月統(tǒng)計表,消費者行為愛好分析表。數(shù)據(jù)治理要做的就是掌握他們之間的來龍去脈,并展現(xiàn)給其他團隊使用。

服務團隊:

云計算的核心思想是“一切皆服務”,解放生產(chǎn)力,讓企業(yè)可以專注在其最核心的領(lǐng)域內(nèi)。AI賦能是核心部分。

  • DaaS 數(shù)據(jù)即服務: 以數(shù)據(jù)的采集與提供,為主要業(yè)務內(nèi)容。相關(guān)技術(shù)包括ETL、流式數(shù)據(jù)處理、實時計算、異構(gòu)數(shù)據(jù)解析、數(shù)據(jù)治理等。
  • TaaS 工具即服務: 將數(shù)據(jù)處理工具以服務的形式提供。相關(guān)服務包括清洗服務、轉(zhuǎn)換服務、解析服務等。
  • AaaS 分析即服務: 以數(shù)據(jù)報告、可視化報表的形式提供服務。相關(guān)技術(shù)包括統(tǒng)計學、可視化技術(shù)等。
  • MaaS 挖掘即服務: 提供數(shù)據(jù)挖掘的核心能力服務。相關(guān)技術(shù)包括機器學習、深度學習、認知計算、模式識別等。

DAAS層的公司專注數(shù)據(jù)的交換,比如上文提到數(shù)據(jù)交易平臺。一種是直接交換數(shù)據(jù)(數(shù)據(jù)堂),一種是以API的形式提供(聚合數(shù)據(jù))。

TaaS專注于工具的服務,比如百度的預處理服務,將預處理的清洗、規(guī)約等過程封裝成服務。該類服務類似給淘金者提供錘子、釘子等公司,讓淘金者可以更方便的去挖金。

AaaS則專注于分析統(tǒng)計。比如阿里云數(shù)加提供的快速BI服務。傳統(tǒng)情況下搭建一個銷售數(shù)據(jù)分析系統(tǒng),可能要一個月。而使用AaaS,只要一天。用戶只要上傳數(shù)據(jù),數(shù)據(jù)處理邏輯基本是圖像化操作,拖放控件,大大提高了效率。

MaaS指的是數(shù)據(jù)挖掘的核心能力,如阿里云提供的機器學習api、深度學習模型等,在這種情況下,如果要開發(fā)一個圖片識別系統(tǒng),只要了解其提供的接口即可,無需關(guān)心內(nèi)部實現(xiàn),存儲和計算能力可以按需購買。這降低了技術(shù)門檻,使得AI更快的應用到其他行業(yè)。

應用團隊:

從對數(shù)據(jù)的加工層次,包括檢索查詢、統(tǒng)計分析、業(yè)務模型、數(shù)據(jù)展現(xiàn),需要深度結(jié)合領(lǐng)域知識。這里是更多中小創(chuàng)業(yè)者的機會所在。對初創(chuàng)企業(yè)來講,數(shù)據(jù)的獲取、數(shù)據(jù)的加工都可以使用云服務。而應用層,沒有任何一家企業(yè)可以通吃。應用層是創(chuàng)新最頻繁的地方,當然,也是競爭和死亡率最高的地方。

接下來,我們反觀數(shù)據(jù)源、數(shù)據(jù)加工、數(shù)據(jù)治理、數(shù)據(jù)應用幾個層面,來看下它們之間的發(fā)展邏輯。

數(shù)據(jù)智能的發(fā)展邏輯

數(shù)據(jù)源的三個層次:

  1. 緯度較少、數(shù)據(jù)量小
  2. 緯度豐富、數(shù)據(jù)量巨大(大數(shù)據(jù))。
  3. 數(shù)據(jù)正確、及時、具有代表性 樣本數(shù)據(jù)=總體數(shù)據(jù)(全數(shù)據(jù))。

對業(yè)務目標而言,數(shù)據(jù)是否“全”才是關(guān)鍵。

全數(shù)據(jù):足以能夠全面反映事物形態(tài)的數(shù)據(jù)集合。

全數(shù)據(jù)下,樣本數(shù)據(jù)=總體數(shù)據(jù),數(shù)據(jù)足夠正確、足夠新、足夠代表性。

當期,雖然大數(shù)據(jù)量很大、緯度很多、處理速度極快、能夠全量處理,但是大數(shù)據(jù)并沒有解決“全”的問題。

例如,“小而全的數(shù)據(jù)”:對于一個餐飲店的菜品銷售分析。其店內(nèi)產(chǎn)生的數(shù)據(jù)(客戶訂單、菜品評價),數(shù)據(jù)量每天的新增量僅在每天2千條左右,而且只有訂單和評價數(shù)據(jù),存儲數(shù)據(jù)庫也是傳統(tǒng)關(guān)系式數(shù)據(jù)庫。對“店內(nèi)菜品分析而言”
擁有這些數(shù)據(jù)已經(jīng)夠“全”,解決其業(yè)務問題。而更“大”的其他數(shù)據(jù),對其沒有貢獻。

再如,“大而不全的數(shù)據(jù)”:對于信貸問題,要發(fā)現(xiàn)不可信人員。往往的思路是,試圖通過對用戶的線上行為、消費情況、以往銀行記錄進行識別判斷。而現(xiàn)實情況卻是,該類人群會刻意的回避“線上行為”,如盜用他人銀行卡、民間高利貸等“線下行為”,這些隱蔽行為無法獲取到。

數(shù)據(jù)處理技術(shù)的三個層次:

  1. 檢索、查詢
  2. 統(tǒng)計、分類技術(shù)、異常數(shù)據(jù)分析、關(guān)聯(lián)性分析
  3. 趨勢預測

數(shù)據(jù)管理的三個層次:

  1. 保證數(shù)據(jù)可用
  2. 保證數(shù)據(jù)可控
  3. 保證數(shù)據(jù)可信

首要問題是有數(shù)據(jù)可用,這在數(shù)據(jù)匱乏的“小數(shù)據(jù)”時代最為重要。

“大數(shù)據(jù)”時代則要防止數(shù)據(jù)迅速膨脹帶來的數(shù)據(jù)失控問題,避免成為一堆大而亂的數(shù)據(jù)垃圾。

“全數(shù)據(jù)”強調(diào)的是:不盲目追求“大”,而是從業(yè)務應用的角度,保證數(shù)據(jù)的正確、及時。

數(shù)據(jù)價值的三個層次:

  1. 展示事物發(fā)展過程
  2. 描述事物發(fā)展本質(zhì)
  3. 預測事物發(fā)展趨勢

對事物的發(fā)展過程加以數(shù)字化的展現(xiàn),使用分類、關(guān)聯(lián)等技術(shù)發(fā)現(xiàn)事物發(fā)展過程中的規(guī)律、模式。

對事物的發(fā)展趨勢加以預測。

數(shù)據(jù)源層次越高、處理技術(shù)層次越高、數(shù)據(jù)管理層次越高,帶來的數(shù)據(jù)價值越大。

最后

綜上,整個行業(yè)市場就是巨頭引導的IaaS/PaaS/DaaS/TaaS/AaaS/MaaS各服務層加上各中小企業(yè)在應用層不斷向其他行業(yè)滲透的過程。市場在不斷的被瓜分和細化。大數(shù)據(jù)/云計算/人工智能互相交織,趨于一體。

一根針捅破天的機會越來越少,AI產(chǎn)品落地、垂直領(lǐng)域的創(chuàng)新、AI組織變革,將是接下來的熱點。

 

作者:小東,微信號: xzwz123456

本文由 @小東 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!