大數(shù)據(jù)體系下的政務(wù)智能BI建設(shè)
強(qiáng)大的BI平臺技術(shù)及政務(wù)智能BI應(yīng)用,為政府行政管理和服務(wù)提供了新的工具和手段。具體怎么實(shí)現(xiàn)?這篇文章里,作者就總結(jié)了政務(wù)智能BI的建設(shè),一起來看看本文的梳理和拆解。
現(xiàn)代信息技術(shù)發(fā)展到今天,政務(wù)智能BI的應(yīng)用到政府的行政管理和公眾服務(wù)開辟了信息技術(shù)的重要應(yīng)用領(lǐng)域,同時也為政府行政管理和服務(wù)提供了新的工具和手段。
政務(wù)活動與數(shù)據(jù)治理技術(shù)的結(jié)合,一方面擴(kuò)大了智能BI行業(yè)的市場,在新的需求下促進(jìn)智能BI不斷的往縱深的發(fā)展和完善;另一方面,采用強(qiáng)大的BI平臺技術(shù),大數(shù)據(jù)分析技術(shù),使行政管理和公眾服務(wù)增加了新的內(nèi)容,改變了行政方式,提高了行政效率。
一、BI平臺建設(shè)的背景
伴隨著政務(wù)信息化的發(fā)展,BI也也逐步成為政府辦公的標(biāo)配,在大數(shù)據(jù)、數(shù)據(jù)中臺的生態(tài)環(huán)境的加成下,政務(wù)BI平臺以大數(shù)據(jù)基礎(chǔ)為支撐,提供了便捷易用的數(shù)據(jù)可視化操作與靈活高效的多維分析能力。
下面我們先聊一下什么是政務(wù)BI,政務(wù)BI起源于商業(yè)BI,從技術(shù)層面來說,都是指使用數(shù)據(jù)倉庫技術(shù)、OLAP在線分析處理技術(shù),數(shù)據(jù)挖掘和展現(xiàn)技術(shù)進(jìn)行數(shù)據(jù)的“采,存,管,用”,從而實(shí)現(xiàn)政務(wù)價值。
簡單來說,政務(wù)BI也是一款數(shù)據(jù)工具,一款可以進(jìn)行數(shù)據(jù)分析并輸出分析成果的工具,或者說是一套可以為政府領(lǐng)導(dǎo)實(shí)時查看信息,提供決策依據(jù)的數(shù)據(jù)分析解決方案。
如下本人項(xiàng)目的原型圖:
二、政務(wù)BI產(chǎn)品架構(gòu)設(shè)計(jì)
當(dāng)?shù)玫秸?wù)BI平臺建設(shè)項(xiàng)目的時候,首位接棒者就是數(shù)據(jù)產(chǎn)品經(jīng)理,其要做的工作和常規(guī)的產(chǎn)品設(shè)計(jì)工作類似,首先要進(jìn)行項(xiàng)目調(diào)研,對產(chǎn)品形態(tài)有大致的了解,進(jìn)而梳理產(chǎn)品使用流程,完成功能架構(gòu)設(shè)計(jì),由此確定產(chǎn)品的需求范圍和功能的邊界。
1)產(chǎn)品的使用流程
以用戶為切入點(diǎn),我們可將用戶分為內(nèi)容的加工者:使用BI平臺進(jìn)行數(shù)據(jù)處理,數(shù)據(jù)分析與可視化制作的人群(一般是供應(yīng)商或一線公務(wù)員);內(nèi)容使用者:查閱報(bào)表的人群(一般就是領(lǐng)導(dǎo)級別)。
2)產(chǎn)品的框架設(shè)計(jì)常見的框架設(shè)計(jì)方式有:
- 按照產(chǎn)品的功能模塊展開設(shè)計(jì):如果產(chǎn)品相對獨(dú)立,或者對上下游的依賴關(guān)系清晰,可選用以產(chǎn)品的功能模塊為切入點(diǎn),進(jìn)行產(chǎn)品架構(gòu)設(shè)計(jì)。
- 按照產(chǎn)品的業(yè)務(wù)邏輯展開設(shè)計(jì):如果產(chǎn)品與企業(yè)多個系統(tǒng)存在依賴關(guān)系與數(shù)據(jù)流轉(zhuǎn)關(guān)系,且系統(tǒng)角色復(fù)雜,可通過產(chǎn)品的業(yè)務(wù)邏輯來進(jìn)行產(chǎn)品架構(gòu)設(shè)計(jì),在設(shè)計(jì)前,需要補(bǔ)充各業(yè)務(wù)模塊的數(shù)據(jù)流轉(zhuǎn)邏輯和頁面交互。
三、政務(wù)BI產(chǎn)品功能詳解
需求實(shí)現(xiàn)的方式有很多,“條條大路通羅馬”,可供選擇的實(shí)現(xiàn)邏輯也有很多。一般而言,政務(wù)智能BI也可以以下方式實(shí)現(xiàn):
1. 數(shù)據(jù)的接入
如果要自上而下的講解BI產(chǎn)品架構(gòu),首先要說的應(yīng)該是基礎(chǔ)服務(wù),不過基礎(chǔ)服務(wù)功能都是通用的,不管是商業(yè)BI,還是政務(wù)BI。所以這里從BI平臺使用的主流程開始講:
數(shù)據(jù)接入,顧名思義就是把源數(shù)據(jù),外部數(shù)據(jù)接入BI平臺,比如可以從Hadoop大數(shù)據(jù)平臺(可以看做是新一代的數(shù)據(jù)倉庫系統(tǒng)),政府其他部門的數(shù)據(jù)中臺等接入。
簡單來說,政務(wù)BI平臺也一樣,使用適配的數(shù)據(jù)源類型有:
- 大數(shù)據(jù)平臺:企業(yè)級數(shù)據(jù)倉庫,常用Hadoop大數(shù)據(jù)平臺,如Hive等。
- 關(guān)系型數(shù)據(jù)庫:可以通過JDBC接口實(shí)時訪問的的數(shù)據(jù)庫,如MySQL。
- 文本數(shù)據(jù)源:文本文件如Excel,CSV。
- API數(shù)據(jù)源:對外提供標(biāo)準(zhǔn)的API接口。
- 內(nèi)置數(shù)據(jù)源:內(nèi)置的無須用戶添加即可使用的數(shù)據(jù),如天氣數(shù)據(jù),人口數(shù)據(jù),移動應(yīng)用數(shù)據(jù)等。
在進(jìn)行具體的功能設(shè)計(jì)時,產(chǎn)品需要秉持“增刪改查空異?!钡钠咦终嫜裕@是產(chǎn)品設(shè)計(jì)最基礎(chǔ)最通用的設(shè)計(jì)準(zhǔn)則。
2. 數(shù)據(jù)的處理
通過對已接入數(shù)據(jù)源的數(shù)據(jù)表進(jìn)行二次計(jì)算等操作,創(chuàng)建新的數(shù)據(jù)集,以便進(jìn)行數(shù)據(jù)的篩選與清洗、數(shù)據(jù)的標(biāo)記、轉(zhuǎn)換等。
數(shù)據(jù)集,顧名思義就是數(shù)據(jù)的集合,就是一張張新的數(shù)據(jù)中間表。為了提高用戶的可視化分析取數(shù)的效率,政務(wù)BI平臺也會建設(shè)一個中間層(分布式數(shù)據(jù)庫)存儲各類數(shù)據(jù)集,避免每次數(shù)據(jù)的調(diào)用都需要重新進(jìn)行底層的取數(shù)與計(jì)算。
大概可以分為以下3種方式:
1)數(shù)據(jù)表類:最直接最簡單最常用的數(shù)據(jù)加工方式,從指定的數(shù)據(jù)源中選擇想要的獲取的數(shù)據(jù)表,進(jìn)行數(shù)據(jù)的抽取,保存操作即可。
2)SQL類:就是通過編寫SQL語句的方式實(shí)現(xiàn)的,基本功能就是為用戶提供SQL語法的編寫能力??梢詫?shí)現(xiàn)一些高級及有的深度的功能。
3)自助配置類:就是通過用戶界面操作數(shù)據(jù)集,自助配置類降低了數(shù)據(jù)的操作門檻,具體實(shí)現(xiàn)流程有:
- 數(shù)據(jù)的過濾:界面可視化進(jìn)行數(shù)據(jù)的過濾。
- 分組匯總:比如:需要根據(jù)某社區(qū)的居民明細(xì)表,統(tǒng)計(jì)該社區(qū)中各樓棟的住戶數(shù),起對應(yīng)的SQL語句是SELECT COUNT(*) FROM <表名> GROUP BY <樓棟字段>。
- 新增字段:新增字段屬于相對復(fù)雜的處理動作,需要引入很多函數(shù)來實(shí)現(xiàn)多字段的二次計(jì)算。
- 多表合并:通過SQL語句進(jìn)行多表合并,主要是左右合并(JOIN操作)和上下合并(UNION操作)兩類,這也需要有一定的編程基礎(chǔ),理解JOIN和UNION是實(shí)現(xiàn)邏輯。
(這里再補(bǔ)充一下,產(chǎn)品經(jīng)理是必須要懂一定程度的編程技術(shù)的,編程世界的一些原理,概念其實(shí)都是來自于現(xiàn)實(shí)生活的高度抽象,改變世界的其實(shí)一直都是技術(shù)而不是產(chǎn)品,哈哈)
3. 可視化分析
前面說BI平臺的內(nèi)容生產(chǎn)流程時,我們說到從數(shù)據(jù)源到數(shù)據(jù)集的生產(chǎn)過程,對應(yīng)著上文的數(shù)據(jù)接入與數(shù)據(jù)處理,而從數(shù)據(jù)集到圖表,再到儀表板(Dashboard),就是數(shù)據(jù)可視化應(yīng)用的過程了。
在日常的工作中,業(yè)務(wù)分析人員使用BI平臺進(jìn)行OLAP操作,并將數(shù)據(jù)分析的內(nèi)容分發(fā)給其他人,就產(chǎn)生了報(bào)表或者數(shù)據(jù)大屏的展現(xiàn)效果。然后,將圖表(組件)抽離出來,作為一個獨(dú)立的模塊,在創(chuàng)建儀表板時,業(yè)務(wù)優(yōu)先創(chuàng)建圖表,然后再將多個圖表組裝成儀表板,最終就可以形成一份份有價值的數(shù)據(jù)可視化。具體為:
- 數(shù)據(jù)加工分析:還應(yīng)根據(jù)實(shí)際需要進(jìn)行一些臨時的數(shù)據(jù)加工,如新增同比環(huán)比,設(shè)置維度與設(shè)置指標(biāo)
- 圖表設(shè)置:目前基本的圖表類型有卡片、表格、折線圖、柱狀圖、餅圖與漏斗圖等,復(fù)雜的圖表類型有熱力圖、樹形圖等等,百度的Apache ECharts 是目前國內(nèi)應(yīng)用最廣,能力最全面的開源可視化圖表庫,大家可以參考一下。
- 儀表板設(shè)置:包括過濾條件的設(shè)置,可實(shí)現(xiàn)數(shù)據(jù)的穿透與交叉分析。圖表聯(lián)動的設(shè)置,當(dāng)篩選某個字段時,其他關(guān)聯(lián)數(shù)據(jù)可以聯(lián)動的切換。
這些常規(guī)的操作,我們在設(shè)計(jì)可視化的時候就要考慮好~~~~~~~~
4. 內(nèi)容分發(fā)
內(nèi)容分發(fā),顧名思義就是把內(nèi)容分發(fā)給用戶。BI平臺常用的內(nèi)容分發(fā)渠道包括BI報(bào)表查看平臺(PC)、移動BI(App)、數(shù)據(jù)大屏、郵件分發(fā)、URL分發(fā)與嵌入分發(fā)等。
報(bào)表數(shù)據(jù)的權(quán)限如何控制?如何實(shí)現(xiàn)權(quán)限的自動增刪?不同的場景應(yīng)用下如何拆分問題?
大致可以下方式去解決:
- 用戶:拆分用戶主體下的最小單元,選擇用戶,選擇報(bào)表,設(shè)置數(shù)據(jù)權(quán)限,從而完成報(bào)表分發(fā)。
- 報(bào)表:拆分報(bào)表主體下的最小單元,選擇報(bào)表,設(shè)置數(shù)據(jù)權(quán)限,選擇用戶,從而完成報(bào)表分發(fā)。
四、更加靈活的移動政務(wù)BI
1. 內(nèi)容分發(fā)的窗口
一把手、二把手可以查看所管轄區(qū)域關(guān)鍵經(jīng)濟(jì)運(yùn)行數(shù)據(jù),人口數(shù)據(jù)等;發(fā)改委可以查看城市更新數(shù)據(jù),舊村改造數(shù)據(jù)等;教育局可以查看當(dāng)?shù)氐慕逃Y源分配,就業(yè)情況等;交通局可以查看城市交通運(yùn)行情況……這些信息很多時候是需要實(shí)時查看的,那就要有實(shí)時統(tǒng)計(jì),并展現(xiàn)的載體:
本人推薦三種移動端信息架構(gòu)形式:列表、網(wǎng)格、輪播(比如帆軟FineReport支持的報(bào)表嵌入其他應(yīng)用等)
2. 數(shù)據(jù)分析的工具
我們需要結(jié)合業(yè)務(wù)需求對底層數(shù)據(jù)進(jìn)行萃取,選取常用的指標(biāo)與維度抽象成指標(biāo)庫和維度庫,作為移動BI用戶數(shù)據(jù)分析的原材料。
1)指標(biāo)庫-數(shù)據(jù)萃取
主要包括指標(biāo)的查看與申請、指標(biāo)的維護(hù),指標(biāo)的分組管理、指標(biāo)的說明等等
2)維度庫-權(quán)限的管控
舉例,我們?yōu)槟呈泄茌犗履硡^(qū)發(fā)改委分配“全區(qū)工業(yè)投資總額”數(shù)據(jù)時,在為其分配“全區(qū)工業(yè)投資總額”這個指標(biāo)的同時,還需要限制維度為“全市”還是“全市下的某區(qū)”,以避免數(shù)據(jù)權(quán)限外溢,因此,維度管理是權(quán)限管控的最直接手段。
3)數(shù)據(jù)分析-樂高模式
數(shù)據(jù)分析的操作流程簡單來說就是選擇有利于數(shù)據(jù)可視化展示的圖形,選取指標(biāo)和設(shè)置維度3大步驟,具體來說就是將功能拆分成一個個“樂高”部件,用戶可以按照自身的需要組裝成各自的“樂高城堡”,最終達(dá)到自己想要的效果。
五、政務(wù)智能BI總結(jié)
隨著政府與公共部門各級決策者對經(jīng)濟(jì)發(fā)展、城市管理、社會民生、治安、交通、教育、衛(wèi)生等問題的日益重視,迫切需要建設(shè)一個涵蓋各業(yè)務(wù)數(shù)據(jù)統(tǒng)計(jì)等于一體的BI數(shù)據(jù)分析平臺,方便市政府各級決策者快速掌握相關(guān)情況、處理相關(guān)事務(wù)。
不管是PC端,移動端,還是大屏端,政務(wù)智能BI都不僅僅是數(shù)據(jù)分析的工具,它們輸出的是政府決策輔助的服務(wù)能力,是為了讓數(shù)據(jù)產(chǎn)生更多的行政、施政業(yè)務(wù)價值。
從傳統(tǒng)的BI到敏捷商業(yè)BI,再到如今大數(shù)據(jù)體系下的政務(wù)智能BI,BI平臺與政府業(yè)務(wù)越來越融合。BI平臺對于數(shù)據(jù)資源管理的方案優(yōu)勢,提升了其獲取底層數(shù)據(jù)的能力,這讓數(shù)據(jù)對政府業(yè)務(wù)場景的描述越來越豐滿,政務(wù)智能BI具備的更強(qiáng)的處理具體政務(wù)業(yè)務(wù)場景的能力。
本文由 @短劍在閑逛 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自 Unsplash,基于 CC0 協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
非常棒
收益匪淺,請問一下,可以分享一下原型界面嗎?
收益匪淺,請問一下,可以分享一下原型界面嗎?