比起規(guī)模宏大的平臺(tái)架構(gòu)，筆者希望專(zhuān)注于項(xiàng)目本身，并記錄這個(gè)項(xiàng)目的全生命周期，希望大家花7分鐘，就能了解到一個(gè)項(xiàng)目的前世今生。

背景

我所在公司是本部在美國(guó)的跨國(guó)企業(yè)，經(jīng)常會(huì)有很多關(guān)于內(nèi)控方面的需求。最近筆者就接到了來(lái)自財(cái)務(wù)部門(mén)關(guān)于SOX compliance audit 的需求。

首先什么是SOX compliance audit – SOX原稱(chēng)Sarbanes Oxley Act，來(lái)源于美國(guó)聯(lián)邦頒布的一套非常復(fù)雜法案，其中對(duì)企業(yè)影響最大的是每年要求出具一份內(nèi)控報(bào)告來(lái)評(píng)估企業(yè)是否有足夠的內(nèi)控，同時(shí)需要核算時(shí)對(duì)這份報(bào)告進(jìn)行背書(shū)。

在這個(gè)背景下， 筆者身為市場(chǎng)部門(mén)數(shù)據(jù)中臺(tái)負(fù)責(zé)人，內(nèi)控項(xiàng)目理所當(dāng)然也就成為了我們團(tuán)隊(duì)需要重點(diǎn)關(guān)照的對(duì)象。這其中有一條業(yè)務(wù)線是關(guān)于與廣告聯(lián)盟的合作，基于不同的傭金模型，比如基于導(dǎo)流或者導(dǎo)流所產(chǎn)生的成交支付傭金。這條業(yè)務(wù)與超過(guò)13萬(wàn)個(gè)獨(dú)立導(dǎo)購(gòu)網(wǎng)站正在進(jìn)行著合作并每年為公司創(chuàng)造上億美金規(guī)模的利潤(rùn)。同時(shí)公司也需要支付千萬(wàn)美金的傭金費(fèi)用。

痛點(diǎn)分析

今年財(cái)務(wù)團(tuán)隊(duì)對(duì)這筆費(fèi)用準(zhǔn)確性提出了質(zhì)疑。 筆者公司有20+人的業(yè)務(wù)團(tuán)隊(duì)負(fù)責(zé)對(duì)接13萬(wàn)個(gè)合作伙伴，因?yàn)闃I(yè)務(wù)變化過(guò)快，費(fèi)率模型過(guò)于復(fù)雜，并行操作過(guò)多，單單依靠業(yè)務(wù)團(tuán)隊(duì)維護(hù)一套正確的費(fèi)率計(jì)算變成一個(gè)大難題。 實(shí)際上除了勉強(qiáng)能維護(hù)頭部的頂級(jí)流量外（其實(shí)也是亂七八糟），大部分合作伙伴基本處于完全失去管理的狀態(tài)。

當(dāng)我們團(tuán)隊(duì)接手時(shí)，發(fā)現(xiàn)業(yè)務(wù)同學(xué)把所有的費(fèi)率數(shù)據(jù)全部維護(hù)在谷歌文檔，并且經(jīng)常發(fā)生多人同時(shí)對(duì)這個(gè)文檔進(jìn)行修改。

提一句，這個(gè)現(xiàn)象在傳統(tǒng)企業(yè)是一個(gè)非常普遍的現(xiàn)象，隨之而來(lái)的就是導(dǎo)致了流程管理極為混亂，數(shù)據(jù)質(zhì)量參差不齊，有限的人手導(dǎo)致數(shù)據(jù)遺失非常嚴(yán)重。更糟糕的是，我們團(tuán)隊(duì)在進(jìn)一步分析后，發(fā)現(xiàn)理論支付的傭金數(shù)和實(shí)際支付差距高達(dá)40%。根據(jù)SOX法案，如此‘驚人’數(shù)據(jù)肯定無(wú)法順利通過(guò)內(nèi)控審核。

需求分析

筆者梳理了一下現(xiàn)有的業(yè)務(wù)的流程：

介紹一下這個(gè)第三方管理平臺(tái)，它用來(lái)管理于公司合作的所有導(dǎo)購(gòu)網(wǎng)站并核算傭金模型以及傭金支付。業(yè)務(wù)團(tuán)隊(duì)會(huì)直接在第三方的管理界面上調(diào)整對(duì)傭金模型進(jìn)行配置，而數(shù)據(jù)團(tuán)隊(duì)定時(shí)將導(dǎo)購(gòu)網(wǎng)站的交易數(shù)據(jù)分享至第三方平臺(tái)，并通過(guò)傭金模型計(jì)算出我公司需要支付的傭金費(fèi)用。

可以發(fā)現(xiàn)，最核心的費(fèi)用計(jì)算全部依靠這個(gè)三方平臺(tái)，而我們公司其實(shí)沒(méi)有辦法保證這個(gè)平臺(tái)的計(jì)算準(zhǔn)確性。那么一旦面臨審查機(jī)構(gòu)對(duì)我們的質(zhì)訊時(shí)，這個(gè)問(wèn)題就會(huì)凸現(xiàn)出來(lái)，目前由于大量人工的操作瓶頸， 所以沒(méi)有辦法對(duì)海量的模型進(jìn)行把控，對(duì)每一比交易進(jìn)行核對(duì)并對(duì)可疑交易進(jìn)行預(yù)警。

所以這個(gè)項(xiàng)目需要的是構(gòu)建一套并行的內(nèi)部費(fèi)用計(jì)算系統(tǒng)，實(shí)現(xiàn)高度監(jiān)管的傭金審計(jì)自動(dòng)化工作，幫助業(yè)務(wù)和財(cái)務(wù)部門(mén)高效監(jiān)控費(fèi)用支付并保證支付準(zhǔn)確，并主動(dòng)對(duì)有可疑的交易進(jìn)行預(yù)警。

這個(gè)需求有兩個(gè)難點(diǎn)：

（1）傭金模型結(jié)構(gòu)化過(guò)于復(fù)雜，存在大量的定制化需求以及獎(jiǎng)勵(lì)觸發(fā)條件。 這種業(yè)務(wù)在不同層面的切割會(huì)導(dǎo)致結(jié)構(gòu)化后數(shù)據(jù)會(huì)有極大的膨脹。

下面舉一個(gè)例子：導(dǎo)購(gòu)網(wǎng)站A在手機(jī)品類(lèi)上的傭金是1%，在首飾品類(lèi)上成交總量10000美金以下傭金2%,超過(guò)部分5%，其余的所有的傭金為2%。

對(duì)于這個(gè)一個(gè)傭金模率，當(dāng)在全品類(lèi)（千種以上）上的時(shí)候費(fèi)率展開(kāi)多達(dá)上萬(wàn)條。(如下)

實(shí)際情況遠(yuǎn)遠(yuǎn)比這個(gè)傭金模型復(fù)雜的多，我們有130萬(wàn)個(gè)這樣的合作伙伴，意味著即將要面臨的是海量費(fèi)率模型的全歷史維護(hù)并進(jìn)行準(zhǔn)確的費(fèi)用計(jì)算。

（2）對(duì)于主動(dòng)預(yù)警需求的多樣性

財(cái)務(wù)和業(yè)務(wù)團(tuán)隊(duì)為了保證高質(zhì)量的引流，在各個(gè)方面都可能會(huì)添加預(yù)警，如交易數(shù)量不平，傭金金額不平，獎(jiǎng)勵(lì)條件觸及不合理等。那么面對(duì)這些在未來(lái)很有可能需要大量開(kāi)發(fā)的工作，如何做到讓用戶可以以最小的成本，定制化監(jiān)控和預(yù)警，在設(shè)計(jì)上給了我們一個(gè)很大的難題。接下來(lái)的產(chǎn)品設(shè)計(jì)就著重從這幾個(gè)角度出發(fā)，進(jìn)行實(shí)現(xiàn)。

產(chǎn)品設(shè)計(jì)

基于以上分析分析，我們提出了整體解決方案：

1. 和三方平臺(tái)對(duì)接，落地傭金模型ODS層。
2. 開(kāi)發(fā)語(yǔ)意引擎，自動(dòng)消費(fèi)傭金模型元數(shù)據(jù)并使用結(jié)構(gòu)化引擎來(lái)讀取費(fèi)率模型，生成最細(xì)粒度的結(jié)構(gòu)化費(fèi)率數(shù)據(jù)。
3. 應(yīng)用傭金模型，使用核心交易數(shù)據(jù)模擬實(shí)際支付費(fèi)用，并與傭金結(jié)算數(shù)據(jù)進(jìn)行對(duì)比，實(shí)現(xiàn)費(fèi)用監(jiān)控。
4. 預(yù)留多層級(jí)自動(dòng)監(jiān)控和定制化警報(bào)推送。
5. 開(kāi)放結(jié)構(gòu)化的傭金模型數(shù)據(jù)，為分析師和業(yè)務(wù)人員提供自主分析和查詢(xún)。

上面的設(shè)計(jì)滿足了以上的幾個(gè)需求。 首先我們通過(guò)自動(dòng)集成第三方的數(shù)據(jù)落地ODS層保證了數(shù)據(jù)的一致性，同時(shí)在本公司內(nèi)部同步了一份可讀的傭金模型。

在結(jié)構(gòu)化引擎這一層， 我們將傭金模型進(jìn)行扁平化展開(kāi)后，對(duì)語(yǔ)義進(jìn)行封裝，保證了對(duì)以后對(duì)更多的傭金模型的橫向可擴(kuò)展性。最終將加工過(guò)的數(shù)據(jù)結(jié)構(gòu)化落地， 并在我們的數(shù)據(jù)平臺(tái)上進(jìn)行開(kāi)放，供SQL based 分析。

之后將數(shù)據(jù)進(jìn)行BI層的搭建， 基于業(yè)務(wù)需求，對(duì)多個(gè)數(shù)據(jù)源進(jìn)行聚合，通過(guò)OLAP（Kylin）進(jìn)行數(shù)據(jù)聚合后，在我們內(nèi)部的BI應(yīng)用上進(jìn)行展示。

過(guò)程中對(duì)異常數(shù)據(jù)，我們團(tuán)隊(duì)進(jìn)行了在各個(gè)層級(jí)的檢測(cè)，從ODS， 數(shù)倉(cāng)， OLAP， 業(yè)務(wù)每一層都預(yù)留了數(shù)據(jù)檢測(cè)的定制化服務(wù)，允許包括工程師，分析師以及業(yè)務(wù)同學(xué)，定制基于需求的異常監(jiān)控和主動(dòng)預(yù)警。

交付和資源配置

這個(gè)項(xiàng)目涉及到了跨團(tuán)隊(duì)合作，跨公司合作：

• 人員：跨部門(mén)合做，3名同學(xué)；
• 地點(diǎn)：美國(guó)&中國(guó)；
• 交付周期：3周。

價(jià)值定位

1. 這個(gè)項(xiàng)目實(shí)現(xiàn)了公司內(nèi)部的傭金模型元數(shù)據(jù)的管理，避免人為原因?qū)е氯笔Щ蝈e(cuò)誤傭金模型的情況。
2. 內(nèi)部的審計(jì)和風(fēng)控做到了有據(jù)可依
3. 主動(dòng)的報(bào)警會(huì)避免一些錯(cuò)誤支付的風(fēng)險(xiǎn)。
4. 產(chǎn)品也為業(yè)務(wù)團(tuán)隊(duì)提供了BI的解決方案，可視化每個(gè)導(dǎo)購(gòu)網(wǎng)站的綜合表現(xiàn)，以便更好的增加對(duì)頭部導(dǎo)購(gòu)網(wǎng)站的投入，最大化利潤(rùn)。

作者：Stanley；郵箱： pm_stanley@163.com

本文由 @Stanley原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自 unsplash，基于 CC0 協(xié)議