AI數(shù)據(jù)中心不僅負(fù)責(zé)數(shù)據(jù)的處理和分析，還通過實時推理和低延遲響應(yīng)，提升數(shù)據(jù)的應(yīng)用效果。本文將分享在AI數(shù)據(jù)中心設(shè)計中的實戰(zhàn)經(jīng)驗，探討如何通過量化標(biāo)簽提高數(shù)據(jù)流轉(zhuǎn)效率，增強模型的動態(tài)優(yōu)化能力，推動企業(yè)在人工智能領(lǐng)域取得突破性進(jìn)展。

數(shù)據(jù)是AI的食糧，巧婦也會難為無米之炊。在通常的定義中，AI數(shù)據(jù)中心不僅承擔(dān)著數(shù)據(jù)處理與分析，模型訓(xùn)練與優(yōu)化，還能通過實時推理和低延遲響應(yīng)，來進(jìn)行數(shù)據(jù)的應(yīng)用和版本控制。

而我也曾設(shè)計過AI產(chǎn)品的數(shù)據(jù)中心，只不過我的經(jīng)驗是圖像識別領(lǐng)域的，而且不是通用數(shù)據(jù)，而是小樣本量的醫(yī)療圖像數(shù)據(jù)，所以不一定適合所有的AI產(chǎn)品。不過希望也能通過分享給大家?guī)硪恍┪宜伎嫉慕嵌群驮O(shè)計的考量，如果這些能對大家有所啟發(fā)和思考，就請您不吝小手，「點贊收藏分享」這篇文章。

以下我將會從「數(shù)據(jù)中心的作用，數(shù)據(jù)中心的模塊，數(shù)據(jù)中心的主要數(shù)據(jù)流程，數(shù)據(jù)中心的用戶角色，達(dá)成的效果、注意的事項、遺憾和未達(dá)成的部分」七大板塊進(jìn)行闡述。

01 數(shù)據(jù)中心的作用

經(jīng)過我和數(shù)據(jù)中心的各類目標(biāo)用戶進(jìn)行討論和了解后，我大概理清了其中部分的思路。就是從使用環(huán)境、用戶角色、數(shù)據(jù)流程、應(yīng)用場景和使用需求著手。在通過1周多的時間，整理出一個大概的需求列表，并從中擴展放大，最后形成了下面的內(nèi)容，「數(shù)據(jù)中心的作用是什么？」

串聯(lián)數(shù)據(jù)使用流程

數(shù)據(jù)使用流程總體步驟其實并不多，不外乎就是「采集-標(biāo)記-訓(xùn)練-測試-反饋」。但一旦加入了不同的用戶角色和應(yīng)用場景后，就開始變得復(fù)雜了。我通過進(jìn)一步的梳理，得出了以下流程表

附圖1.數(shù)據(jù)中心‘?dāng)?shù)據(jù)使用流程圖’

從上圖可看出「反饋」串聯(lián)著整個流程。另外，數(shù)據(jù)集又會因為場景，分別形成訓(xùn)練數(shù)據(jù)集、訓(xùn)練測試集、應(yīng)用測試集，又通過不同的反饋流程重新回到數(shù)據(jù)流程中。這樣就形成了數(shù)據(jù)中心的另外一層核心的作用。

提高數(shù)據(jù)的流轉(zhuǎn)效率

通過不停的“反饋”，數(shù)據(jù)的流轉(zhuǎn)效率和數(shù)據(jù)應(yīng)用范圍就會不斷增加和豐富。比如

• 「協(xié)助算法研發(fā)團(tuán)隊對模型進(jìn)行更新與動態(tài)優(yōu)化」
• 「增加數(shù)據(jù)多樣性與泛化能力」

通過不同的數(shù)據(jù)標(biāo)簽。比如，來源類標(biāo)簽、標(biāo)記類標(biāo)簽、訓(xùn)練類標(biāo)簽、測試類標(biāo)簽、反饋標(biāo)簽等等；數(shù)據(jù)標(biāo)簽可以反映出數(shù)據(jù)不同流程和階段中產(chǎn)生的主動性和被動性的標(biāo)記，然后將相同、相近、相反或不同類別標(biāo)簽的數(shù)據(jù)整合成集，就能在不同的使用和應(yīng)用場景中批量調(diào)用和記錄標(biāo)記了。

協(xié)助系統(tǒng)應(yīng)用的實時分析與決策支持

模型優(yōu)化和實時的數(shù)據(jù)協(xié)同，加上數(shù)據(jù)流程中不斷產(chǎn)生和變化的數(shù)據(jù)標(biāo)簽，再通過貫穿整個流程「反饋」，為數(shù)據(jù)增加一層新類型的標(biāo)簽，「量化標(biāo)簽」。你也可以理解成“閾值‘’權(quán)重‘等等，因為之前的標(biāo)簽大多都是有還是沒有，即0或者1，現(xiàn)在通過反饋分析，增加了量化標(biāo)簽后，數(shù)據(jù)就變得維度更復(fù)雜了。加上實時的數(shù)據(jù)協(xié)同，就可以給到整體流程更多更豐富的決策支持了。如果有興趣了解詳情，可以去查看我已發(fā)布的文章AI產(chǎn)品經(jīng)理的核心能力（一）[1]中有詳細(xì)的說明。

02 數(shù)據(jù)中心的模塊

根據(jù)上文「數(shù)據(jù)中心的作用」中的數(shù)據(jù)中心‘?dāng)?shù)據(jù)使用流程圖’，我原來是梳理出七大模塊，但由于我最后的實際方案把“數(shù)據(jù)庫安全”通過其它手段達(dá)成了，最后就沒有把該模塊列入進(jìn)去了。最終整理出六大模塊

1. 「數(shù)據(jù)采集與導(dǎo)入」
2. 「標(biāo)記分配與標(biāo)記操作」
3. 「數(shù)據(jù)測試」
4. 「測試標(biāo)準(zhǔn)」
5. 「用戶權(quán)限」
6. 「量化賦值」

其中，前面4個模塊分別對應(yīng)著不同節(jié)點的數(shù)據(jù)流程，最后兩個則是數(shù)據(jù)中心的管理員對各流程中的用戶角色權(quán)限進(jìn)行定義和管理，和涉及數(shù)據(jù)全流程的量化賦值模塊。

03 數(shù)據(jù)中心主要的數(shù)據(jù)流程

根據(jù)上面整理的六大模塊，我先將前面4個模塊分別用不同的數(shù)據(jù)流程來解釋各自模塊的作用和意義，章節(jié)最后我將補充全數(shù)據(jù)流程都參與的量化賦值流程。

1. 數(shù)據(jù)采集流程

這個主要的用戶角色是運維人員，因為我的產(chǎn)品應(yīng)用場景是醫(yī)療，所以需要將原始醫(yī)療數(shù)據(jù)進(jìn)行導(dǎo)入操作和批處理操作，具體流程如下

附圖2.數(shù)據(jù)采集流程圖

編輯數(shù)據(jù)來源就是將數(shù)據(jù)的采集時間、設(shè)備、機構(gòu)、操作用戶、數(shù)據(jù)類型等標(biāo)簽添加在數(shù)據(jù)中，為最原始的數(shù)據(jù)添加第一批的數(shù)據(jù)標(biāo)簽「來源標(biāo)簽」。

2. 標(biāo)記流程

這個主要的用戶角色是“標(biāo)記管理員”和“標(biāo)記用戶”，而且流程更像是工單系統(tǒng)，所以我最后也是通過工單流程對其進(jìn)行梳理和設(shè)計的，具體流程如下：

附圖3.標(biāo)記流程圖

其中，如果遇上特殊情況，數(shù)據(jù)預(yù)處理和標(biāo)記操作部分，也會有其它用戶角色參與。比如，數(shù)據(jù)預(yù)處理流程的優(yōu)化和修改，醫(yī)學(xué)專家修改標(biāo)記操作流程和規(guī)范，還有提供標(biāo)記修正和金標(biāo)準(zhǔn)標(biāo)記。另外，重新指派是支線流程，不是主流程，而是標(biāo)記指派后，指派無法完成的情況下才會出現(xiàn)的支線流程。

3. 測試流程

這個流程其實包含了訓(xùn)練測試和應(yīng)用測試，但其實大體上分別不大，只是在環(huán)境和測試標(biāo)準(zhǔn)、測試數(shù)據(jù)集上有所區(qū)別，所以我就不將它們分開來講了，具體流程如下：

附圖4.測試流程圖

為了流程的簡潔，我將很多流程節(jié)點省略了很多支線流程和步驟，比如測試集的創(chuàng)建、編輯；模型的創(chuàng)建、算法參數(shù)的創(chuàng)建、編輯（參數(shù)的類型、類型是文本、數(shù)值還是選項），測試數(shù)據(jù)集的創(chuàng)建、編輯等等。還有數(shù)據(jù)查重這個，其實是因為這個數(shù)據(jù)中心是搭建在小樣本數(shù)據(jù)庫前提下的，為了提升數(shù)據(jù)的有效利用，訓(xùn)練數(shù)據(jù)有可能會和測試數(shù)據(jù)有所重合，因此特地增設(shè)此步驟來防止對測試結(jié)果的影響。

以上的都是根據(jù)數(shù)據(jù)流程來梳理的，下面的就是根據(jù)系統(tǒng)管理需要補充的流程。

4. 管理流程

這里面包括3個主要流程，**系統(tǒng)管理員流程、標(biāo)記管理員流程、算法管理員流程”

1. 系統(tǒng)管理員：「創(chuàng)建（刪除）用戶 – 查看用戶 – 編輯用戶權(quán)限」
2. 標(biāo)記管理員：「創(chuàng)建（編輯）‘標(biāo)記數(shù)據(jù)集’ – 選擇‘標(biāo)記數(shù)據(jù)集’ – 指派標(biāo)記用戶 – 查看標(biāo)記進(jìn)程 – 創(chuàng)建（編輯）標(biāo)記摘要 – 提交標(biāo)記數(shù)據(jù)」
3. 算法管理員：「創(chuàng)建（編輯）算法模型 – 創(chuàng)建（編輯/禁用）算法參數(shù) – 創(chuàng)建（編輯/禁用）測試標(biāo)準(zhǔn)」

其中，系統(tǒng)管理員主要就是創(chuàng)建用戶和編輯用戶權(quán)限，比如標(biāo)記用戶和標(biāo)記管理員用戶的權(quán)限，一個是指派，另一個是接受指派并進(jìn)行標(biāo)記操作。算法管理員里其實是三個單獨的流程，主要是為測試流程里，提供模型、參數(shù)、測試標(biāo)準(zhǔn)等的各種選項和范圍，對標(biāo)簽進(jìn)行統(tǒng)一化和規(guī)則一致性管理，防止各團(tuán)隊中研發(fā)成員有各自的習(xí)慣和方式，造成標(biāo)簽混亂、重復(fù)和冗余。

5. 量化賦值流程

這個算是數(shù)據(jù)中心最核心的模塊和功能之一了，詳細(xì)說起來可以很復(fù)雜，但其實本質(zhì)就是通過不斷的數(shù)據(jù)反饋和用戶反饋，將其進(jìn)行分析后量化一個值賦予于數(shù)據(jù)之上，形成數(shù)據(jù)的量化標(biāo)簽（即閾值權(quán)重）。

在我已發(fā)布的文章AI產(chǎn)品經(jīng)理的核心能力（一）[1]中有詳細(xì)的說明。

附圖5.量化賦值流程圖

其中就如上文【附圖1.數(shù)據(jù)中心‘?dāng)?shù)據(jù)使用流程圖’】里的反饋環(huán)節(jié)，就可以通過流程流轉(zhuǎn)重新回到數(shù)據(jù)流程里的將近每個環(huán)節(jié)，來對流程進(jìn)行優(yōu)化調(diào)整。

04 數(shù)據(jù)中心的用戶角色

經(jīng)過數(shù)據(jù)中心的主要流程梳理，我已經(jīng)能很好地洞見到，數(shù)據(jù)中心應(yīng)該具有的用戶角色，還有其在系統(tǒng)中的作用和需求目的?，F(xiàn)在我將根據(jù)不同的用戶角色，分別講講他們各自在系統(tǒng)中權(quán)限和操作內(nèi)容。

1. 運維用戶

這個角色權(quán)限比較簡單，但也很重要，因為這個角色是唯一一個能接觸到數(shù)據(jù)的實際物理承載體的，這個我將在后面的「注意事項」章節(jié)進(jìn)行說明，這里先按下不表。

• 數(shù)據(jù)采集與數(shù)據(jù)導(dǎo)入
• 數(shù)據(jù)來源標(biāo)簽管理
• 轉(zhuǎn)處理數(shù)據(jù)
• 生成待標(biāo)記數(shù)據(jù)集

2. 標(biāo)記管理員

這個角色主要就是為了管理“標(biāo)記流程”所建立的，數(shù)據(jù)在這里需要經(jīng)過指派和流轉(zhuǎn)，最后進(jìn)入到核心數(shù)據(jù)庫中，讓‘訓(xùn)練測試’和‘應(yīng)用測試’等流程隨時調(diào)用。

• 數(shù)據(jù)預(yù)處理
• 標(biāo)記數(shù)據(jù)集管理
• 標(biāo)記工單指派
• 標(biāo)記摘要管理

數(shù)據(jù)預(yù)處理和標(biāo)記數(shù)據(jù)集管理部分，有可能會有算法研發(fā)團(tuán)隊成員加入?yún)f(xié)助完成，因此此角色有可能會與其它用戶角色權(quán)限疊加

3. 標(biāo)記用戶

這個角色主要就是接收‘標(biāo)記管理員’的工單指派，根據(jù)標(biāo)記摘要要求完成工單指派，即標(biāo)記數(shù)據(jù)集的標(biāo)記。

• 標(biāo)記數(shù)據(jù)
• 完成/返回工單

只要涉及到工單，不得不注意的就是工單的異常處理，這里也是一樣。一旦指派因意外無法按時或者按需完成時，返回工單就起到閉環(huán)管理的作用了；比如，因為其他標(biāo)注需求等級較高且無空余可指派任務(wù)空間時，讓已指派的標(biāo)記用戶退回未完成或者未開始的工單就尤為重要了。

4. 算法研發(fā)管理員

這個是屬于傾向管理標(biāo)簽的角色，通常是對模型、訓(xùn)練數(shù)據(jù)集、測試數(shù)據(jù)集、訓(xùn)練測試、應(yīng)用測試等等的標(biāo)簽進(jìn)行統(tǒng)一管理。避免數(shù)據(jù)標(biāo)簽沒有統(tǒng)一的規(guī)則而造成的混亂。

• 創(chuàng)建/編輯算法模型
• 創(chuàng)建/編輯/禁用算法參數(shù)
• 創(chuàng)建/禁用測試標(biāo)準(zhǔn)參數(shù)

這里算法模型是允許進(jìn)行創(chuàng)建和編輯，但沒有給予刪除的權(quán)限，是因為模型有可能隨著研發(fā)和模型優(yōu)化，會有進(jìn)一步的變化，因此可以提供編輯權(quán)限，但由于模型涉及測試結(jié)果的展示，因此只允許編輯如算法模型名稱和摘要的權(quán)限，但不允許刪除；算法參數(shù)方面，可以允許參數(shù)有限度的編輯。比如增加參數(shù)選項里‘?dāng)?shù)據(jù)增強’可以從2個選項‘混合裁剪’、‘切除增強’增加到‘混合裁剪’、‘切除增強’、‘幾何翻轉(zhuǎn)’3個選項，但不允許刪除原來的選項，也不允許修改原選項。但可以禁用原來的選項，比如只保留一個選項，其余選項禁用。測試標(biāo)準(zhǔn)參數(shù)也允許創(chuàng)建和禁用，但不允許編輯。

算法參數(shù)和測試標(biāo)準(zhǔn)參數(shù)為什么不允許刪除，只允許禁用，而算法參數(shù)為什么只允許有程度的編輯，這個我將在后面的「注意事項」章節(jié)進(jìn)行說明，請留意。

5. 算法研發(fā)用戶

這個是使用數(shù)據(jù)中心最核心的用戶之一了。根據(jù)流程，用戶會進(jìn)行頻繁和循環(huán)的各類操作，而且都會占用系統(tǒng)大量的資源。所以必須通過流程合理對其操作和流程進(jìn)行簡化。

• 創(chuàng)建/調(diào)用訓(xùn)練數(shù)據(jù)集，包括創(chuàng)建（編輯/更新）數(shù)據(jù)集摘要
• 創(chuàng)建/調(diào)用訓(xùn)練測試集，包括創(chuàng)建（編輯/更新）數(shù)據(jù)集摘要
• 調(diào)用模型和算法參數(shù)創(chuàng)建訓(xùn)練，包括創(chuàng)建（編輯/更新）訓(xùn)練摘要
• 查看/對比訓(xùn)練測試結(jié)果
• 查看/對比應(yīng)用測試結(jié)果

這里面最經(jīng)常使用的就是訓(xùn)練測試流程和查看對比測試結(jié)果了，這里能非常直觀地查看各類測試參數(shù)下的測試結(jié)果，還可以通過進(jìn)行橫向的測試結(jié)果對比，來對算法模型的優(yōu)化提供分析支持。創(chuàng)建和調(diào)用數(shù)據(jù)集更像是給整個數(shù)據(jù)集的數(shù)據(jù)都統(tǒng)一打上的一個數(shù)據(jù)標(biāo)簽，然后讓不同流程中的節(jié)點可以直接批量調(diào)用。

6. 量化標(biāo)簽用戶

數(shù)據(jù)中心里對數(shù)據(jù)進(jìn)行唯一完全自定義標(biāo)簽的用戶。根據(jù)流程，反饋信息可以通過標(biāo)簽的形式對數(shù)據(jù)增加多樣性維度與數(shù)據(jù)泛化能力，從而體現(xiàn)出數(shù)據(jù)間的價值差別，并與應(yīng)用場景、用戶體驗產(chǎn)生一定程度的相關(guān)性。

• 創(chuàng)建/編輯/停用量化標(biāo)簽
• 編輯/關(guān)聯(lián)/取消關(guān)聯(lián)測試標(biāo)準(zhǔn)參數(shù)

我在已發(fā)布的文章AI產(chǎn)品經(jīng)理的核心能力（一）[1]第一章節(jié)部分中有這么一個例子，在‘自動駕駛里的行人防碰撞剎停系統(tǒng)’中，針對測試對象‘真實的人類生物’、‘具有人類形象的3D實物’、‘包含人形象的平面實物’，三個選項中，不僅有識別正確（True Positive）、識別錯誤（False Positive）2個維度，還有‘未識別’的維度，還有識別錯誤的不同應(yīng)用場景維度。

比如同樣是識別錯誤，將

• ‘具有人類形象的3D實物’識別為‘真實的人類生物’
• ‘真實的人類生物’識別為‘具有人類形象的3D實物’
• ‘包含人形象的平面實物’識別‘具有人類形象的3D實物’

這三種識別錯誤是不一樣的，前面2種錯誤不太影響應(yīng)用場景下的使用，第3種將帶來應(yīng)用場景中不好的用戶體驗，這時的測試對象（即測試數(shù)據(jù)本身）就具有不同測試價值和維度了，也就是原來的數(shù)據(jù)僅有0和1兩個維度，現(xiàn)在還有未檢出，即0、1、2，再通過用戶體驗給數(shù)據(jù)帶來的量化標(biāo)簽，很有可能就是0、1、2、0.5四個維度了。

比如：

‘具有人類形象的3D實物’識別出并正確值為2。

‘具有人類形象的3D實物’識別出但分類為‘真實的人類生物’值為1。

‘具有人類形象的3D實物’識別出但分類為‘包含人形象的平面實物’值為0.5。

‘具有人類形象的3D實物’未識別出值為0。

這樣，數(shù)據(jù)就突然有新的量化標(biāo)簽，并根據(jù)標(biāo)簽對測試進(jìn)行重新的分析和對比了。

看到這里，你應(yīng)該能明白數(shù)據(jù)中心的重要性和大概的作用了吧。

「那接下來我將對數(shù)據(jù)中心在實踐中達(dá)成的效果進(jìn)行簡略說明?！?/strong>