數(shù)據(jù)采集是數(shù)據(jù)分析的基礎(chǔ)，而埋點(diǎn)是最主要的采集方式。那么數(shù)據(jù)埋點(diǎn)采集到底都包括哪些問題？本文作者從什么是埋點(diǎn)、埋點(diǎn)怎么設(shè)計(jì)、埋點(diǎn)的應(yīng)用三個方面對這個問題進(jìn)行了梳理，與大家分享。

一、數(shù)據(jù)采集以及常見數(shù)據(jù)問題

1. 數(shù)據(jù)采集

數(shù)據(jù)采集有多種方式，埋點(diǎn)采集是其中非常重要的一部分，不論對c端還是b端產(chǎn)品都是主要的采集方式。

數(shù)據(jù)采集，顧名思義采集相應(yīng)的數(shù)據(jù)，是整個數(shù)據(jù)流的起點(diǎn)，采集的全不全，對不對，直接決定數(shù)據(jù)的廣度和質(zhì)量，影響后續(xù)所有的環(huán)節(jié)。在數(shù)據(jù)采集有效性，完整性不好的公司，經(jīng)常會有業(yè)務(wù)發(fā)現(xiàn)數(shù)據(jù)發(fā)生大幅度變化。

數(shù)據(jù)的處理，通常由以下5步構(gòu)成：

2. 常見數(shù)據(jù)問題

大體知道數(shù)據(jù)采集及其架構(gòu)之后，我們看看工作中遇到的問題，有多少是跟數(shù)據(jù)采集環(huán)節(jié)有關(guān)的：

1. 數(shù)據(jù)和后臺差距很大，數(shù)據(jù)不準(zhǔn)確-統(tǒng)計(jì)口徑不一樣、埋點(diǎn)定義不一樣、采集方式帶來誤差；
2. 想用的時候，沒有我想要的數(shù)據(jù)-沒有提數(shù)據(jù)采集需求、埋點(diǎn)不正確不完整；
3. 事件太多，不清楚含義-埋點(diǎn)設(shè)計(jì)的方式、埋點(diǎn)更新迭代的規(guī)則和維護(hù)；
4. 分析數(shù)據(jù)不知道看哪些數(shù)據(jù)和指標(biāo)-數(shù)據(jù)定義不清楚，缺乏分析思路。

我們需要根源性解決問題：把采集當(dāng)成獨(dú)立的研發(fā)業(yè)務(wù)來對待，而不是產(chǎn)品研發(fā)中的附屬品

二、埋點(diǎn)是什么

1. 埋點(diǎn)是什么

所謂埋點(diǎn)，就是數(shù)據(jù)采集領(lǐng)域的術(shù)語。它的學(xué)名應(yīng)該叫做事件追蹤，對應(yīng)的英文是Event Tracking? 指的是針對特定用戶行為或事件進(jìn)行捕獲，處理和發(fā)送的相關(guān)技術(shù)及其實(shí)施過程。

數(shù)據(jù)埋點(diǎn)是數(shù)據(jù)分析師，數(shù)據(jù)產(chǎn)品經(jīng)理和數(shù)據(jù)運(yùn)營，基于業(yè)務(wù)需求或者產(chǎn)品需求對用戶行為的每一個事件對應(yīng)位置進(jìn)行開發(fā)埋點(diǎn)，并通過SDK上報埋點(diǎn)的數(shù)據(jù)結(jié)果，記錄匯總數(shù)據(jù)后進(jìn)行分析，推動產(chǎn)品優(yōu)化和指導(dǎo)運(yùn)營。

流程伴隨著規(guī)范，通過定義我們看到，特定用戶行為和事件是我們的采集重點(diǎn)，還需要處理和發(fā)送相關(guān)技術(shù)及實(shí)施過程；數(shù)據(jù)埋點(diǎn)是服務(wù)于產(chǎn)品，又來源于產(chǎn)品中，所以跟產(chǎn)品息息相關(guān)，埋點(diǎn)在于具體的實(shí)戰(zhàn)過程，跟每個人對數(shù)據(jù)底層的理解程度有關(guān)。

2. 為什么要做埋點(diǎn)

埋點(diǎn)就是為了對產(chǎn)品進(jìn)行全方位的持續(xù)追蹤，通過數(shù)據(jù)分析不斷指導(dǎo)優(yōu)化產(chǎn)品。數(shù)據(jù)埋點(diǎn)的質(zhì)量直接影響到數(shù)據(jù)，產(chǎn)品，運(yùn)營等質(zhì)量。

1. 數(shù)據(jù)驅(qū)動-埋點(diǎn)將分析的深度下鉆到流量分布和流動層面，通過統(tǒng)計(jì)分析，對宏觀指標(biāo)進(jìn)行深入剖析，發(fā)現(xiàn)指標(biāo)背后的問題，洞察用戶行為與提升價值之間的潛在關(guān)聯(lián)；
2. 產(chǎn)品優(yōu)化-對產(chǎn)品來說，用戶在產(chǎn)品里做了什么，停留多久，有什么異常都需要關(guān)注，這些問題都可以通過埋點(diǎn)的方式實(shí)現(xiàn)；
3. 精細(xì)化運(yùn)營-埋點(diǎn)可以貫徹整個產(chǎn)品的生命周期，流量質(zhì)量和不同來源的分布，人群的行為特點(diǎn)和關(guān)系，洞察用戶行為與提升業(yè)務(wù)價值之間的潛在關(guān)聯(lián)。

3. 埋點(diǎn)的方式

埋點(diǎn)的方式都有哪些呢，當(dāng)前大多數(shù)公司都是客戶端，服務(wù)端相結(jié)合的方式：

準(zhǔn)確性：代碼埋點(diǎn)>可視化埋點(diǎn)>全埋點(diǎn)

三、埋點(diǎn)的框架和設(shè)計(jì)

1. 埋點(diǎn)采集的頂層設(shè)計(jì)

所謂的頂層設(shè)計(jì)就是想清楚怎么做埋點(diǎn)，用什么方式，上傳機(jī)制是什么，具體怎么定義，具體怎么落地等等；我們遵循唯一性，可擴(kuò)展性，一致性等的基礎(chǔ)上，我們要設(shè)計(jì)一些通用字段及生成機(jī)制，比如：cid, idfa,idfv等。

• 用戶識別：用戶識別機(jī)制的混亂會導(dǎo)致兩個結(jié)果：一是數(shù)據(jù)不準(zhǔn)確，比如UV數(shù)據(jù)對不上；二是涉及到漏斗分析環(huán)節(jié)出現(xiàn)異常。因此應(yīng)該做到：a.嚴(yán)格規(guī)范ID的本身識別機(jī)制；b.跨平臺用戶識別；
• 同類抽象: 同類抽象包括事件抽象和屬性抽象。事件抽象即瀏覽事件，點(diǎn)擊事件的聚合；屬性抽象，即多數(shù)復(fù)用的場景來進(jìn)行合并,增加來源區(qū)分；
• 采集一致：采集一致包括兩點(diǎn)：一是跨平臺頁面命名一致，二是按鈕命名一致；埋點(diǎn)的制定過程本身就是規(guī)范底層數(shù)據(jù)的過程，所以一致性是特別重要，只有這樣才能真正的用起來；
• 渠道配置：渠道主要指的是推廣渠道，落地頁，網(wǎng)頁推廣頁面，APP推廣頁面等，這個落地頁的配置要有統(tǒng)一規(guī)范和標(biāo)準(zhǔn)。

2. 埋點(diǎn)采集事件及屬性設(shè)計(jì)

在設(shè)計(jì)屬性和事件的時候，我們要知道哪些經(jīng)常變，哪些不變，哪些是業(yè)務(wù)行為，哪些是基本屬性。

基于基本屬性事件，我們認(rèn)為屬性是必須采集項(xiàng)，只是屬性里面的事件屬性根據(jù)業(yè)務(wù)不同有所調(diào)整而已，因此，我們可以把埋點(diǎn)采集分為協(xié)議層和業(yè)務(wù)層埋點(diǎn)。

• 業(yè)務(wù)分解：梳理確認(rèn)業(yè)務(wù)流程、操作路徑和不同細(xì)分場景、定義用戶行為路徑
• 分析指標(biāo)：對特定的事件進(jìn)行定義、核心業(yè)務(wù)指標(biāo)需要的數(shù)據(jù)
• 事件設(shè)計(jì)：APP啟動，退出、頁面瀏覽、事件曝光點(diǎn)擊
• 屬性設(shè)計(jì)：用戶屬性、事件屬性、對象屬性、環(huán)境屬性

3. 數(shù)據(jù)采集事件及屬性設(shè)計(jì)

Ev事件的命名，也遵循一些規(guī)則，同一類功能在不同頁面或位置出現(xiàn)時，按照功能名稱命名，頁面和位置在ev參數(shù)中進(jìn)行區(qū)分。僅是按鈕點(diǎn)擊時，按照按鈕名稱命名。

ev事件格式：ev分為ev標(biāo)識和ev參數(shù)

規(guī)則：

ev標(biāo)識和ev參數(shù)之間用“#”連接（一級連接符）；

ev參數(shù)和ev參數(shù)之間用“/”來連接（二級連接符）；

ev參數(shù)使用key=value的結(jié)構(gòu)，當(dāng)一個key對應(yīng)多個value值時，value1與value2之間用“，”連接（三級連接符）；

當(dāng)埋點(diǎn)僅有ev標(biāo)識沒有ev參數(shù)的時候，不需要帶#；

備注：

ev標(biāo)識：作為埋點(diǎn)的唯一標(biāo)識，用來區(qū)分埋點(diǎn)的位置和屬性，不可變，不可修改；

ev參數(shù)：埋點(diǎn)需要回傳的參數(shù)，ev參數(shù)順序可變，可修改；）

app埋點(diǎn)調(diào)整的時，ev標(biāo)識不變，只修改后面的埋點(diǎn)參數(shù)（參數(shù)取值變化或者增加參數(shù)類型）

eg:一般埋點(diǎn)文檔中所包含的sheet名稱以及作用：

A、曝光埋點(diǎn)匯總；

B、點(diǎn)擊和瀏覽埋點(diǎn)匯總；

C、失效埋點(diǎn)匯總：一般會記錄埋點(diǎn)失效版本或時間；

D、PC和M端頁面埋點(diǎn)所對應(yīng)的pageid；

E、各版本上線時間記錄；

埋點(diǎn)文檔中，所有包含的列名及功能：

4. 基于埋點(diǎn)的數(shù)據(jù)統(tǒng)計(jì)

用埋點(diǎn)統(tǒng)計(jì)數(shù)據(jù)怎么查找埋點(diǎn)ev事件：

1. 明確埋點(diǎn)類型（點(diǎn)擊/曝光/瀏覽）——篩選type字段
2. 明確按鈕埋點(diǎn)所屬頁面（頁面或功能）——篩選功能模塊字段
3. 明確埋點(diǎn)事件名稱——篩選名稱字段
4. 知道ev標(biāo)識，可直接用ev來進(jìn)行篩選

根據(jù)ev事件怎么進(jìn)行查數(shù)統(tǒng)計(jì)：當(dāng)查詢按鈕點(diǎn)擊統(tǒng)計(jì)時，可直接用ev標(biāo)識進(jìn)行查詢，當(dāng)有所區(qū)分可限定埋點(diǎn)參數(shù)取值；因?yàn)閑v參數(shù)的順序不做要求可變，所以查詢統(tǒng)計(jì)時，不能按照參數(shù)的順序進(jìn)行限定；

四、應(yīng)用-數(shù)據(jù)流程的基礎(chǔ)

1. 指標(biāo)體系

體系化的指標(biāo)可以綜合不同的指標(biāo)不同的維度串聯(lián)起來進(jìn)行全面的分析，會更快的發(fā)現(xiàn)目前產(chǎn)品和業(yè)務(wù)流程存在的問題。

2. 可視化

人對圖像信息的解釋效率比文字更高，可視化對數(shù)據(jù)分析極為重要，利用數(shù)據(jù)可視化可以揭示出數(shù)據(jù)內(nèi)在的錯綜復(fù)雜的關(guān)系。

3. 埋點(diǎn)元信息api提供

數(shù)據(jù)采集服務(wù)會對采集到的埋點(diǎn)寫入到 Kafka 中，對于各個業(yè)務(wù)的實(shí)時數(shù)據(jù)消費(fèi)需求，我們?yōu)槊總€業(yè)務(wù)提供了單獨(dú)的 Kafka，流量分發(fā)模塊會定期讀取埋點(diǎn)管理平臺提供的元信息，將流量實(shí)時分發(fā)的各業(yè)務(wù) Kafka 中。

數(shù)據(jù)采集猶如設(shè)計(jì)產(chǎn)品，不能過度，留出擴(kuò)展余地，但要經(jīng)常思考數(shù)據(jù)有沒有，全不全，細(xì)不細(xì)，穩(wěn)不穩(wěn)，快不快。

作者：趙小洛，wechat：luoluo963，郵箱：youlu2409@163.com；公眾號：趙小洛洛洛，歡迎關(guān)注我的微信公眾號，給我留言數(shù)據(jù)相關(guān)話題。

本文由 @趙小洛 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議。