收集web日志的目的

Web日志挖掘是指采用數(shù)據(jù)挖掘技術(shù)，對站點(diǎn)用戶訪問Web服務(wù)器過程中產(chǎn)生的日志數(shù)據(jù)進(jìn)行分析處理，從而發(fā)現(xiàn)Web用戶的訪問模式和興趣愛好等，這些信息對站點(diǎn)建設(shè)潛在有用的可理解的未知信息和知識，用于分析站點(diǎn)的被訪問情況，輔助站點(diǎn)管理和決策支持等。

1、以改進(jìn)web站點(diǎn)設(shè)計(jì)為目標(biāo)，通過挖掘用戶聚類和用戶的頻繁訪問路徑，修改站點(diǎn)的頁面之間的鏈接關(guān)系，以適應(yīng)用戶的訪問習(xí)慣，并且同時為用戶提供有針對性的電子商務(wù)活動和個性化的信息服務(wù)，應(yīng)用信息推拉技術(shù)構(gòu)建智能化Web站點(diǎn)。

2、以分析Web站點(diǎn)性能為目標(biāo)，主要從統(tǒng)計(jì)學(xué)的角度，對日志數(shù)據(jù)項(xiàng)進(jìn)行粗略的統(tǒng)計(jì)分析，得到用戶頻繁訪問頁、單位時間的訪問數(shù)、訪問數(shù)量隨時間分布圖等?，F(xiàn)有的絕大多數(shù)的Web日志分析工具都屬于此類。

3、以理解用戶意圖為目標(biāo)，主要是通過與用戶交互的過程收集用戶的信息，Web服務(wù)器根據(jù)這些信息對用戶請求的頁面進(jìn)行裁剪，為用戶返回定制的頁面，其目的就是提高用戶的滿意度和提供個性化的服務(wù)。

收集方式

網(wǎng)站分析數(shù)據(jù)主要有三種收集方式：Web日志、Javascript標(biāo)記和包嗅探器。

Web日志

web日志處理流程：

從上圖可以看出網(wǎng)站分析數(shù)據(jù)的收集從網(wǎng)站訪問者輸入U(xiǎn)RL向網(wǎng)站服務(wù)器發(fā)出http請求就開始了。網(wǎng)站服務(wù)器接收到請求后會在自己的Log文件中追加一條記錄，記錄內(nèi)容包括：遠(yuǎn)程主機(jī)名(或者是IP地址)、登錄名、登錄全名、發(fā)請求的日期、發(fā)請求的時間、請求的詳細(xì)(包括請求的方法、地址、協(xié)議)、請求返回的狀態(tài)、請求文檔的大小。隨后網(wǎng)站服務(wù)器將頁面返回到訪問者的瀏覽器內(nèi)得以展現(xiàn)。

Javascript標(biāo)記

Javascript標(biāo)記處理流程：

上圖所示Javascript標(biāo)記同Web日志收集數(shù)據(jù)一樣，從網(wǎng)站訪問者發(fā)出http請求開始。不同的是，Javascript標(biāo)記返回給訪問者的網(wǎng)頁代碼中會包含一段特殊的Javascript代碼，當(dāng)頁面展示的同時這段代碼也得以執(zhí)行。這段代碼會從訪問者的Cookie中取得詳細(xì)信息(訪問時間、瀏覽器信息、工具廠商賦予當(dāng)前訪問者的userID等)并發(fā)送到工具商的數(shù)據(jù)收集服務(wù)器。數(shù)據(jù)收集服務(wù)器對收集到的數(shù)據(jù)處理后存入數(shù)據(jù)庫中。網(wǎng)站經(jīng)營人員通過訪問分析報(bào)表系統(tǒng)查看這些數(shù)據(jù)。

包嗅探器

通過包嗅探器收集分析的流程：

上圖可以看出網(wǎng)站訪問者發(fā)出的請求到達(dá)網(wǎng)站服務(wù)器之前，會先經(jīng)過包嗅探器，然后包嗅探器才會將請求發(fā)送到網(wǎng)站服務(wù)器。包嗅探器收集到的數(shù)據(jù)經(jīng)過工具廠商的處理服務(wù)器后存入數(shù)據(jù)庫。隨后網(wǎng)站經(jīng)營人員就可以通過分析報(bào)表系統(tǒng)看到這些數(shù)據(jù)。

web日志挖掘過程

整體流程參考下圖：

1、數(shù)據(jù)預(yù)處理階段根據(jù)挖掘的目的，對原始Web日志文件中的數(shù)據(jù)進(jìn)行提取、分解、合并、最后轉(zhuǎn)換為用戶會話文件。該階段是Web訪問信息挖掘最關(guān)鍵的階段，數(shù)據(jù)預(yù)處理包括:關(guān)于用戶訪問信息的預(yù)處理、關(guān)于內(nèi)容和結(jié)構(gòu)的預(yù)處理。

2、會話識別階段該階段本是屬于數(shù)據(jù)預(yù)處理階段中的一部分，這里將其劃分成單獨(dú)的一個階段，是因?yàn)榘延脩魰捨募澐殖傻囊唤M組用戶會話序列將直接用于挖掘算法，它的精準(zhǔn)度直接決定了挖掘結(jié)果的好壞，是挖掘過程中最重要的階段。

3、模式發(fā)現(xiàn)階段模式發(fā)現(xiàn)是運(yùn)用各種方法和技術(shù)從Web日志數(shù)據(jù)中挖掘和發(fā)現(xiàn)用戶使用Web的各種潛在的規(guī)律和模式。模式發(fā)現(xiàn)使用的算法和方法不僅僅來自數(shù)據(jù)挖掘領(lǐng)域，還包括機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)和模式識別等其他專業(yè)領(lǐng)域。

模式發(fā)現(xiàn)的主要技術(shù)有：統(tǒng)計(jì)分析（statistical analysis）、關(guān)聯(lián)規(guī)則（association rules）、聚類（clustering）、歸類（classification）、序列模式（sequential patterns）、依賴關(guān)系（dependency）。

（1）統(tǒng)計(jì)分析（statistical analysis）：常用的統(tǒng)計(jì)技術(shù)有：貝葉斯定理、預(yù)測回歸、對數(shù)回歸、對數(shù)-線性回歸等?？捎脕矸治鼍W(wǎng)頁的訪問頻率，網(wǎng)頁的訪問時間、訪問路徑?？捎糜谙到y(tǒng)性能分析、發(fā)現(xiàn)安全漏洞、為網(wǎng)站修改、市場決策提供支持。

（2）關(guān)聯(lián)規(guī)則（association rules）：關(guān)聯(lián)規(guī)則是最基本的挖掘技術(shù)，同時也是WUM最常用的方法。在WUM中常常用在被訪問的網(wǎng)頁中，這有利于優(yōu)化網(wǎng)站組織、網(wǎng)站設(shè)計(jì)者、網(wǎng)站內(nèi)容管理者和市場分析，通過市場分析可以知道哪些商品被頻繁購買，哪些顧客是潛在顧客。

（3）聚類（clustering）：聚類技術(shù)是在海量數(shù)據(jù)中尋找彼此相似對象組，這些數(shù)據(jù)基于距離函數(shù)求出對象組之間的相似度。在WUM中可以把具有相似模式的用戶分成組，可以用于電子商務(wù)中市場分片和為用戶提供個性化服務(wù)。

（4）歸類（classification）：歸類技術(shù)主要用途是將用戶資料歸入某一特定類中，它與機(jī)器學(xué)習(xí)關(guān)系很緊密?？梢杂玫募夹g(shù)有：決策樹（decision tree）、K-最近鄰居、Na?ve Bayesian classifiers、支持向量機(jī)（support vector machines）。

（5）序列模式（sequential patterns）：給定一個由不同序列組成的集合，其中，每個序列由不同的元素按順序有序排列，每個元素由不同項(xiàng)目組成，同時給定一個用戶指定的最小支持度閾值，序列模式挖掘就是找出所有的頻繁子序列，即子序列在序列集中的出現(xiàn)頻率不低于用戶指定的最小支持度閾值。

（6）依賴關(guān)系（dependency）：一個依賴關(guān)系存在于兩個元素之間，如果一個元素A的值可以推出另一個元素B的值，則B依賴于A。

4、模式分析階段模式分析是Web使用挖掘最后一步，主要目的是過濾模式發(fā)現(xiàn)階段產(chǎn)生的規(guī)則和模式，去除那些無用的模式，并把發(fā)現(xiàn)的模式通過一定的方法直觀的表現(xiàn)出來。由于Web使用挖掘在大多數(shù)情況下屬于無偏向?qū)W習(xí)，有可能挖掘出所有的模式和規(guī)則，所以不能排除其中有些模式是常識性的，普通的或最終用戶不感興趣的，故必須采用模式分析的方法使得挖掘出來的規(guī)則和知識具有可讀性和最終可理解性。常見的模式分析方法有圖形和可視化技術(shù)、數(shù)據(jù)庫查詢機(jī)制、數(shù)理統(tǒng)計(jì)和可用性分析等。

收集數(shù)據(jù)

收集的數(shù)據(jù)主要包括：

全局UUID、訪問日期、訪問時間、生成日志項(xiàng)的服務(wù)器的IP地址、客戶端試圖執(zhí)行的操作、客戶端訪問的服務(wù)器資源、客戶端嘗試執(zhí)行的查詢、客戶端連接到的端口號、訪問服務(wù)器的已驗(yàn)證用戶名稱、發(fā)送服務(wù)器資源請求的客戶端IP地址、客戶端使用的操作系統(tǒng)、瀏覽器等信息、操作的狀態(tài)碼（200等）、子狀態(tài)、用Windows@使用的術(shù)語表示的操作的狀態(tài)、點(diǎn)擊次數(shù)。

用戶識別

對于網(wǎng)站的運(yùn)營者來說，如何能夠高效精確的識別用戶非常關(guān)鍵，這會對網(wǎng)站運(yùn)營帶來極大的幫助，如定向推薦等。

用戶識別方法如下：

使用HDFS存儲

數(shù)據(jù)收集到服務(wù)器之后，根據(jù)數(shù)據(jù)量可以考慮將數(shù)據(jù)存儲在hadoop的HDFS中。

在現(xiàn)在的企業(yè)中，一般情況下都是多臺服務(wù)器生成日志，日志包括nginx生成的，也包括在程序中使用log4j生成的自定義格式的。

通常的架構(gòu)如下圖：

使用mapreduce分析nginx日志

nginx默認(rèn)的日志格式如下：

222.68.172.190 – – [18/Sep/2013:06:49:57 +0000] “GET /images/my.jpg HTTP/1.1” 200 19939 “http://www.angularjs.cn/A00n” “Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36(KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36”

remote_addr: 記錄客戶端的ip地址, 222.68.172.190

remote_user: 記錄客戶端用戶名稱,

time_local: 記錄訪問時間與時區(qū), [18/Sep/2013:06:49:57 +0000]

request: 記錄請求的url與http協(xié)議, “GET /images/my.jpg HTTP/1.1″

status: 記錄請求狀態(tài),成功是200, 200

body_bytes_sent: 記錄發(fā)送給客戶端文件主體內(nèi)容大小, 19939

http_referer: 用來記錄從那個頁面鏈接訪問過來的, “http://www.angularjs.cn/A00n”

http_user_agent: 記錄客戶瀏覽器的相關(guān)信息, “Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36″可以直接使用mapreduce來進(jìn)行日志分析：

在hadoop中計(jì)算后定時導(dǎo)入到關(guān)系型數(shù)據(jù)庫中進(jìn)行展現(xiàn)。

也可以使用hive來代替mapreduce進(jìn)行分析。

總結(jié)

web日志收集是每個互聯(lián)網(wǎng)企業(yè)必須要處理的過程，當(dāng)收集上來數(shù)據(jù)，并且通過適當(dāng)?shù)臄?shù)據(jù)挖掘之后，會對整體網(wǎng)站的運(yùn)營能力及網(wǎng)站的優(yōu)化帶來質(zhì)的提升，真正的做到數(shù)據(jù)化分析和數(shù)據(jù)化運(yùn)營。

本文轉(zhuǎn)載自：SOTON數(shù)據(jù)分析