小編導(dǎo)讀：世界上沒(méi)有不存在缺陷的軟件，互聯(lián)網(wǎng)產(chǎn)品也都會(huì)遇到運(yùn)營(yíng)中斷，那么遇到運(yùn)營(yíng)中斷應(yīng)該如何處理呢？

沒(méi)人喜歡談?wù)撨\(yùn)營(yíng)中斷問(wèn)題，如果你是一名公司員工，經(jīng)歷過(guò)這種體驗(yàn)一定會(huì)感到非常可怕。企業(yè)一旦遭遇運(yùn)營(yíng)中斷，首先受到重創(chuàng)的就是顧客信任，其次也對(duì)企業(yè)未來(lái)的收入產(chǎn)生巨大影響。但是，它的確會(huì)發(fā)生。

即便是很多已經(jīng)上市的科技巨頭，比如eBay和微軟，他們所擁有的資源可能比任何一家初創(chuàng)公司都要多，但是可悲的是，這些大企業(yè)也都深受過(guò)運(yùn)營(yíng)中斷之害。當(dāng)這個(gè)悲劇發(fā)生之后，企業(yè)的所有業(yè)務(wù)都無(wú)法開(kāi)展了，他們的股東和高管團(tuán)隊(duì)也會(huì)因此非常懊惱，后悔沒(méi)有及時(shí)做好準(zhǔn)備。事實(shí)上，根據(jù)全球權(quán)威調(diào)研機(jī)構(gòu)Aberdeen Group估計(jì)，企業(yè)由于故障導(dǎo)致停擺的平均成本已經(jīng)高達(dá)每小時(shí)16.1萬(wàn)美元。

運(yùn)營(yíng)中斷的根本原因包括：

l 臭名昭彰的“烏龍指”(人為錯(cuò)誤)

l 對(duì)于復(fù)雜系統(tǒng)和他們之間相關(guān)性了解不足

l 設(shè)備故障，包括設(shè)備過(guò)期，或者是設(shè)備沒(méi)有得到正確配置

l 被黑客攻擊，或是存在其他安全漏洞。

l 流程設(shè)備不夠完善，或是存在流程缺失

l 也可能是上述數(shù)個(gè)原因綜合在一起。

運(yùn)營(yíng)中斷導(dǎo)致的后果包括：

l 不可挽回地?fù)p失收入，比如在今年六月，F(xiàn)acebook被爆出現(xiàn)了半個(gè)小時(shí)的運(yùn)營(yíng)中斷，估計(jì)公司損失達(dá)到了50萬(wàn)美元。

l 生產(chǎn)力嚴(yán)重?fù)p失，比如最近Office 365出現(xiàn)了故障，導(dǎo)致他們的客戶陷入困境之中，無(wú)法使用電子郵件服務(wù)。

l 客戶會(huì)感到憤怒，比如最近eBay斷斷續(xù)續(xù)出現(xiàn)了很多服務(wù)問(wèn)題，這讓依靠eBay服務(wù)的很多小企業(yè)感到非常惱火。

l 導(dǎo)致企業(yè)徹底失敗，比如Codespaces公司之前受到了黑客的DDOS攻擊，給整個(gè)公司帶來(lái)了毀滅性的嚴(yán)重后果。這個(gè)黑客的目的是企圖敲詐勒索該公司，他們獲得了Codespaces公司亞馬遜EC2控制面板的訪問(wèn)權(quán)，然后刪除了公司客戶數(shù)據(jù)，悲劇的是，這些數(shù)據(jù)都無(wú)法恢復(fù)了。

對(duì)于運(yùn)營(yíng)中斷是否會(huì)發(fā)生在你的公司，貌似已經(jīng)不是個(gè)問(wèn)題了(因?yàn)榭隙〞?huì)發(fā)生)，現(xiàn)在的問(wèn)題是，它神秘時(shí)候會(huì)發(fā)生。企業(yè)想要在競(jìng)爭(zhēng)中生存下來(lái)，那么就要更好地去應(yīng)對(duì)、處理運(yùn)營(yíng)中斷問(wèn)題，同時(shí)，還要從其他公司犯過(guò)的錯(cuò)誤中吸取教訓(xùn)。沒(méi)有人是完美的，而且即便有一次你把問(wèn)題處理的很完美，也無(wú)法保證你每次都能如此。但是我們希望通過(guò)討論這些過(guò)來(lái)人所犯過(guò)的錯(cuò)誤，并從現(xiàn)在努力做起，幫助你避免在未來(lái)重蹈覆轍。

在處理運(yùn)營(yíng)中斷時(shí)，企業(yè)犯的最多的十個(gè)錯(cuò)誤：

1、 沒(méi)有一個(gè)經(jīng)過(guò)檢驗(yàn)且靠得住的運(yùn)營(yíng)中斷響應(yīng)計(jì)劃

下面這段，聽(tīng)上去是不是覺(jué)得耳熟?

運(yùn)營(yíng)中斷發(fā)生了。客戶支持團(tuán)隊(duì)不得不向技術(shù)運(yùn)營(yíng)團(tuán)隊(duì)發(fā)送大量電子郵件，及時(shí)報(bào)告故障情況，因?yàn)榍闆r已經(jīng)十萬(wàn)火急了。公司的高管們會(huì)要求下屬每個(gè)五分鐘就匯報(bào)問(wèn)題處理進(jìn)展。技術(shù)團(tuán)隊(duì)里的每個(gè)人都打開(kāi)自己的監(jiān)測(cè)工具，時(shí)刻關(guān)注數(shù)據(jù)何時(shí)可以疏通，但通常他們也只能看到問(wèn)題的一部分而已。更大的混亂也會(huì)隨之而來(lái)，團(tuán)隊(duì)之間開(kāi)始互相指責(zé)對(duì)方，推卸責(zé)任，此時(shí)系統(tǒng)管理員更無(wú)法確定究竟是否要按照老板的要求，通過(guò)更新去解決問(wèn)題，還是繼續(xù)處理問(wèn)題，或是進(jìn)行一個(gè)可行的修補(bǔ)。市場(chǎng)營(yíng)銷部門和法律部門這會(huì)兒也跳了進(jìn)來(lái)，他們也要對(duì)外做出回應(yīng)。營(yíng)銷部門會(huì)說(shuō)，“我們的社交媒體正在被垃圾充斥!我們需要給用戶發(fā)送電子郵件，或是在官方博客上發(fā)帖，告訴大家到底出了什么事情!”;法律部門會(huì)說(shuō)，“不要承認(rèn)責(zé)任!”牛頭不對(duì)馬嘴，整個(gè)世界都要爆炸了!

好吧，世界當(dāng)然不可能爆炸。但是如果上述中的前半部分讓你感到非常熟悉，那么你的公司正在犯錯(cuò)誤，也就是，沒(méi)有一個(gè)經(jīng)過(guò)檢驗(yàn)且靠得住的運(yùn)營(yíng)中斷響應(yīng)計(jì)劃。

那么，如何可以避免這個(gè)問(wèn)題呢?

在處理運(yùn)營(yíng)中斷問(wèn)題時(shí)，一個(gè)“格式正確的”流程是必須要確定的，誰(shuí)來(lái)負(fù)責(zé)解決問(wèn)題，誰(shuí)來(lái)負(fù)責(zé)升級(jí)系統(tǒng)，以及誰(shuí)來(lái)負(fù)責(zé)針對(duì)問(wèn)題進(jìn)行交流溝通;這些都需要落實(shí)到人。另外還要有事后剖析流程，分析究竟是什么原因?qū)е鲁霈F(xiàn)的運(yùn)營(yíng)中斷故障，并且解決各種漏洞。事后剖析的范圍可以放得寬泛一些，從建筑物冗余，到各個(gè)相關(guān)系統(tǒng)，此外你還可以改變監(jiān)測(cè)工具設(shè)置，這樣就能及時(shí)捕捉到問(wèn)題原因，并及時(shí)解決，而且還能避免日后再次發(fā)生同樣的運(yùn)營(yíng)中斷故障。

2、在運(yùn)營(yíng)中斷發(fā)生時(shí)，缺乏與受影響的客戶溝通

一旦運(yùn)營(yíng)中斷發(fā)生，你肯定會(huì)迫不及待地希望自己公司能夠重新回到正軌，但是就在這最緊張的時(shí)候，反而最容易忙中出錯(cuò)。不幸的是，如果你沒(méi)有及時(shí)和客戶進(jìn)行溝通，那么往往還會(huì)引發(fā)一系列負(fù)面結(jié)果，比如客戶投訴電話將如潮水般涌入，等待時(shí)間會(huì)因?yàn)楣收隙兊酶L(zhǎng)，客戶體驗(yàn)也會(huì)變得一塌糊涂，更可怕的是，運(yùn)營(yíng)中斷很可能給用戶造成一種惡劣印象，他們會(huì)覺(jué)得你的公司反應(yīng)非常遲鈍，而且不值得信賴，靠不住。

故障往往還會(huì)讓公司內(nèi)部面向客戶的團(tuán)隊(duì)和你的技術(shù)運(yùn)營(yíng)團(tuán)隊(duì)之間的溝通出現(xiàn)問(wèn)題，要么溝通不到位，要么溝通完全不暢。如果你沒(méi)有一些可以發(fā)布公告，通知客戶的系統(tǒng)，比如博客、論壇、批量電子郵件、RSS訂閱，等等，那么將會(huì)造成很嚴(yán)重的問(wèn)題。還有，公司之所以在發(fā)生運(yùn)營(yíng)中斷時(shí)不愿意與客戶溝通，其實(shí)還有一個(gè)錯(cuò)誤的觀念，他們認(rèn)為客戶可能不會(huì)注意到發(fā)生問(wèn)題了，實(shí)際上，客戶肯定會(huì)注意到;另外他們還會(huì)覺(jué)得損失將會(huì)降到最低，但正是由于缺乏溝通，從而讓情況變得越來(lái)越糟糕。

如何避免：

無(wú)論是內(nèi)部溝通，還是外部溝通，在運(yùn)營(yíng)中斷發(fā)生的過(guò)程中，或是在故障發(fā)生之后，你都要確保有一個(gè)明確的溝通流程，而且每個(gè)人都要清楚地分配好相應(yīng)的職責(zé)。要確保每一個(gè)人明白自己所擔(dān)負(fù)的責(zé)任。不要簡(jiǎn)單地把自己的工作職責(zé)掛在公司的網(wǎng)站上面，因?yàn)楫?dāng)運(yùn)營(yíng)中斷故障真的發(fā)生時(shí)，這么做一點(diǎn)作用都起不到。

3、逃避責(zé)任，玩兒“指責(zé)游戲”

為了對(duì)運(yùn)用中斷故障有所回應(yīng)，企業(yè)有時(shí)會(huì)把責(zé)任歸咎于合作伙伴或是供應(yīng)商。但這么做很少能取得什么好的效果，因?yàn)榭蛻魰?huì)把這種做法看成是你在逃避責(zé)任(誰(shuí)選的供應(yīng)商和合作后瓣?還不就是你嘛)。如果你不愿意去承擔(dān)責(zé)任，那么公司就無(wú)法從中吸取教訓(xùn)，既無(wú)法避免同樣的問(wèn)題再次發(fā)生，也不會(huì)讓公眾感到滿意。

如何避免：

你需要承擔(dān)更多的責(zé)任，并且要開(kāi)始調(diào)查與故障有關(guān)的供應(yīng)商，設(shè)置好冗余和審核過(guò)程，這些都有助于解決問(wèn)題，解決問(wèn)題的方法越多，就越不會(huì)出現(xiàn)推卸責(zé)任的狀況。要確保事后監(jiān)督是無(wú)可責(zé)備的，并使用“五個(gè)為什么分析法”來(lái)找到運(yùn)營(yíng)中斷故障的根本原因。(“五個(gè)為什么分析法”，是一種提出問(wèn)題的方法，用于探究造成特定問(wèn)題的因果關(guān)系，類似于“碰到問(wèn)題，多問(wèn)幾個(gè)為什么”)

4、他們從一開(kāi)始就不知道自己正在發(fā)生運(yùn)營(yíng)中斷故障

最糟糕的事情，是你從自己的客戶嘴里聽(tīng)到發(fā)生運(yùn)營(yíng)中斷故障了(或者還有一種可能，就是從你的老板那里知道發(fā)生故障)。在數(shù)據(jù)中心的監(jiān)控基礎(chǔ)架構(gòu)同樣也需要被監(jiān)控，這是一個(gè)不錯(cuò)的方法，因?yàn)橛袝r(shí)候發(fā)生運(yùn)營(yíng)中斷故障時(shí)，你根本無(wú)法得到提醒，其中一個(gè)原因就是你的監(jiān)控系統(tǒng)并沒(méi)有及時(shí)運(yùn)轉(zhuǎn)起來(lái)。即便是像亞馬遜這樣的大公司也曾遇到過(guò)這種情況，幾年前他們?cè)?jīng)發(fā)生過(guò)外部運(yùn)營(yíng)中斷故障，好在他們用了Loggly云監(jiān)測(cè)軟件開(kāi)發(fā)平臺(tái)才解決了相關(guān)問(wèn)題。

最好的方法：你需要有一個(gè)基于“軟件即服務(wù)”的統(tǒng)一平臺(tái)，并且它能夠給你發(fā)出報(bào)警，提醒你是否數(shù)據(jù)中心出現(xiàn)故障了。你的監(jiān)控平臺(tái)也需要覆蓋到方方面面(包括對(duì)各種綜合交易的復(fù)核檢查)，比如網(wǎng)站，應(yīng)用程序，數(shù)據(jù)庫(kù)，網(wǎng)絡(luò)，服務(wù)器，虛擬機(jī)，以及云服務(wù)(無(wú)論你的IT基礎(chǔ)架構(gòu)部署在什么地方)。這樣你就能領(lǐng)先一步，至少可以在客戶發(fā)現(xiàn)問(wèn)題之前主動(dòng)發(fā)現(xiàn)問(wèn)題，并搞定它。

5、對(duì)于運(yùn)營(yíng)中斷故障，做出了不適當(dāng)?shù)臏贤?/strong>