編輯導(dǎo)語：我們生活在算法時(shí)代，一方面，技術(shù)的發(fā)展使得算法進(jìn)入到更深層次的決策領(lǐng)域，對(duì)我們的生活也產(chǎn)生著重要影響；另一方面，還存在著一個(gè)我們不容忽視的問題——算法偏見。

Joy Buolamwini是一位加納裔科學(xué)家。一次，在做一項(xiàng)涉及面部識(shí)別軟件的作業(yè)時(shí)，她發(fā)現(xiàn)，算法無法識(shí)別她的臉——除非她戴上白色面具。

這是Netflix最近上線的紀(jì)錄片《編碼偏見》中的一幕。此外，這部關(guān)于算法偏見的紀(jì)錄片還呈現(xiàn)了廣告、招聘、金融服務(wù)、警務(wù)和其他許多領(lǐng)域中，算法對(duì)社會(huì)現(xiàn)有種族、階級(jí)和性別偏見不同程度的延續(xù)。

受此啟發(fā)，Joy Buolamwini測(cè)試了許多面部識(shí)別商用軟件發(fā)現(xiàn)，白人男性性別被正確識(shí)別的概率高達(dá)99%。隨著膚色變暗，錯(cuò)誤率也呈指數(shù)增長(zhǎng)，近35％黑人女性無法被正確識(shí)別。

2020年，在國(guó)內(nèi)，《外賣騎手，困在系統(tǒng)里》一文引發(fā)廣泛討論，焦點(diǎn)指向外賣平臺(tái)的算法系統(tǒng)。技術(shù)的進(jìn)步改善了生活的方方面面，但問題也逐漸浮現(xiàn)，人們不再相信算法決策是完全公平的。在逐漸被AI等智能技術(shù)包圍的時(shí)代，算法偏見（algorithm bias）逐漸成為重要的信息倫理問題，乃至社會(huì)議題。

本期全媒派將從典型的算法偏見表現(xiàn)說起，分析偏見如何通過算法呈現(xiàn)到現(xiàn)實(shí)生活，再從現(xiàn)實(shí)出發(fā)，介紹科技公司在技術(shù)和操縱者層面，對(duì)糾正算法偏見可以做的努力。

一、隨處可見的算法偏見

去年，杜克大學(xué)科學(xué)家發(fā)表能夠?qū)⒛：掌逦乃惴≒ULSE。不過，美國(guó)前總統(tǒng)奧巴馬的模糊照片經(jīng)處理后，生成的卻是一張清晰的白人面孔。

圖片來源：Twitter/ @Chicken3gg

這被視為算法偏見的典型案例。算法偏見，是在信息的生產(chǎn)、分發(fā)及核查的過程中對(duì)用戶造成的非中立立場(chǎng)影響，從而導(dǎo)致片面、失實(shí)等信息觀念的傳播。現(xiàn)實(shí)生活中，算法偏見可能發(fā)生在每個(gè)人身上。

清華大學(xué)新聞與傳播學(xué)院智媒研究中心在《算法治理與發(fā)展：以人為本，科技向善》報(bào)告中，從領(lǐng)域和對(duì)象出發(fā)，將算法偏見的表現(xiàn)分為有損群體包容性的偏見、有損群體公平性的偏見及有損個(gè)體利益的偏見。[1]

1. 有損包容性

針對(duì)算法偏見的討論，多數(shù)與種族、性別等指向不同群體的因素相關(guān)。這類偏見展現(xiàn)的，是算法對(duì)不同群體的包容度不足——不同膚色、特定環(huán)境下的弱勢(shì)群體或女性，容易成為被算法忽視的對(duì)象。

開頭Joy Buolamwini的例子，就是這類偏見的一種表現(xiàn)。有感于此，Joy發(fā)起了一項(xiàng)研究，收集來自非洲和歐洲共6個(gè)國(guó)家的1270張人臉照片，測(cè)試了IBM、微軟、曠視3家公司的人臉識(shí)別產(chǎn)品，結(jié)果顯示都存在不同程度的女性和深色人種“歧視”。

類似的事情時(shí)有發(fā)生。2015年，Google Photos曾經(jīng)把兩個(gè)深膚色的人標(biāo)記為“大猩猩”。

到了2018年，《連線》雜志對(duì)相冊(cè)中4萬多張動(dòng)物圖片測(cè)試后發(fā)現(xiàn)，谷歌沒有完全修復(fù)這個(gè)漏洞，只是不再將任何圖片標(biāo)記為大猩猩。疫情期間，谷歌旗下服務(wù)Google Vision Cloud曾經(jīng)將手持測(cè)溫計(jì)的深膚色人員圖像標(biāo)記為“槍”，而相同條件下的淺膚色人員圖像，則被標(biāo)記為“電子設(shè)備”。

去年，有用戶指出，Twitter的圖像裁剪算法存在種族和性別偏見。當(dāng)用戶在查看預(yù)覽推文呈現(xiàn)的縮略圖區(qū)域時(shí)，如果一張照片上有不同膚色人種，算法會(huì)更突出淺膚色的人像區(qū)域。

圖像識(shí)別之外，頻繁、深度使用語音識(shí)別、文字識(shí)別技術(shù)的科技公司，也常在這上面“失誤”。2015年的一個(gè)調(diào)查發(fā)現(xiàn)，谷歌助手、蘋果Siri和亞馬遜的Alexa對(duì)美國(guó)口音、印度口音和中國(guó)口音的英語識(shí)別準(zhǔn)確率并不一致。

2. 預(yù)測(cè)、決策不公

除了種族、性別和年齡等人類屬性方面的偏見，算法也在消費(fèi)、就業(yè)和犯罪風(fēng)險(xiǎn)檢測(cè)等應(yīng)用場(chǎng)景方面表現(xiàn)出偏見。[2]這種偏見最直接的影響，就是可能導(dǎo)致預(yù)測(cè)、決策的不公，造成對(duì)群體公平性的損害。

最常見的一類是招聘偏見。路透社曾在2018年報(bào)道，亞馬遜設(shè)計(jì)的AI招聘算法中暗含對(duì)女性求職者的偏見。

當(dāng)讀取到帶有“women”的相關(guān)詞，算法會(huì)降低簡(jiǎn)歷的權(quán)重。比如，當(dāng)簡(jiǎn)歷中出現(xiàn)“女子象棋俱樂部隊(duì)長(zhǎng)”或“女子學(xué)院”這樣的詞，算法會(huì)直接對(duì)求職者作降級(jí)處理。亞馬遜最終關(guān)閉了這個(gè)招聘算法。

而當(dāng)算法被用于招聘面試，分析應(yīng)聘者肢體語言、眼神活動(dòng)等更細(xì)致的維度時(shí)，面試過程中的一舉一動(dòng)，都不得不謹(jǐn)小慎微。這些工具可以幫助企業(yè)提高效率、節(jié)省開支，但也偶有偏見。

被高盛、聯(lián)合利華等企業(yè)普遍采用的AI面試工具HireVue，可能會(huì)分不清皺眉是因?yàn)樵谒伎紗栴}，還是情緒不佳（暗示性格易怒）。[3]

犯罪領(lǐng)域中人臉識(shí)別算法的偏見也常導(dǎo)致不公。2016年，新聞機(jī)構(gòu)ProPublica調(diào)查了美國(guó)各州政府用來評(píng)估被告人再犯罪風(fēng)險(xiǎn)的COMPAS算法，發(fā)現(xiàn)黑人假釋候選人更容易被評(píng)為高風(fēng)險(xiǎn)。在美國(guó)，不止一次出現(xiàn)黑人或少數(shù)族裔因?yàn)樗惴ㄔ虮诲e(cuò)誤逮捕的事情。

除了司法、就業(yè)，當(dāng)下生活中，算法參與決策的領(lǐng)域還包括金融、醫(yī)療、消費(fèi)等，算法偏見的范圍或許也比想象中廣。

3. 威脅個(gè)體利益

包容性的降低和公平性的損耗，必然影響個(gè)體利益。

例如，谷歌的PageRank的算法能評(píng)價(jià)網(wǎng)絡(luò)鏈接的重要性，對(duì)網(wǎng)頁進(jìn)行排序。在Google Shopping里，谷歌曾暗暗將自己的商品置于網(wǎng)頁排序中的顯眼位置。[4]這影響了用戶的消費(fèi)選擇。

在日常生活中，可能不少人都有過這樣的體驗(yàn)：在一些網(wǎng)絡(luò)平臺(tái)消費(fèi)的時(shí)候，同時(shí)同地同樣的消費(fèi)，其他人的費(fèi)用可能比自己低。通過記錄分析消費(fèi)者的消費(fèi)痕跡，來對(duì)不同消費(fèi)者差別定價(jià)，這種“算法殺熟”也可以被視作一種算法偏見。

二、糾正算法偏見，科技公司怎么做？

當(dāng)算法偏見越來越成為無法回避的技術(shù)、倫理和社會(huì)問題時(shí)，糾正偏見也就成為解決問題的重點(diǎn)。作為規(guī)則設(shè)計(jì)者、制定者和參與者的科技公司，也不得不主動(dòng)做出回應(yīng)。

糾正偏見，先要知道偏見為何發(fā)生。

人工智能專家、AI公司Another Brain首席執(zhí)行官Bruno指出：“人工智能算法存在三種主要的偏差來源：訓(xùn)練數(shù)據(jù)集，讓算法學(xué)習(xí)我們想要的東西，以及AI算法本身的原理。”也就是說，算法的偏見來源于數(shù)據(jù)的紕漏、設(shè)計(jì)者的偏見，以及人機(jī)交互或算法本身的不足。

目前來看，科技公司糾正算法偏見，主要也是從算法的數(shù)據(jù)技術(shù)層面以及算法操縱者的偏見等方向來行動(dòng)。

1. 算法技術(shù)層面

近幾年，不少公司都發(fā)布了用來檢查算法偏差的工具。

2018年5月，F(xiàn)acebook推出Fairness Flow，當(dāng)算法根據(jù)一個(gè)人的種族、性別或年齡做出了不公的判斷，它會(huì)自動(dòng)發(fā)出警告來提醒。之后，谷歌在其開源網(wǎng)頁中推出了工具What-If，幫助開發(fā)者檢測(cè)算法公平性。[5]

也在同年，IBM推出AI Fairness 360開源工具包，提供超30個(gè)公平性指標(biāo)、9個(gè)偏差緩解算法，用于檢查在信用評(píng)分、預(yù)測(cè)醫(yī)療支出和面部圖像性別分類等不同場(chǎng)景中的算法偏見，還會(huì)推薦改進(jìn)的方法，比如算法調(diào)整或數(shù)據(jù)平衡。

去年8月，微軟旗下的領(lǐng)英推出公平工具包（LiFT)，可以對(duì)數(shù)據(jù)集的屬性（如種族和性別構(gòu)成）做分析，并將結(jié)果與算法結(jié)果來比較，進(jìn)而檢測(cè)公平性。

如果數(shù)據(jù)集本身有偏見，那顯然，用數(shù)據(jù)集訓(xùn)練出的算法也很難客觀。因此，不少舉措也關(guān)注數(shù)據(jù)的修訂和擴(kuò)展。2018年，微軟與專家合作修訂、擴(kuò)展了用于訓(xùn)練其面部識(shí)別算法Face API的數(shù)據(jù)集。在調(diào)整膚色、性別和年齡等在數(shù)據(jù)集中的占比并改進(jìn)了分類器之后，算法在膚色較深的男性、女性間的識(shí)別錯(cuò)誤率降低了20倍，女性識(shí)別誤差率降低了9倍。

同樣旨在提供檢測(cè)、幫助改善數(shù)據(jù)，F(xiàn)acebook在今年4月也有新動(dòng)向——公開名為Casual Conversations的數(shù)據(jù)集幫助研究人員評(píng)估潛在算法偏差。這個(gè)數(shù)據(jù)集的特別之處在于，讓人們自己提供年齡和性別來標(biāo)注，而不是由第三方或計(jì)算機(jī)系統(tǒng)估計(jì)。

Facebook還為數(shù)據(jù)集招募了訓(xùn)練有素的注釋員，來確定參與者的皮膚類型。數(shù)據(jù)集還標(biāo)記了視頻的環(huán)境光照條件，幫助系統(tǒng)測(cè)量低光照條件下的膚色。

前不久，Twitter也宣布了一項(xiàng)“負(fù)責(zé)任的機(jī)器學(xué)習(xí)”新計(jì)劃，研究平臺(tái)采用算法的公平性。內(nèi)容之一，就是由來自公司內(nèi)部的數(shù)據(jù)科學(xué)家和工程師，研究Twitter對(duì)機(jī)器學(xué)習(xí)的使用如何導(dǎo)致算法偏差，并評(píng)估其算法可能造成的“無意傷害”，再將研究結(jié)果公開。

Twitter首席執(zhí)行官Jack Dorsey曾表示，希望創(chuàng)建一個(gè)算法市場(chǎng)，類似應(yīng)用商店形式，讓用戶能夠控制自己使用的算法。

2. 算法操縱者層面

對(duì)于算法偏見，常見的一種看法是，AI決策依賴于對(duì)人類決策的學(xué)習(xí)，因此，機(jī)器偏見其實(shí)是對(duì)社會(huì)傳統(tǒng)偏見的投射。所以，除了技術(shù)層面改善數(shù)據(jù)集、打標(biāo)等機(jī)器學(xué)習(xí)的環(huán)節(jié)外，更需要針對(duì)算法背后的人，以及公司的偏見做出限制。在這方面，除了外部的限制和規(guī)范，科技公司自己也有行動(dòng)。

目前，不少大型科技公司都發(fā)布了人工智能的應(yīng)用原則，其中都有涉及偏見治理的部分。

2016年，微軟、谷歌和Facebook等聯(lián)合成立非營(yíng)利人工智能合作組織Partnership on AI。2017年，微軟設(shè)立人工智能與道德標(biāo)準(zhǔn)委員（AETHER）來落實(shí)AI倫理問題，稱未來推出的每個(gè)人工智能產(chǎn)品都要經(jīng)過道德倫理審查。

也有委員會(huì)、聯(lián)合組織之外的措施。比如，谷歌推出Model Cards功能，對(duì)采用的算法進(jìn)行解釋，告知具體的優(yōu)點(diǎn)和局限性。

對(duì)Face Detection算法的部分解釋。圖片來源：Model Cards主頁公開信息

2020年，喬治·弗洛伊德之死在美掀起以“BLM（Black Lives Matter）”為口號(hào)的反種族歧視運(yùn)動(dòng)的同時(shí)，針對(duì)科技公司算法偏見中種族歧視的聲討也愈發(fā)激烈。根據(jù)《華爾街日?qǐng)?bào)》報(bào)道，F(xiàn)acebook與Instagram都為此組建了相應(yīng)的公平與包容團(tuán)隊(duì)，負(fù)責(zé)調(diào)查美國(guó)黑人、西班牙裔和其他少數(shù)族裔用戶受公司算法的影響，并將其與對(duì)白人用戶的影響進(jìn)行對(duì)比。

同樣在6月，IBM宣布不再向警方提供人臉識(shí)別技術(shù)，原因是“反對(duì)將技術(shù)用于種族歧視和大規(guī)模監(jiān)視”，亞馬遜和微軟相繼發(fā)表類似聲明。長(zhǎng)遠(yuǎn)來看，這是科技公司在技術(shù)和偏見之間需要做出衡量、承擔(dān)社會(huì)責(zé)任的縮影。

還有一種意見是，為了克服可能的偏見，企業(yè)需要更多樣化的AI人才。如若程序員、工程師的構(gòu)成本身就不多樣，甚至有性別、種族偏見，這些偏見也很容易被傳遞到其開發(fā)的算法中。

不過，科技公司的算法糾偏路也不是一帆風(fēng)順。大多時(shí)候，科技公司主動(dòng)做出行動(dòng)，是出于改善業(yè)務(wù)、維護(hù)企業(yè)形象、承擔(dān)社會(huì)責(zé)任的考量，也是一種在公眾、政府和其他組織監(jiān)督下的“權(quán)衡選擇”。若糾偏會(huì)嚴(yán)重?fù)p害企業(yè)利益，企業(yè)是否要做、怎么做，就未可知了。

歸根結(jié)底，當(dāng)我們?cè)谡f算法偏見的時(shí)候，依然要考慮那個(gè)核心問題——算法背后是人，算法偏見背后是人的偏見。正如開頭案例中的MIT研究員Joy所說，“人工智能是基于數(shù)據(jù)的，而數(shù)據(jù)是我們歷史的反映。”在批評(píng)算法的過程中，科技公司或許不該被安放在絕對(duì)的對(duì)立面，至少，它們的舉措也是糾正算法偏見、抵達(dá)公正的一部分。

回到真實(shí)社會(huì)，許多偏見仍然根深蒂固，但這并不意味著袖手旁觀。在能力之內(nèi)讓數(shù)字世界朝向更公平、更能依靠的方向發(fā)展，對(duì)于社會(huì)、個(gè)體，以及有重要影響力的公司來說，都是責(zé)任。

參考鏈接：

1. 清華大學(xué)新聞與傳播學(xué)院智媒研究中心：《算法治理與發(fā)展：以人為本，科技向善》
2. 張夢(mèng),陳昌鳳.智媒研究綜述：人工智能在新聞業(yè)中的應(yīng)用及其倫理反思[J].全球傳媒學(xué)刊,2021,8(01):63-92.
3. 騰訊研究院：算法偏見：看不見的“裁決者”
4. 清華大學(xué)新聞與傳播學(xué)院智媒研究中心：《算法治理與發(fā)展：以人為本，科技向善》
5. 騰訊研究院：從性別歧視到招聘不公，如何讓AI公平待人？| 算法偏見（下）
6. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G
7. https://engineering.linkedin.com/blog/2020/lift-addressing-bias-in-large-scale-ai-applications
8. https://www.theverge.com/2021/4/15/22385563/twitter-algorithms-machine-learning-bias
9. https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/
10. https://www.wsj.com/articles/facebook-creates-teams-to-study-racial-bias-on-its-platforms-11595362939?mod=hp_lista_pos1
11. https://www.washingtonpost.com/opinions/2018/12/17/why-your-ai-might-be-racist/
12. https://venturebeat.com/2018/12/17/geoffrey-hinton-and-demis-hassabis-agi-is-nowhere-close-to-being-a-reality/
13. https://www.nytimes.com/2021/03/15/technology/artificial-intelligence-google-bias.html

作者：yuri?，公眾號(hào)：全媒派（ID：quanmeipai）

本文由 @全媒派 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議