設(shè)置robots協(xié)議像是一道“虛掩著的門”，盡管協(xié)議用文字向爬蟲宣告“是否接受爬取”以及“可以爬取的范圍”，但它本質(zhì)上僅是并不能阻攔爬蟲訪問。設(shè)置robots協(xié)議的行為在全球各地的司法裁判中也得到不同的評(píng)價(jià)。

2017年，在HiQ訴領(lǐng)英案中，HiQ公司對(duì)領(lǐng)英網(wǎng)站實(shí)施了網(wǎng)絡(luò)爬蟲，但加利福尼亞北區(qū)地區(qū)法院的法官認(rèn)為，這種爬蟲行為并不違反法律，因?yàn)轭I(lǐng)英網(wǎng)站上的數(shù)據(jù)是公開數(shù)據(jù)，對(duì)于公開數(shù)據(jù)，即使違反對(duì)方設(shè)置的robots協(xié)議，也應(yīng)當(dāng)是被法律允許的。

法官認(rèn)為，爬蟲行為就像在白天推開一家未鎖門的商店進(jìn)去看看，并不能將其認(rèn)定為非法侵入。

法院最后不僅沒有認(rèn)定 HiQ公司的爬蟲行為違法，甚至反過來認(rèn)定領(lǐng)英的反爬蟲技術(shù)違法，要求領(lǐng)英公司移除針對(duì)HiQ的接入壁壘。但目前，該案由美國(guó)最高法院發(fā)回至舊金山第九巡回上訴法院重審。

早年間，以爬蟲技術(shù)訪問他人網(wǎng)站內(nèi)容，視為對(duì)于他人財(cái)產(chǎn)權(quán)的侵犯。

1992年，eBay訴Bidder’s Edge（一家提供拍賣信息的網(wǎng)站）案中，eBay指控Bidder’s Edge未經(jīng)許可復(fù)制了eBay網(wǎng)站的內(nèi)容，eBay已通過robots協(xié)議進(jìn)行限制，但Bidder’s Edge并未遵守。審理此案的法官指出，eBay的服務(wù)器是私有財(cái)產(chǎn)，eBay授予公眾可以有條件的訪問，并禁止包括Bidder’s Edge在內(nèi)所采取的自動(dòng)化式的訪問。

審理此案法官認(rèn)為，超出同意的范圍，就構(gòu)成對(duì)他人財(cái)產(chǎn)的侵犯；而Bidder’s Edge的行為明顯超越了eBay允許的使用范圍，構(gòu)成非授權(quán)的使用，是對(duì)eBay財(cái)產(chǎn)的侵犯。法官認(rèn)可robots協(xié)議既是權(quán)利人保護(hù)私有財(cái)產(chǎn)的一種正當(dāng)技術(shù)手段，設(shè)置robots協(xié)議為免受爬蟲騷擾性訪問的通行做法。

如被抓取的數(shù)據(jù)涉及侵犯知識(shí)產(chǎn)權(quán)，是否設(shè)置robots協(xié)議則還成為授權(quán)許可與否的判斷，而這點(diǎn)各國(guó)采取的判斷標(biāo)準(zhǔn)則完全不一。

在2006年，美國(guó)的Field訴Google案中，原告布雷克·菲爾德（Blake Field）向法院起訴Google從自建網(wǎng)站中抓取作品侵害其享有的著作權(quán)。但Google辯稱，原告未在其網(wǎng)站中設(shè)置robots協(xié)議，即為默示許可Google的抓取行為。法院支持了Google的觀點(diǎn)，未設(shè)置robots協(xié)議的做法視為其默許搜索引擎抓取，Google并未侵權(quán)。

在2017年，比利時(shí)法院與美國(guó)法院的觀點(diǎn)截然相反。在Copiepresse訴Google案中，原告Copiepresse作為一家比利時(shí)的報(bào)業(yè)集團(tuán)，因Google利用搜索引擎抓取原告網(wǎng)站中享有著作權(quán)的內(nèi)容，故訴至法院。

Google辯稱原告Copiepresse可以設(shè)置robots協(xié)議的方式來告知搜索引擎的網(wǎng)絡(luò)機(jī)器人可以抓取的范圍，但原告卻沒有這么做，說明原告對(duì)于抓取是默示許可的。最終，比利時(shí)法院認(rèn)為，著作權(quán)屬于排他性權(quán)利，沒有使用robots協(xié)議并不代表默示許可，最終支持了原告的主張。

三、無休止之戰(zhàn)：爬蟲與反爬蟲

“現(xiàn)在各行各業(yè)都需要用到爬蟲技術(shù)，大到政府部門，小到個(gè)體商戶、科研人員，要發(fā)展大數(shù)據(jù)產(chǎn)業(yè)，這些數(shù)據(jù)可能通過各種爬蟲技術(shù)來獲取，再進(jìn)行數(shù)據(jù)清洗、整理、收集、入庫(kù)，調(diào)用?！被ヂ?lián)網(wǎng)爬蟲技術(shù)從業(yè)者的支先生對(duì)《財(cái)經(jīng)》E法表示道。

“數(shù)據(jù)分布在互聯(lián)網(wǎng)各個(gè)角落，爬蟲可以將其采集出來，利用數(shù)據(jù)產(chǎn)生價(jià)值。”支先生認(rèn)為，有的平臺(tái)型企業(yè)在初創(chuàng)期可能允許爬蟲爬取數(shù)據(jù)，幫助其推廣和宣傳，但發(fā)展具有一定規(guī)模后，它們會(huì)認(rèn)為數(shù)據(jù)已形成獨(dú)特的競(jìng)爭(zhēng)力，從而傾向于保護(hù)數(shù)據(jù)，限制爬蟲爬取。“在國(guó)內(nèi)，涉及大型平臺(tái)之間的數(shù)據(jù)爬取時(shí)，大多以不正當(dāng)競(jìng)爭(zhēng)為由發(fā)起訴訟?！?/p>

爬蟲與反爬蟲之間成為一場(chǎng)無休止之戰(zhàn)，發(fā)起攻擊的一方需要思考如何“鋒利其矛”，而防守一方則需要考慮如何“牢固其盾”。

“各個(gè)公司負(fù)責(zé)反爬蟲設(shè)計(jì)的人，一定也是爬蟲高手。”支先生說，最為常見的反爬取手段是限制IP或者限制ID賬號(hào)，在發(fā)現(xiàn)賬號(hào)有異常訪問的情況時(shí)，就對(duì)其進(jìn)行阻攔。

“但沒有絕對(duì)穩(wěn)固的城墻，只有相對(duì)的安全，如果說一家反爬取能力已經(jīng)達(dá)到80%了，哪怕在上面再往上提高1%，可能又要投入上千萬(wàn)元，甚至上億元，沒有任何意義?！?/p>

最為常見的是，通過“驗(yàn)證碼”進(jìn)行身份驗(yàn)證，像拖動(dòng)圖形滑動(dòng)驗(yàn)證、數(shù)學(xué)計(jì)算、圖形識(shí)別、手機(jī)驗(yàn)證碼等方式，但都各有局限?！跋袷謾C(jī)驗(yàn)證碼。這種防線其實(shí)也能被突破，現(xiàn)在有很多供應(yīng)商提供自動(dòng)驗(yàn)證服務(wù)，花費(fèi)大概是每條1分線?！绷硪晃徊辉妇呙呐老x從業(yè)者表示，“爬蟲從技術(shù)角度根本防不住。”

谷歌作為站在爬蟲技術(shù)頂端的公司，在2009年收購(gòu)由卡內(nèi)基梅隆大學(xué)研發(fā)reCAPTCHA人機(jī)驗(yàn)證機(jī)制，并運(yùn)用于反爬蟲領(lǐng)域，如發(fā)現(xiàn)可疑訪問者，需要完成識(shí)別后才可以繼續(xù)訪問網(wǎng)站。十多年間，reCAPTCHA人機(jī)驗(yàn)證機(jī)制也在不斷升級(jí)，來對(duì)抗企圖破解繞過驗(yàn)證機(jī)制的爬蟲。

reCAPTCHA人機(jī)驗(yàn)證機(jī)制

從技術(shù)上看，這是一場(chǎng)“道高一尺，魔高一丈”的戰(zhàn)爭(zhēng)，但現(xiàn)實(shí)出發(fā)，爬取數(shù)據(jù)的一方也并不總是處于主動(dòng)地位。對(duì)于爬蟲從業(yè)者來說，他們很難明確分辨自己的行為是否違法，以及是否會(huì)遭到懲罰。有時(shí)候他們能“置身事外”，引發(fā)的爭(zhēng)議僅發(fā)展為平臺(tái)之間的“不正當(dāng)競(jìng)爭(zhēng)”民事訴訟，但有的時(shí)候他們則可能淪為犯罪行為中的“共犯”。

“對(duì)于我們這些從業(yè)者來說，爬蟲涉及到的法律風(fēng)險(xiǎn)難以把握，很多大公司里崗位職責(zé)分明，技術(shù)人員可能覺得自個(gè)就是一個(gè)寫代碼的，稀里糊涂就被抓了。”支先生對(duì)此表示道。“不管民事侵權(quán)還是犯罪行為，問題背后的根源還是數(shù)據(jù)的權(quán)屬不明晰?！?/p>

倘若將“爬取數(shù)據(jù)”與“入室盜竊”比較，入室行為侵犯了他人私人自治空間，而盜竊行為侵犯他人財(cái)產(chǎn)權(quán)；但“爬取數(shù)據(jù)”本身行為部分卻往往發(fā)生于原本開放的網(wǎng)絡(luò)環(huán)境之中，當(dāng)“數(shù)據(jù)權(quán)屬”未明晰時(shí)，則很難確定“誰(shuí)因此受到損害”、“誰(shuí)將遭受到懲罰”以及“誰(shuí)有權(quán)能獲得賠償”。

四、爬蟲抓取的數(shù)據(jù)屬于誰(shuí)？

爬蟲爬取的數(shù)據(jù)應(yīng)屬于個(gè)人還是平臺(tái)？在微夢(mèng)創(chuàng)科與字節(jié)跳動(dòng)不正當(dāng)競(jìng)爭(zhēng)糾紛案中，今日頭條認(rèn)為，數(shù)據(jù)應(yīng)屬用戶所有，微博并不具備對(duì)用戶數(shù)據(jù)的任何權(quán)利，因此只要爬蟲是在用戶授權(quán)的情形下進(jìn)行的，那么即使頭條違反了微博的robots協(xié)議，也不違法。

但微夢(mèng)創(chuàng)科認(rèn)為，數(shù)據(jù)應(yīng)屬于平臺(tái)所有，因?yàn)樵谟脩魠f(xié)議中已作出約定：“用戶同意不可撤銷地授權(quán)微博平臺(tái)作為微博內(nèi)容的獨(dú)家發(fā)布平臺(tái)，用戶所發(fā)表的微博內(nèi)容僅在微博平臺(tái)上予以獨(dú)家展示?！?/p>

還有一種觀點(diǎn)認(rèn)為，數(shù)據(jù)屬于個(gè)人與平臺(tái)共有。在新浪訴脈脈不正當(dāng)競(jìng)爭(zhēng)案中，法院認(rèn)為，數(shù)據(jù)開放的前提需遵循“用戶授權(quán)+平臺(tái)授權(quán)+用戶授權(quán)”的“三重授權(quán)”模式，即平臺(tái)首先取得用戶同意而收集數(shù)據(jù)，在平臺(tái)向第三方授權(quán)使用此類信息時(shí)，第三方還應(yīng)當(dāng)明確告知用戶其使用的目的、方式和范圍，再次取得用戶的同意。

這一判決理由意味著，個(gè)人和平臺(tái)對(duì)于數(shù)據(jù)都擁有一定的權(quán)利主張，數(shù)據(jù)在一定程度上為個(gè)人與平臺(tái)所共有。

也有觀點(diǎn)認(rèn)為，互聯(lián)網(wǎng)具有公共屬性。加利福尼亞大學(xué)伯克利法學(xué)院教授奧林·科爾（Orin Kerr）有過經(jīng)典描述，在他看來，互聯(lián)網(wǎng)的一般原則是開放性，這種開放性允許世界上任何人發(fā)布信息或數(shù)據(jù)，數(shù)據(jù)可以被任何人訪問，而無需進(jìn)行身份驗(yàn)證。

當(dāng)然，奧林·科爾的觀點(diǎn)并不受企業(yè)歡迎，這些企業(yè)往往認(rèn)為通過經(jīng)營(yíng)活動(dòng)吸引用戶積累數(shù)據(jù)，對(duì)整體數(shù)據(jù)資源享有競(jìng)爭(zhēng)性利益。

“不談?wù)摂?shù)據(jù)合法生產(chǎn)者具有控制權(quán)，難以對(duì)爬蟲合法性進(jìn)行判斷?！比A東政法大學(xué)法律學(xué)院教授、數(shù)據(jù)法律研究中心主任高富平認(rèn)為，現(xiàn)在國(guó)內(nèi)的判決，基本在競(jìng)爭(zhēng)法的框架下進(jìn)行裁判，即爬蟲目的是否“實(shí)質(zhì)性替代”被爬一方的業(yè)務(wù)，成為判斷爬蟲合法性的關(guān)鍵，有損害后果才制止爬蟲行為，總是有它的局限性。

“如果承認(rèn)數(shù)據(jù)生產(chǎn)者具有數(shù)據(jù)的控制權(quán)，基于控制權(quán)，就可以對(duì)于那些無視r(shí)obots協(xié)議的數(shù)據(jù)爬取者進(jìn)行打擊?！备吒黄奖硎镜?，“更重要的是承認(rèn)數(shù)據(jù)合法生產(chǎn)者可基于商業(yè)目的來開放數(shù)據(jù)，以許可使用方式或者其他交換交易等方式，讓數(shù)據(jù)為更多人所使用。”

從國(guó)內(nèi)立法來看，2021年6月頒布的《深圳經(jīng)濟(jì)特區(qū)數(shù)據(jù)條例》首次以立法形式提及了“數(shù)據(jù)財(cái)產(chǎn)權(quán)”的概念，其中第四條作出規(guī)定，認(rèn)可自然人、法人和非法人組織對(duì)其合法處理數(shù)據(jù)形成的數(shù)據(jù)產(chǎn)品和服務(wù)享有法律、行政法規(guī)及本條例規(guī)定的財(cái)產(chǎn)權(quán)益。高富平在接受媒體時(shí)表示，《深圳經(jīng)濟(jì)特區(qū)數(shù)據(jù)條例》將數(shù)據(jù)財(cái)產(chǎn)權(quán)分配給自然人、法人和非法人組織是存在沖突的。

“個(gè)人的數(shù)據(jù)權(quán)應(yīng)該保護(hù)的是個(gè)人的尊嚴(yán)和自由，基本上屬于人格權(quán)范疇，而不是一個(gè)財(cái)產(chǎn)權(quán)，如果把個(gè)人的數(shù)據(jù)權(quán)定有財(cái)產(chǎn)權(quán)屬性，那個(gè)人在決定數(shù)據(jù)使用的時(shí)候，他的決定權(quán)就會(huì)和國(guó)家、企業(yè)的相沖突，這里面就會(huì)有權(quán)利“打架”的問題，無法構(gòu)建數(shù)據(jù)的利用秩序?！备吒黄綄?duì)此評(píng)價(jià)。

爬蟲抓取的數(shù)據(jù)屬于誰(shuí)？

中國(guó)人民大學(xué)法學(xué)院副教授丁曉東則認(rèn)為，爬取平臺(tái)數(shù)據(jù)而引發(fā)的數(shù)據(jù)此，無論把平臺(tái)數(shù)據(jù)權(quán)屬歸于哪一方都不合理。有的場(chǎng)景下，屬于個(gè)人數(shù)據(jù)范疇，需要數(shù)據(jù)隱私法的優(yōu)先保護(hù)；有的場(chǎng)景下，平臺(tái)數(shù)據(jù)具有類似數(shù)據(jù)庫(kù)的性質(zhì)，需要“類似數(shù)據(jù)庫(kù)權(quán)益”的保護(hù)；而在其他場(chǎng)景下，平臺(tái)數(shù)據(jù)又具有公共性，需要法律保障數(shù)據(jù)的共享與流通。

假如可能封禁所有網(wǎng)絡(luò)爬蟲的話，互聯(lián)網(wǎng)可能將會(huì)“寸步難行”；倘若又未對(duì)爬蟲設(shè)置任何“屏障”，互聯(lián)網(wǎng)則可能淪為“數(shù)字叢林”，最終侵害到用戶權(quán)益。因此，該如何規(guī)制網(wǎng)絡(luò)爬蟲行為，讓互聯(lián)網(wǎng)既保持自由、開放，又能有序健康發(fā)展，成為互聯(lián)網(wǎng)行業(yè)都面臨挑戰(zhàn)。

當(dāng)數(shù)據(jù)權(quán)屬仍懸而未決時(shí)，也就意味著從未無休止爬蟲戰(zhàn)爭(zhēng)仍將繼續(xù)。

作者：殷繼，姚佳瑩；公眾號(hào)：財(cái)經(jīng)E法

本文由 @財(cái)經(jīng)E法 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自 Pixabay，基于CC0協(xié)議。