百度與360公司爬蟲機器人不正當競爭糾紛案，又被稱為Robots協議案，是中國搜尋領域爬蟲機器人競爭第一案，該案關係網際網路行業尤其是搜尋引擎的基本遊戲規則而廣泛被業界、政府和網民關注。8月7日，該案宣判，北京市第一中級人民法院駁回了百度有關不正當競爭的訴求，表明百度單方面利用歧視性Robots協議打擊競爭對手的行為不會被公眾和法庭所支援，而360則可以繼續抓取百度的內容網站。
據悉，Robots協議由荷蘭籍網路工程師Martijn Koster於1994年首次提出，是一個被放置在網站中的檔案，為搜尋引擎爬蟲做出提示，設定允許與不允許兩種語句，網路爬蟲據此“自覺地”抓取或者不抓取該網頁內容。Robots協議的目的，是為了保障著作權、保護個人隱私，儘可能地讓網際網路健康發展。
雖然名為“協議”，但Robots協議只是行業慣用的說法。它既不是法律意義上的協議，也不是國際組織採納的標準，因此不受任何機構保護。而百度的Robots協議的特別之處，在於其白名單機制——允許除360之外的搜尋引擎訪問百度網站，這種白名單在全球是絕無僅有的。
法院判360搜尋可抓取百度內容：自由競爭的勝利 請看下一頁
“從百度對360的訴訟來看，有不公平競爭之嫌。”知名IT人士於剛表示，把Robots協議的作用強調於奇虎360身上，而自己卻在抓取其他搜尋引擎內容或網站裡的視訊、音樂檔案時忽視Robots協議。這樣的行為，並非Robots協議初衷。
己所不欲勿施於人，為何百度在robots協議面前，採用兩套做法?答案很簡單，打擊和封堵直接競爭對手360搜尋的自由發展。
業內人士分析，360的產品一向以迅速擴張著稱，當年白手起家的安全產品如此，今日擁有幾億使用者並有入口優勢的360更不容小覷。而搜尋，是百度的根本，百度不會坐以待斃，眼看著搜尋市場被360分割。
據庭審資料顯示，谷歌退出中國市場前，國內的搜尋引擎市場百度佔到60%，谷歌佔到20%。在谷歌退出中國市場後，百度佔到了80%的市場。2012年8月16日，360正式推出搜尋引擎，並在上線6天后，佔據中國搜尋市場10%的份額，成為僅次於百度的第二大搜索流量來源。至2013年9月，百度的市場份額從81.49%直線下降到63.14%，而360搜尋則佔到了19.04%。
所以，為了反制360，百度迅速採取了措施，將所有來自360搜尋的使用者請求跳轉至百度首頁，使用者需要二次點選才能得到搜尋的結果。另一方面，便是在百度知道、百科、貼吧等產品在Robots檔案中禁止360搜尋抓取索引。根據使用者協議，這些內容的版權並不歸屬於百度，而是歸生產和製造這些內容的使用者所有。
法院判360搜尋可抓取百度內容：自由競爭的勝利 請看下一頁
即使是百度公司的專家證人，也在庭審中表示設定Robots協議一是從技術角度，避免網站伺服器被攻擊癱瘓;二是從內容角度，避免使用者留在其他網站而不到自己的網站瀏覽。對於限制搜尋引擎抓取應有的行業公認合理的正當理由，百度專家證人也說不出來。
中國政法大學法制新聞研究中心研究員陳杰人一針見血地指出，百度建立Robots協議白名單，只限制360搜尋進行內容抓取，具有一定的歧視性，其目的顯然不是維護產品間遊戲規則的健康有序，而是將Robots協議作為一種打壓對手的競爭工具。
眾所周知，作為全球最大的中文搜尋引擎，百度搜索的強大，不僅體現在其爬蟲機器人的抓取能力，還體現在百度自身就是一個有海量資訊的內容網站。百度知道、百度百科、百度經驗、百度音樂和百度旅遊等內容網站囊括的資訊量之巨，足以決定像360這樣的搜尋新手的生死存亡：如果360搜尋無法提供上述百度內容網站的資訊，必然被網民認為資訊不全而夭折。
也就是說，對這些百度的內容網站，360搜尋要麼抓，要麼死。由此可見，法院為了維護網際網路的正常秩序，駁回了百度訴360不正當競爭的訴求。
就該案，網際網路業界專家、部落格中國創始人方興東認為，Robots協議是個很好的東西，但百度很明顯，他希望把它當成一個競爭攻略，為自己建一個競爭壁壘，最好百度每個網站都能抓，而別的搜尋引擎都不能抓取。
法院判360搜尋可抓取百度內容：自由競爭的勝利 請看下一頁
“我覺得這樣的話這個事情就變成非常嚴重的事情，因為我們原來做個網站也沒有說什麼都是協議，做一個網站肯定是大家可以自由看的，然後搜尋引擎可以自由抓取。如果以後我們每個網站都要先定義一下，哪幾個網站能讓他抓取，哪些能讓他看，那網際網路基本的資訊自由那就完全變味了，整個網際網路秩序就亂了。搜尋引擎這個扭曲在這個社會也好，在網際網路產業也好，影響非常大。我覺得這個事情在搜尋引擎行業裡真的是越來越嚴重。” 方興東說。
網際網路市場沒有那麼明確的先來後到。網民用之、棄之是瞬間決定並完成的事情，這也決定了網際網路行業的競爭一刻都不能停歇，因為喘息之間可能已經有幾十、幾百萬使用者的得失。激烈的競爭更需要公平合理的競爭規則，否則過於放任的競爭會讓網際網路行業變成屠場並最終走向壟斷。屆時，中國網際網路將從互聯互通的資訊海洋變為一個個資訊孤島，開放、平等、協作、分享的網際網路精神在搜尋引擎服務領域將不復存在。
在本案的判決書中法院寫道：規則的缺失會讓網際網路行業陷入“叢林法則”的誤區，但同時，市場競爭需要給每一個競爭者公平的競爭環境，即使是後進入市場的競爭者，也應該有公平的競爭機會，以免陷入“叢林法則”中強者可以任意欺凌弱者的誤區。判決書中還提到：360已經多次向百度表示要求修改robots協議，該主張是清晰明確的，而百度未能明確提出拒絕360的合理理由，故對《自律公約》簽訂之後，百度主張360構成不正當競爭的主張本院不予支援。
這個案件中，法院在沒有明確的法律可以適用的情況下，表現出難能可貴的開拓精神和創新勇氣，捍衛了網際網路開放、平等的網際網路精神，為網際網路行業的自由競爭和健康發展開闢了道路。
