百度與360公司爬蟲機器人不正當競爭糾紛案，又被稱為Robots協議案，是中國搜索領域爬蟲機器人競爭第一案，該案關系互聯網行業尤其是搜索引擎的基本游戲規則而廣泛被業界、政府和網民關注。8月7日，該案宣判，北京市第一中級人民法院駁回了百度有關不正當競爭的訴求，表明百度單方面利用歧視性Robots協議打擊競爭對手的行為不會被公眾和法庭所支持，而360則可以繼續抓取百度的內容網站。

　　據悉，Robots協議由荷蘭籍網絡工程師Martijn Koster于1994年首次提出，是一個被放置在網站中的.TXT文件，為搜索引擎爬蟲做出提示，設置允許與不允許兩種語句，網絡爬蟲據此“自覺地”抓取或者不抓取該網頁內容。Robots協議的目的，是為了保障著作權、保護個人隱私，盡可能地讓互聯網健康發展。

　　雖然名為“協議”，但Robots協議只是行業慣用的說法。它既不是法律意義上的協議，也不是國際組織采納的標準，因此不受任何機構保護。而百度的Robots協議的特別之處，在于其白名單機制——允許除360之外的搜索引擎訪問百度網站，這種白名單在全球是絕無僅有的。

　　“從百度對360的訴訟來看，有不公平競爭之嫌。”知名IT人士于剛表示，把Robots協議的作用強調于奇虎360身上，而自己卻在抓取其他搜索引擎內容或網站里的視頻、音樂文件時忽視Robots協議。這樣的行為，并非Robots協議初衷。

　　己所不欲勿施于人，為何百度在robots協議面前，采用兩套做法？答案很簡單，打擊和封堵直接競爭對手360搜索的自由發展。

　　業內人士分析，360的產品一向以迅速擴張著稱，當年白手起家的安全產品如此，今日擁有幾億用戶并有入口優勢的360更不容小覷。而搜索，是百度的根本，百度不會坐以待斃，眼看著搜索市場被360分割。

　　據庭審資料顯示，谷歌退出中國市場前，國內的搜索引擎市場百度占到60%，谷歌占到20%。在谷歌退出中國市場后，百度占到了80%的市場。2012年8月16日，360正式推出搜索引擎，并在上線6天后，占據中國搜索市場10%的份額，成為僅次于百度的第二大搜索流量來源。至2013年9月，百度的市場份額從81.49%直線下降到63.14%，而360搜索則占到了19.04%。

　　所以，為了反制360，百度迅速采取了措施，將所有來自360搜索的用戶請求跳轉至百度首頁，用戶需要二次點擊才能得到搜索的結果。另一方面，便是在百度知道、百科、貼吧等產品在Robots文件中禁止360搜索抓取索引。根據用戶協議，這些內容的版權并不歸屬于百度，而是歸生產和制造這些內容的用戶所有。

　　即使是百度公司的專家證人，也在庭審中表示設置Robots協議一是從技術角度，避免網站服務器被攻擊癱瘓；二是從內容角度，避免用戶留在其他網站而不到自己的網站瀏覽。對于限制搜索引擎抓取應有的行業公認合理的正當理由，百度專家證人也說不出來。

　　中國政法大學法制新聞研究中心研究員陳杰人一針見血地指出，百度建立Robots協議白名單，只限制360搜索進行內容抓取，具有一定的歧視性，其目的顯然不是維護產品間游戲規則的健康有序，而是將Robots協議作為一種打壓對手的競爭工具。

　　眾所周知，作為全球最大的中文搜索引擎，百度搜索的強大，不僅體現在其爬蟲機器人的抓取能力，還體現在百度自身就是一個有海量信息的內容網站。百度知道、百度百科、百度經驗、百度音樂和百度旅游等內容網站囊括的信息量之巨，足以決定像360這樣的搜索新手的生死存亡：如果360搜索無法提供上述百度內容網站的信息，必然被網民認為信息不全而夭折。