Feb 222011
 

自從2月10日以來,我從網站管理頁就見到爬蟲來訪數量依然持續在兩千左右,並且情況稍微發生一點點變化,這次爬蟲最瘋狂的是sogou(搜狗),其次是騰訊soso(搜搜),百度反而排第三。

事實上,就算把本站從頭查到尾,衹不過是一百篇文章,即使算上重複連接,可供查找的數量依然不會多。可以這麼講,搜狗、搜搜、百度每天都來網站對所有内容都重新查找一邊。如果這三個搜尋器都將我的網站内容列出在他們的搜索結果中,我勉強還會接受。但由於搜狗、搜搜、百度在平常的搜尋結果中是排斥繁體字、正體字的,因此我真的無理由接受它們這樣亂查亂找。更何況,搜狗、搜搜的用戶量遠不如Google和百度,我無理由接受它們搗亂的行爲。

由於搜購狗、搜搜幾乎無視robot.txt(百度有時也會無視robot.txt),我想我該尋求其它方式拒絕它們了。

Sorry, the comment form is closed at this time.