<strong id="oyk68"></strong>
<s id="oyk68"></s>
  • <rp id="oyk68"></rp>

    <rt id="oyk68"></rt>
    2017年最新百度谷歌360等搜索引擎蜘蛛名稱及搜索引擎蜘蛛真假判斷
    搜收錄網整理 發布日期:2016/12/31 10:21:46
    1、百度蜘蛛:Baiduspider
    網上的資料百度蜘蛛名稱有BaiduSpider、baiduspider等,這些名稱都不是太準確。網頁抓取百度蜘蛛最新名稱為Baiduspider,是用百度來抓取網頁的蜘蛛。圖片抓取百度蜘蛛準確名稱為Baiduspider-image,是用來抓取圖片的蜘蛛。
    常見的百度蜘蛛還有移動網頁抓取蜘蛛Baiduspider-mobile(抓取wap)、百度視頻抓取蜘蛛Baiduspider-video(抓取視頻)、百度新聞抓取蜘蛛Baiduspider-news(抓取新聞)。
    如何判斷百度蜘蛛真假
    使用DNS反查方式可以確定抓取來源的ip是否屬于百度,根據平臺不同驗證方法也有所不同:
        
    在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
    $ host 123.125.66.120 
    120.66.125.123.in-addr.arpa domain name pointer 
    baiduspider-123-125-66-120.crawl.baidu.com.
     
    host 119.63.195.254
    254.195.63.119.in-addr.arpa domain name pointer 
    BaiduMobaider-119-63-195-254.crawl.baidu.jp.
     
    在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
     
    在mac os平臺下,您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
     
    2、谷歌蜘蛛:Googlebot
    谷歌網頁抓取蜘蛛最新名稱為“compatible; Googlebot/2.1;”。谷歌移動網頁抓取蜘蛛名稱為Googlebot-Mobile,看名字是抓取wap內容的。
     
    3、360蜘蛛:
    360搜索網頁抓取蜘蛛最新名稱為360Spider或HaosouSpider。
     
    4、搜狗蜘蛛:Sogou+web+spider/4.0
    搜狗網頁抓取蜘蛛最新名稱為Sogou+web+spider/4.0,搜狗蜘蛛還包括如下這些:Sogou+inst+spider、Sogou+spider2、Sogou+blog、Sogou+News+Spider、Sogou+Orion+spider,
     
    搜狗最常見蜘蛛為"Sogou+web+spider/4.0" ;"Sogou+News+Spider/4.0" ;"Sogou+inst+spider/4.0"。
     
    5、必應蜘蛛:bingbot 
    必應網頁抓取蜘蛛最新名稱為(compatible; bingbot/2.0;)
     
    6、一搜蜘蛛:YisouSpider
    一搜網頁抓取蜘蛛最新名稱為YisouSpider,同時Yisouspider也是神馬搜索的網頁爬蟲,同時也在為CNZZ云推薦提供服務。
     
    7、神馬蜘蛛:YisouSpider
    神馬網頁抓取蜘蛛最新名稱為YisouSpider

    信息網址:http://www.dfqxlqd.com/ziyuan/view15945.htm
    相關信息
    免费可以看黄的视频