免费大片黄在线观看yw_能把下面看湿的视频_深爱激动情一区二区三区_黄色耽美小说

百度是否支持crawl-delay,是否支持使用robots文件控制抓取頻率和時間?

2014-09-23 瀏覽:150

User-agent:Sosospider
Crawl-delay:5
抓取時間和頻率限制是否支持呢?
可以在robots中的Crawl-delay中設置,這個參數是baidu spider對網站訪問頻率的重要參考信息之一,但spider系統會根據網站規模、質量、更新頻率等多方面信息綜合計算得出最終的執行壓力,因此并不保證嚴格遵守Crawl-delay中的設置值。

上一條: 為什么站內沒有鏈接的私密性網頁,或需要訪問權限的網頁,也會被百度收錄?
下一條: 百度是否支持通過robots提交sitemap?

新聞資訊

相關資訊