服務器愛妻gzip壓縮,不會對spider抓取產生影響,我們會以壓縮的方式來抓取,并且也能夠節(jié)省站點的網絡流量。
正常情況下是有利無害的,但是服務器如果有問題gzip可能會導致百度抓取失敗,從而引發(fā)一系列問題。像硬防、GZP、CDN、DNS主動防御等,本身并沒有問題,但是技術出現(xiàn)錯誤就會出現(xiàn)各種問題,比如前段時間的新聞美橙互聯(lián)的DNS服務器檢測自動防御時,誤把百度蜘蛛IP當做惡意IP屏蔽了,導致客戶網站被K。所以站長在啟用相關功能時,一定要謹慎小心。