你身邊的互聯網技術顧問
不斷學習,不斷成長,為您解答一切互聯網相關問題。
歡迎交流
  • 2020-05-03 12:37:00
  • 3394

百度抓取診斷工具提示抓取失??!

網站在改版中想測試下百度的抓取工具,這個工具很重要。他是模擬百度蜘蛛抓取網站信息,顯示網站在百度蜘蛛訪問時的狀態。


其他頁面訪問正常,只有首頁提示“拒絕訪問”!



奇怪了從來沒有遇到過,檢查了下百度說明。


【訪問遭拒絕】


一般情況下,百度會通過跟蹤網頁間的鏈接來查找內容。百度spider必須能夠訪問某個網頁才能抓取該網頁。如果您意外地看到了“訪問遭拒”錯誤,可能是由于以下幾種原因導致的:


(1)百度spider無法訪問您網站上的網址,因為您網站上的所有或部分內容要求用戶登錄后才能查看。


(2)您的服務器要求用戶使用代理進行身份驗證,或者您的托管服務提供商阻止百度spider訪問您的網站。


經過檢查后,發現以上情況都不存在,經過不斷的嘗試終于解決!


原因是 服務器默認首頁的設置


我用的是 linux 虛擬主機管理系統是 WDCP


WDCP里面站點管理默認首頁只加了index.html,導致百度蜘蛛抓取提示 403 錯誤。因為我用的系統是PHP,沒有把 index.php 添加默認首頁導致出現的問題。


并且在我使用死鏈檢測的時候也是提示無法檢測,經過以上方法處理,死鏈檢測工具也解決了!

大乐透历史开奖结果 今日贵州快三开奖结号 DG视讯官网 - 首页 河内5分彩开奖号码彩经网 7星彩开奖现场直播 福彩3d开机号选胆图 4场进球彩奖金 青海快3三天开奖结果 青海快323日开奖号码 ag真人是什么意思 中国大量彩票店倒闭 网球冠军李娜博客 浙江福利彩票双色球 17yy可爱水果老虎机 怎么看幸运快三大小快速掌握 快乐双彩开奖结果广西 南粤36选7开奖结果开奖记录查询结果