• 2020-05-03 12:37:00
• 3394

百度抓取診斷工具提示抓取失??！

網站在改版中想測試下百度的抓取工具，這個工具很重要。他是模擬百度蜘蛛抓取網站信息，顯示網站在百度蜘蛛訪問時的狀態。

其他頁面訪問正常，只有首頁提示“拒絕訪問”！

奇怪了從來沒有遇到過，檢查了下百度說明。

【訪問遭拒絕】

一般情況下，百度會通過跟蹤網頁間的鏈接來查找內容。百度spider必須能夠訪問某個網頁才能抓取該網頁。如果您意外地看到了“訪問遭拒”錯誤，可能是由于以下幾種原因導致的：

（1）百度spider無法訪問您網站上的網址，因為您網站上的所有或部分內容要求用戶登錄后才能查看。

（2）您的服務器要求用戶使用代理進行身份驗證，或者您的托管服務提供商阻止百度spider訪問您的網站。

經過檢查后，發現以上情況都不存在，經過不斷的嘗試終于解決！

原因是 服務器默認首頁的設置

我用的是 linux 虛擬主機管理系統是 WDCP

WDCP里面站點管理默認首頁只加了index.html，導致百度蜘蛛抓取提示 403 錯誤。因為我用的系統是PHP，沒有把 index.php 添加默認首頁導致出現的問題。

并且在我使用死鏈檢測的時候也是提示無法檢測，經過以上方法處理，死鏈檢測工具也解決了！