網(wǎng)站上線開(kāi)通后，作為站長(zhǎng)都希望網(wǎng)頁(yè)盡快被搜索引擎抓取收錄，在關(guān)鍵詞搜索結(jié)果頁(yè)面能夠有所展現(xiàn)和曝光，當(dāng)然關(guān)鍵詞排名越高越好，這樣網(wǎng)站才能有訪問(wèn)流量，進(jìn)而能夠?qū)崿F(xiàn)客戶(hù)轉(zhuǎn)化。但有的網(wǎng)站很長(zhǎng)時(shí)間才會(huì)被百度收錄，并且網(wǎng)站關(guān)鍵詞排名也不好，甚至于網(wǎng)站根本沒(méi)有收錄，由于不知道具體原因所以無(wú)從下手，不知道在哪個(gè)方面努力才能達(dá)到需要的效果。 現(xiàn)在我們先了解一下百度抓取收錄網(wǎng)頁(yè)的大體機(jī)制，目前百度網(wǎng)絡(luò)蜘蛛抓取新鏈接的途徑有兩個(gè)，一是主動(dòng)出擊發(fā)現(xiàn)抓取，包括爬取服務(wù)器或者跟蹤原有資源的鏈接；二是從搜索資源中心的鏈接提交工具中獲取數(shù)據(jù)，其中通過(guò)主動(dòng)推送功能“收集來(lái)的數(shù)據(jù)最受百度spider的歡迎，你需要在搜索資源中心中提交網(wǎng)站地圖sitemap.xml，更方便網(wǎng)絡(luò)蜘蛛識(shí)別抓取和收錄網(wǎng)頁(yè)URL。對(duì)于站長(zhǎng)來(lái)說(shuō)，如果鏈接很長(zhǎng)時(shí)間不被收錄，建議嘗試使用主動(dòng)推送功能，尤其是新網(wǎng)站，主動(dòng)推送首頁(yè)數(shù)據(jù)，有利于內(nèi)頁(yè)數(shù)據(jù)的抓取。但有時(shí)候我們提交了數(shù)據(jù)還是遲遲在搜索結(jié)果頁(yè)面看不到網(wǎng)站展現(xiàn)，出現(xiàn)這種現(xiàn)象的原因在網(wǎng)絡(luò)蜘蛛抓取這個(gè)環(huán)節(jié)可能有以下這些： 1、網(wǎng)站封禁：由于Robots文件設(shè)置有誤，在Robots文件里面設(shè)置禁止百度或其他搜索引擎蜘蛛，結(jié)果當(dāng)然是無(wú)法收錄。 2、備案問(wèn)題：現(xiàn)在百度、360等國(guó)內(nèi)搜索引擎網(wǎng)絡(luò)蜘蛛出于各方面考慮，基本不再抓取服務(wù)器部署在海外的新網(wǎng)站，原來(lái)用海外主機(jī)的老網(wǎng)站現(xiàn)在基本也只展現(xiàn)首頁(yè)。 3、質(zhì)量篩選：百度spider進(jìn)入3.0后，對(duì)低質(zhì)內(nèi)容的識(shí)別上了一個(gè)新臺(tái)階，尤其是時(shí)效性?xún)?nèi)容，從抓取這個(gè)環(huán)節(jié)就開(kāi)始進(jìn)行質(zhì)量評(píng)估篩選，過(guò)濾掉大量過(guò)度優(yōu)化、低質(zhì)量等頁(yè)面。 4、抓取失敗：由于網(wǎng)站服務(wù)器不穩(wěn)定，網(wǎng)頁(yè)打開(kāi)速度過(guò)慢，百度spider訪問(wèn)抓取網(wǎng)頁(yè)時(shí)遇到麻煩，當(dāng)然網(wǎng)站收錄效果不好了。 5、配額限制：如果你的站點(diǎn)頁(yè)面數(shù)量突然爆發(fā)式增長(zhǎng)，這種情況大多數(shù)是網(wǎng)站被黑，被加入了很多非法頁(yè)面，這就會(huì)影響到優(yōu)質(zhì)鏈接的抓取收錄，所以站點(diǎn)在保證訪問(wèn)穩(wěn)定外，也要關(guān)注網(wǎng)站安全，防止被黑注入。