正文

301強(qiáng)引蜘蛛

發(fā)布時(shí)間：2023-04-22 08:17:49 稿源：創(chuàng)意嶺閱讀： 61

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于301強(qiáng)引蜘蛛的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開(kāi)始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫(xiě)出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、網(wǎng)站需要修改內(nèi)頁(yè)和欄目頁(yè)，怎樣做可以避免對(duì)SEO負(fù)面影響
2、如何解決新站帶www的網(wǎng)頁(yè)不被收錄的問(wèn)題
3、怎樣恢復(fù)被K掉的網(wǎng)站
4、如何查看百度蜘蛛路徑

301強(qiáng)引蜘蛛

一、網(wǎng)站需要修改內(nèi)頁(yè)和欄目頁(yè)，怎樣做可以避免對(duì)SEO負(fù)面影響

1、大范圍修改網(wǎng)站會(huì)造成排名波動(dòng)，這是必然的，但是不一定會(huì)K站，關(guān)鍵是看你怎么改，根據(jù)你的描述，你的改進(jìn)是提升網(wǎng)站訪客體驗(yàn)，提升網(wǎng)頁(yè)對(duì)蜘蛛的友好度的改進(jìn)，所以不用擔(dān)心K站懲罰。

2，這個(gè)問(wèn)題的目的是盡可能降低改動(dòng)對(duì)網(wǎng)站造成的影響，我的建議，既然沒(méi)有什么排名，那就徹底的一次性全部改完。對(duì)于低質(zhì)量的頁(yè)面（不管是內(nèi)頁(yè)還是欄目頁(yè)）可以刪除或者修改，如果改動(dòng)前后內(nèi)容差距比較大，那就建議刪除舊的重新發(fā)布新的頁(yè)面，把刪除的舊地址提交死鏈給蜘蛛即可。

3、針對(duì)這樣的頁(yè)面，修改后多發(fā)外鏈引蜘蛛。堅(jiān)持兩個(gè)月，如果蜘蛛重新爬行后還是沒(méi)有收錄并放出來(lái)那就建議刪掉這個(gè)頁(yè)面，重新發(fā)布新的頁(yè)面，同樣提交就頁(yè)面死鏈給蜘蛛。

4、如果刪除了肯定會(huì)死鏈的，所以讓你提交舊地址死鏈給蜘蛛，這樣蜘蛛就會(huì)友好處理你刪掉的頁(yè)面地址。

5、建議你不要經(jīng)常更換主機(jī)IP 這樣對(duì)你的站不太好。直接找一個(gè)可靠的服務(wù)商，比如萬(wàn)網(wǎng)，西數(shù)，景安等等。

6，蜘蛛的爬行日志，需要你在你的網(wǎng)站空間開(kāi)啟。不同的服務(wù)商的日志開(kāi)啟方法都不一樣，建議你跟空間商聯(lián)系。

二、如何解決新站帶www的網(wǎng)頁(yè)不被收錄的問(wèn)題

若以上兩點(diǎn)是客觀原因?qū)е滦抡編ww的頁(yè)面不被收錄，那么其根本原因就是域名在解析時(shí)，同時(shí)解析了帶www和不帶www的域名。避免以后出現(xiàn)類(lèi)似的問(wèn)題，在解析域名時(shí)，只解析帶www的域名，不帶www的域名等網(wǎng)站權(quán)重穩(wěn)定后再解析開(kāi)通。

三、怎樣恢復(fù)被K掉的網(wǎng)站

清除死鏈，黑鏈，確保網(wǎng)站內(nèi)容政治正確。域名301到大站上去用引蛛軟件引蜘蛛怕域名得半個(gè)月吧。。。再解析回來(lái)，再等收錄

四、如何查看百度蜘蛛路徑

通過(guò)分析IIS日志查看百度蜘蛛路徑

一、IIS日志的重要作用

1.通過(guò)IIS日志可以了解蜘蛛對(duì)網(wǎng)站的基本爬取情況，可以知道蜘蛛的爬取軌跡和爬取量，通過(guò)我們的IIS日志，外鏈的多和少和網(wǎng)站蜘蛛的爬取量是有直接影響的，我們所說(shuō)的鏈接誘餌就是如果你做了一個(gè)外鏈，蜘蛛在爬取這個(gè)外鏈頁(yè)面并把頁(yè)面放出來(lái)時(shí)，蜘蛛可以通過(guò)你留的這個(gè)鏈接來(lái)爬取你的網(wǎng)站，而IIS 日志正是會(huì)記錄下蜘蛛的這次爬取行動(dòng)。

2.網(wǎng)站的更新頻率也和IIS日志中蜘蛛抓取的頻率有關(guān)，一般來(lái)說(shuō)更新頻率越高，蜘蛛的抓取頻率越高，而我們網(wǎng)站的更新不僅僅只是新內(nèi)容的添加同時(shí)還有我們的微調(diào)操作。

3.我們可以根據(jù)IIS日志的反應(yīng)情況，對(duì)我們的空間的某些事情和問(wèn)題提前進(jìn)行預(yù)警，因?yàn)榉?wù)器如果出問(wèn)題的話在IIS日志中會(huì)第一時(shí)間反映出來(lái)，要知道服務(wù)器的穩(wěn)定速度和打開(kāi)速度兩者都會(huì)直接影響我們的網(wǎng)站。

4.通過(guò)IIS日志我們可以知道網(wǎng)站的那些頁(yè)面是很受蜘蛛歡迎的，而哪些頁(yè)面是蜘蛛連碰都不去碰的，同時(shí)我們還能發(fā)現(xiàn)有一些蜘蛛由于是過(guò)度爬取對(duì)我們的服務(wù)器資源損耗是很大的，我們要進(jìn)行屏蔽工作。

二、如何下載日志及日志設(shè)置注意事項(xiàng)

1.首先我們的空間要支持IIS日志下載，這一點(diǎn)是很重要的，在我們購(gòu)買(mǎi)空間之前必須要先問(wèn)好支不支持IIS日志下載，因?yàn)橛械姆?wù)商是不提供這項(xiàng)服務(wù)的，如果支持的話空間后臺(tái)一般都有日志W(wǎng)ebLog日志下載這個(gè)功能把它下載到根目錄在用FTP傳到本地就可以，服務(wù)器的話可以設(shè)置將日志文件下載到指定路徑。

2.這里有個(gè)很重要的問(wèn)題，IIS日志強(qiáng)烈建議設(shè)置成每小時(shí)生成一次，小型的企業(yè)站和頁(yè)面內(nèi)容較少的網(wǎng)站可以設(shè)置成一天，它默認(rèn)是一天，如果內(nèi)容多或者大型站設(shè)置成一天生成一次，那么一天只生成一個(gè)文件，這個(gè)文件會(huì)相當(dāng)?shù)拇?，我們有時(shí)電腦打開(kāi)是會(huì)造成死機(jī)，設(shè)置的話找空間商協(xié)調(diào)設(shè)置即可。

三、IIS日志的分析

1.日志的后綴名是log的我們用記事本打開(kāi)，選擇格式里的自動(dòng)換行這樣看起來(lái)方便，同時(shí)用搜索功能搜索BaiduSpider和Googlebot這兩個(gè)蜘蛛。

例如：

百度蜘蛛

2012-03-1300:47:10W3SVC177116.255.169.37GET/-80-220.181.51.144Baiduspider-favo+(+baidu/search/spider)2000015256197265?

谷歌機(jī)器人

2012-03-1308:18:48W3SVC177116.255.169.37GET/robots.txt-80-222.186.24.26Googlebot/2.1+(+google/bot)2000098520031?

我們分段來(lái)解釋

2012-03-1300:47:10蜘蛛爬取的日期和時(shí)間點(diǎn)

W3SVC177這個(gè)是機(jī)器碼這個(gè)是惟一的我們不去管它

116.255.169.37這個(gè)IP地址是服務(wù)器的IP地址

GET代表事件

GET后面就是蜘蛛爬取的網(wǎng)站頁(yè)面，斜杠就代表首頁(yè)

80是端口的意思

220.181.51.144這個(gè)IP則是蜘蛛的IP，這里告訴大家一個(gè)鑒別真假百度蜘蛛的方法，我們電腦點(diǎn)擊開(kāi)始運(yùn)行輸入cmd打開(kāi)命令提示符，輸入nslookup空格加蜘蛛IP點(diǎn)擊回車(chē)，一般真百度蜘蛛都有自己的服務(wù)器IP而假蜘蛛則沒(méi)有。

如果網(wǎng)站中出現(xiàn)了大量的假蜘蛛則說(shuō)明有人冒充百度蜘蛛來(lái)采集你的內(nèi)容，你就需要注意了，如果太猖獗那會(huì)很占用你的服務(wù)器資源，我們需要屏蔽他們的IP.

20000這里是狀態(tài)碼狀態(tài)碼的意思可以在百度里搜索下

197265最后兩個(gè)數(shù)字則代表著訪問(wèn)和下載的數(shù)據(jù)字節(jié)數(shù)。

2.我們分析的時(shí)候先看看狀態(tài)碼200代表下載成功，304代表頁(yè)面未修改，500代表服務(wù)器超時(shí)，這些是一般的其他代碼可以百度一下，對(duì)于不同的問(wèn)題我們要處理。

3.我們要看蜘蛛經(jīng)常爬取哪些頁(yè)面，我們要記錄下來(lái)，分析他們?yōu)槭裁磿?huì)經(jīng)常被蜘蛛爬取，從而分析出蜘蛛所喜歡內(nèi)容。?

4.有時(shí)候我們的路徑不統(tǒng)一出現(xiàn)帶斜杠和不帶斜杠的問(wèn)題，蜘蛛會(huì)自動(dòng)識(shí)別為301跳轉(zhuǎn)到帶斜杠的頁(yè)面，這里我們就發(fā)現(xiàn)了搜索引擎是可以判斷我們的目錄的，所以我們要對(duì)我們的目錄進(jìn)行統(tǒng)一。

5.我們分析日志分析時(shí)間長(zhǎng)了，我們能夠看出蜘蛛的抓取規(guī)律，同一目錄下面的單個(gè)文件的抓取頻率間隔和不同目錄的抓取頻率間隔都可以看出來(lái)，這些抓取頻率間隔時(shí)間是蜘蛛根據(jù)網(wǎng)站權(quán)重和網(wǎng)站更新頻率來(lái)自動(dòng)確定的。

6.蜘蛛對(duì)于我們的頁(yè)面的抓取是分等級(jí)的，是根據(jù)權(quán)重依次遞減的，一般順序?yàn)槭醉?yè)、目錄頁(yè)、內(nèi)頁(yè)。

7.不同IP的蜘蛛他們的抓取頻率也是不相同的。

以上就是關(guān)于301強(qiáng)引蜘蛛相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。