請(qǐng)高手深度分析搜索引擎蜘蛛解開我心頭的疑團(tuán)

2010-04-04 16:08?來(lái)源 wenzhou1

　　搜索引擎蜘蛛使勁的在我的網(wǎng)站上爬，本來(lái)是一件好事，最近我發(fā)現(xiàn)了雅虎在爬哪個(gè)網(wǎng)頁(yè)以后，我一直很納悶。因?yàn)檫@是我做的一個(gè)靜態(tài)網(wǎng)頁(yè)，忘記刪除了。網(wǎng)站導(dǎo)航和目錄里面都沒(méi)有指向這個(gè)網(wǎng)頁(yè)，可是雅虎蜘蛛?yún)s在這個(gè)網(wǎng)頁(yè)上使勁的爬，有時(shí)候每秒爬行十幾次，4月4日的日志我檢查了下，雅虎爬了1400多次，竟然大部分時(shí)間在這個(gè)單獨(dú)頁(yè)面上，這樣子的爬行對(duì)服務(wù)器的壓力會(huì)很大。對(duì)網(wǎng)站收錄又沒(méi)有什么幫助，因?yàn)檫@個(gè)頁(yè)面沒(méi)有什么特別的內(nèi)容，最近我在這個(gè)頁(yè)面上加了很多文本內(nèi)容。但是即使這樣，一個(gè)搜索引擎只關(guān)注我網(wǎng)站的一個(gè)內(nèi)頁(yè)，總不是什么好現(xiàn)象，請(qǐng)高手深度分析下，這是什么原因引起的，會(huì)帶來(lái)什么壞的后果，以待我更好的改進(jìn)。

這個(gè)頁(yè)面的地址：http://www.wenzhousx.com/seo/seo.html

我做了一個(gè)和這個(gè)一樣的頁(yè)面，蜘蛛?yún)s不來(lái)爬

http://www.thenaturerepublic.com.cn/seo/這兩個(gè)頁(yè)面一樣的原因是我剛做的時(shí)候，路徑問(wèn)題沒(méi)有搞對(duì)，所以，把那個(gè)文件夾里的seo.html的文件忘了刪除，現(xiàn)在蜘蛛這么狠命的爬，我都不敢刪除這個(gè)文件了，刪了我怕給我一串的404

蜘蛛爬行統(tǒng)計(jì)：

蜘蛛爬行統(tǒng)計(jì)