从搜索爬虫记录看到问题
点击数：25601 更新时间：2014-04-06 15:20:00 来源: 昕竹轩网站设计-【返回】
晚上，花点时间找到了一个可用收缩蜘蛛爬行记录程序，刚装配不到5分钟，就看到搜狗的收缩爬虫呼来来全爬到博客上了，等了大概半小时多，爬虫记录上基本上能看到百度，谷歌，搜搜，雅虎等各大搜索爬虫。兴奋之余也彻底打消了，我网站收入担忧现在基本上确认爬虫门基本上都能畅通无阻在我博客上游荡，不过分析下，记录日志能发现大部分爬虫爬走的路径都是一些，老版映轩晓屋程序路径，都是当初Asp建站内容如今各大搜索引擎似乎对旧的路径很是偏爱，但收录后基本上没有页面能正常打开，而新网站页面爬虫也很少光顾。
这样，问题也真让人心急上网搜索下给出答案基本上是等待，它们更新，以及使用robots.txt文件，阻止收入旧的网站结构路径。另外，加紧网站原创内容更新和各搜索引擎上网址的提交。
反正，内容继续更新。以不变应万变，使网站体验更好不怕以后没人气。
广告位
【必备推荐】(Top) 返回页面顶端
【精品案例】更多案例展示
【最新留言】
(Top) 返回页面顶端
登录 |
免费注册 |
忘记密码 |
邮箱：CSW8923@126.com
服务电话：17895923895 客服QQ：568441621 
Copyright © 2014-2015 Htmcss.Com All Rights Reserved 版权所有昕竹轩网站设计 备案号：闽ICP备16024510号-4
邮箱：CSW8923@126.com
服务电话：17895923895 客服QQ：568441621 Copyright © 2014-2015 Htmcss.Com All Rights Reserved 版权所有昕竹轩网站设计 备案号：闽ICP备16024510号-4
你设置的联系邮箱是*: (当有人给你留言回复之时,联系邮箱可以及时通知你)
我们建议你填写正确的邮箱地址，如果你之前填写邮箱地址是错误的可以通过 【修改资料】 来重新设置