• ----:)欢迎访问源码网(:----
    • 首页
    • 博客
    • 学院
    • 下载
    • 论坛
    • 影视
    • 发布源码
    • RSS
    • ITPig
    • 笑话网
    • 百家姓
    • 繁體中文

源码网 - 中国第一源码门户
选择镜像:网通镜像 - 电信主站
  • 首 页
  • 新闻动态
  • 网站运营
  • 网页制作
  • WEB开发
  • 编程开发
  • 图像媒体
  • 操作系统
  • 数据库
  • 服务器
热门搜索 优化 SEO 故事 cms IIS7 MySQL 个人 AdSense 主题推广 | 文章搜索: 高级搜索
会员登录/控制面版您的位置: 学院首页 >> 网站运营 >> 网站知识 >> 详细内容
 

推荐文章

  • 网站制作过程----新手必看!
  • 一个中国站长必须知道的33件事
 
 

热点文章

  • 网站制作过程----新手必看!
  • 国外虚拟主机选购参考指南
  • 如何提高网站的访问速度?
  • 什么是widget?widget是什么意思?
  • 写给还在用免费空间的站长朋友!
  • 您需要撑握的关于免费流量统计几点知识
  • 一个中国站长必须知道的33件事
  • 国外虚拟主机排名列表参考
  • 你做网页考虑过Firefox,Opera吗?
  • cc域名详细介绍,注册.cc域名要当心
  • 买空间要了解哪些?一些经验分享
  • 紫欣:如何来策划网站的专题
 
 

相关文章

  • 各类搜索引擎蜘蛛IP地址大全
  • 实现蜘蛛捕捉的PHP代码 (WEB爬虫)
  • 百度蜘蛛收录减少的原因和解决办法
  • PHP模拟SQL Server的两个日期处理函数
  • 用C#开发蜘蛛程序
  • 世界各大搜索引擎的蜘蛛名称列表
  • 从一分钟的蜘蛛抓取看搜索引擎
 
 

百度搜索

 
 

模拟蜘蛛爬行检查死链

  • 阅览次数:
  • 文章来源: 厦门搜索引擎优化(SEO)观察
  • 原文作者: 一剑倾城
  • 整理日期: 2008-05-23
  • 发表评论
  • 字体大小:
  • 小
  • 中
  • 大

  随着网站内容的不断增加,免不了会有一些链接失效,此称为死链接。死链接的危害是很大的,会让人对你网站的管理失去信心,从而失去一部分访客。但要手工一条一条检查,简直是天方夜谭!www.DeadLinks.com 十个不错的死链检查工具,1分钟之内就能检查你整个网站所有的链接情况。

在网址输入框中输入您的网站或博客主页地址,则小蜘蛛会读你的HTML代码,并检查损坏的链接。同时蜘蛛则会分裂成两类链接,内部(同一个主机上)和外部(将外部的链接到不同的网域)。一旦放入你的入口网址,蜘蛛将访问您的网站和并且检查所有链接的状态。当完成,您会看到一个报告显示,不仅仅包括404的状态,还包括发现的所有死链接。

注:蜘蛛不能抓取框架内的链接或JavaScript或Flash内的链接 。

常见问题解答:

什么是蜘蛛的用户代理?

蜘蛛的用户代理是: “网上链接校验( http://www.dead-links.com/ )

蜘蛛的IP地址是什么?

蜘蛛的IP地址是216.93.174.12 。

我怎样才能确认蜘蛛留在我服务器上的日志文件?

根据任何2条日志信息,您可以确认蜘蛛已访问过您的服务器。

在抓取大量的网页时,是否有什么限制?

蜘蛛有这样一个限制,每个域25页和150外部文件,最高执行时间为15分钟。

如果蜘蛛在访问期间发现一个链接指向http://www.dead-links.com,同一个域页数限制增加至150个,和外部的网址增加到500 ,同时也增加了执行时间。

蜘蛛是否也遵守robots.txt协议?

我们正在研发中,该议定书是尚未确定。

我可以拦截蜘蛛访问我的网站吗?

是的,无论是阻止用户代理或蜘蛛的IP地址,您都可以这样做。

什么是mime类型?

访问信息: MIME类型。

.

什么是网址是什么?和查询字串?

访问:资讯的网址和查询字符串。

蜘蛛是否认识frame, Javascrip, Java语言,影像地图中的链接吗?

现在,机器人并不承认这种链接或重定向:

•frames内的链接

• JavaScript中的链接

• Java applets的内部链接

•Flash对象的内部链接

• iframes中的内部链接

•影像地图的内部链接

•使用重定向元刷新标记

在您的搜索引擎排名,这些情况产生的负面影响,这是很重要的。

所以,如果蜘蛛在抓取您的网站是没有任何问题,说明您的网站,搜索引擎优化的非常好。

蜘蛛报告说,我的网站中有0个链接,是怎么回事呢?

原因可能是您所使用了上述的哪种技术或链接。

是否有任何教程,以优化我的网站搜寻引擎?

是的,请访问:搜索引擎的指引。

在第一个字段中放入你的链接(指向您网站的链接) 。

第二,在文本框中输入您需要做链接分析的网站链接清单。蜘蛛不需要您的链接伙伴的HTML代码就可以一个又一个抓取指向你网站的链接。

那您就必须置入确切可以找到的链接地址。

蜘蛛不能访问置于frames,JavaScript , Flash或服务器脚本中的链接。

来源:厦门搜索引擎优化(SEO)观察室

上一篇:PHP使用zlib扩展实现页面GZIP压缩输出
下一篇:构建支持Master/Slave读写分离的数据库操作类
  • 网友评论:
  • 查看所有评论
  • 我要发表评论
您的网名:
留言主题:
你要发表的内容:

 

关于本站 | 广告联系 | 版权声明 | 网站地图 | 发布软件 | 帮助中心 | 源码论坛

Copyright © 2005-2007 CodePub.Com  程序支持:木翼  滇ICP备05005971号