禁止搜索引擎收录的方法
日 期：2007-03-22 来 源：站长资源信息网 阅 读:
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
robots.txt 文件应该放在网站根目录下。举例来说，当robots访问一个网站（比如http://www.abc.com）时，首先会检查该网站中是否存在 http://www.abc.com/robots.txt这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
网站 URL 相应的 robots.txt的 URL
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
"
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：
User-agent:
该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中， "User-agent:*"这样的记录只能有一条。
Disallow:
该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被 robot访问到。例如"Disallow:/help"对/help.html 和/help/index.html都不允许搜索引擎访问，而"Disallow:/help/"则允许robot访问/help.html，而不能访问 /help/index.html。任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。
下载该robots.txt文件 User-agent: *
Disallow: / 例2. 允许所有的robot访问 (或者也可以建一个空文件 "/robots.txt" file) User-agent: *
Disallow: 例3. 禁止某个搜索引擎的访问 User-agent: BadBot
Disallow: / 例4. 允许某个搜索引擎的访问 User-agent: baiduspider
Disallow:
User-agent: *
Disallow: / 例5.一个简单例子
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
需要注意的是对每一个目录必须分开声明，而不要写成 "Disallow: /cgi-bin/ /tmp/"。
User-agent:后的*具有特殊的含义，代表"any robot"，所以在该文件中不能有"Disallow: /tmp/*" or "Disallow:*.gif"这样的记录出现. User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
robots.txt文件的更具体设置,请参看以下链接：
· Web Server Administrator's Guide to the Robots Exclusion Protocol
· HTML Author's Guide to the Robots Exclusion Protocol
· The original 1994 protocol description, as currently deployed
· The revised Internet-Draft specification, which is not yet completed or implemented
- Matt Cutts谈PR和PR更新
2007-03-22 15:13:22
家都注意到前两天Toolbar(工具条)PR已经更新了。Matt Cutts发了一个帖子，回答一些关于PR和PR更新的问题。 问：我很好奇PR值在内部是怎样存储的？是小数，就像人们猜测的，...[阅读全文] - 百度封什么样的网站?兼谈初级SEO办法
2007-03-22 15:13:25
前段时间 我的站已经被百度封闭了。当时流量是3~3.5万IP,并稳定上升中。呵呵经过分析是自己犯了错误，假设的大致原因如下： 1、改名：我看自己流量稳定中上升，已经超过了...[阅读全文] - 首份中国第三方Blog调查报告启示录
2007-03-22 15:13:21
中国Blog调查需要第三方数据 sz1961sy 发表于 2006-10-4 16:58:00 阅读全文(17) | 回复(0) | 引用通告(0) | 编辑 在中国迎来WTO时代至今，对WTO原则的理解其实并不是人们想...[阅读全文] - 搜索引擎关键字排行简介
2007-03-22 15:13:25
对搜索引擎的关键词优化一直是个很伤脑筋的问题，有些朋友经常问我，为什么你的站好多关键词排第一（注：我的站是下载站）？答案很简单：第一是我坚持手动更新；第二是我根...[阅读全文] - 关键词“非常排名”保留词（共3482个）
2007-03-22 15:13:20
...[阅读全文] - 内幕调查：出卖Alexa
2007-03-22 15:13:26
Alexa 应该很多人感兴趣的吧... Alexa工具条的DNA 要想彻底搞清楚Alexa排名是否可信，必须从技术上对Alexa的全球网站流量监测进行全面的解剖，当然，Alexa从来没有公布自己...[阅读全文] - 浅说百度算法变化和未来趋势
2007-03-22 15:13:20
这要从昨天开始的一个小调查说起，从昨天开始，我决定每天对互联网热点现象进行观察和分析，然后和大家交流探讨。 于是昨天我随机查看了百度关键词上升最快的冠亚季军，分...[阅读全文] - 提高网站在Google中的排名——面向搜索引擎的网站设计
2007-03-22 15:13:27
内容摘要： 目前中文网站在整个互联网中的影响还比较小，这主要是由于中文网站总体的水平（技术上，内容上）都还相对落后造成的，最主要的表现有： 行业知识：不知道搜索引...[阅读全文] - Google 的秘密- PageRank
2007-03-22 15:13:12
本文对作为评价甚高的搜索引擎 Google 的核心技术之一 PageRank (网页等级)的基本的概念和评价原理进行解释。 1.前言 最近，搜索引擎 Google (www.google.com) 非常引人注...[阅读全文] - 关键字密度与网站排名
2007-03-22 15:13:29
经常会有很多搞搜索引擎优化的同行们问到关键字的问题。譬如：一个页面有多少个关键字或者关键字短语对于排名更有利；或者，一个页面关键字的密度是多少更有利于排名之类的...[阅读全文] - seo 基础知识
2007-03-22 15:13:10
Google是最著名的搜索引擎之一，它的分类来至全球最大的开放目录Dmoz。研究搜索引擎，优化网站，让网站在搜索引擎上取得好的名次，对于增加网站访问量将起到至关重要的作用...[阅读全文] - 搜索引擎优化策略
2007-03-22 15:13:31
为什么有的网站能在搜索引擎上排名很好，而有的却连找到找不到呢？这个秘密何在呢？正如免费搜索引擎上的指导方针所说，有五个因素你是必须铭记于心的： 1、 你网站的内容...[阅读全文] - Google 的秘密 PageRank彻底解说 中文版
2007-03-22 15:13:09
Google 的秘密 PageRank彻底解说 中文版 原著：Google の秘密 - PageRank 徹底解説 Hajime BABA / 馬場 肇 翻译：Kreny / 袁 黄琳 krenyATdalouis.com 创作于：2003/12最后...[阅读全文] - Google优化疑问
2007-03-22 15:13:32
1、 为什么在Google上搜不到我的网页 ? 如果你的网站没有违反Google的Spam规则，并且网址也已加到了其他各大搜索引擎，或至少与其他网站交换了链接，并且也向Google提交了...[阅读全文] - 搜索引擎优化知识完全手册
2007-03-22 15:13:08
...[阅读全文] - Title的写法
2007-03-22 15:13:34
A： title标签对于提高你网站的排名起到非常重要的作用。尽管如此，有很多人对于怎样去构造一个合适的title还不是很清楚。以下是我对title的一点看法，欢迎大家提出建议、...[阅读全文] - SEO作弊边缘，关键字
2007-03-22 15:13:07
我们在SEO过程中，会要用到一些非常规的网站内容与代码构成网页，区别优化与作弊的唯一标准，就是搜索引擎是否认同你这种网页构成方式，这里我们主要讨论大家经常用到的关...[阅读全文] - 网站排名其他重要因素
2007-03-22 15:13:35
Blogger（Weblog的简称）们也许最深刻地理解了“链接就是一切”这句话的含义，由于Blog的内容之间有大量的相互链接，因此最经常被引用的 Blog页面在搜索引擎中的排名往往比...[阅读全文] - 个人网站误区之同质化严重
2007-03-22 15:13:06
前些日子笔者发表过一篇文章《【警惕】个人网站勿陷赚钱误区》，是看到了国内很多个人网站不合时宜的把做站的目标锁定在赚钱上，急于求成，而忘记了只有真真正正做好对用户...[阅读全文] - META标签
2007-03-22 15:13:37
A：META标签在主要的搜索引擎中依然起作用吗？ B：我依然主张在网页中放置META标签，如果你不是滥用的话，对于你的网站排名。百利而无一害。 C：把它们正当的处理，这样做...[阅读全文]
资讯中心精华推荐
- [博客运营] 各种漂亮的鼠标URL代码
- [搜索优化] 没有放之四海皆准的SEO技巧
- [搜索优化] 搜索引擎关键词排名优化知识完全手册
- [搜索优化] Title的写法
- [搜索优化] 百度封什么样的网站?兼谈初级SEO办法
- [搜索优化] Google排名的三大关键
- [JavaScript] ie里window的method列表
- [JavaScript] 让弹出窗口变得“体贴”一些
- [JavaScript] 点一下，首页地址添加到收藏夹
- [系统DIY] Windows操作系统十三例安装技巧
- [系统DIY] 实现Win98、WinNt、Win2000互相访问Fat32 N
- [系统DIY] Windows 罕见技巧全集大放送
- [系统DIY] 重装Windows后LILO被覆盖的解决办法
