A. 怎样写robots.txt,才能不让爬虫抓取某个文件夹中的其中一个文件
robots.txt这只是网页开发者写的一个robots协议,我们爬虫可以遵守也可以不准守说白了只是个声明罢了你要真要写就User-agent: *Disallow: 一般是接口,或者网页文本的匹配格式
B. 怎么跳过robots.txt文件
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它[1]。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。网络官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令，也不是防火墙，如同守门人无法阻止窃贼等恶意闯入者。功能 Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。文件写法 User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符 Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录 Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录 Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录 Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。 Disallow: /** 禁止访问网站中所有包含问号 () 的网址 Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片 Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。 Allow: /cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录 Allow: /tmp 这里定义是允许爬寻tmp的整个目录 Allow: .htm$ 仅允许访问以".htm"为后缀的URL。 Allow: .gif$ 允许抓取网页和gif格式图片 Sitemap: 网站地图 告诉爬虫这个页面是网站地图文件用法例1. 禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 实例分析：淘宝网的 Robots.txt文件 User-agent: Baispider Disallow: / User-agent: spider Disallow: / 很显然淘宝不允许网络的机器人访问其网站下其所有的目录。例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file) User-agent: * Allow:/ 例3. 禁止某个搜索引擎的访问 User-agent: BadBot Disallow: / 例4. 允许某个搜索引擎的访问 User-agent: Baispider allow:/ 例5.一个简单例子在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。 User-agent:后的*具有特殊的含义，代表“any robot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。 User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ Robot特殊参数：允许 Googlebot：如果您要拦截除Googlebot以外的所有漫游器不能访问您的网页，可以使用下列语法： User-agent: Disallow: / User-agent: Googlebot Disallow: Googlebot 跟随指向它自己的行，而不是指向所有漫游器的行。 “Allow”扩展名： Googlebot 可识别称为“Allow”的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名，因此请使用您感兴趣的其他搜索引擎进行查找。“Allow”行的作用原理完全与“Disallow”行一样。只需列出您要允许的目录或页面即可。您也可以同时使用“Disallow”和“Allow”。例如，要拦截子目录中某个页面之外的其他所有页面，可以使用下列条目： User-agent: Googlebot Allow: /folder1/myfile.html Disallow: /folder1/ 这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。如果您要拦截 Googlebot 并允许 Google 的另一个漫游器（如 Googlebot-Mobile），可使用”Allow”规则允许该漫游器的访问。例如： User-agent: Googlebot Disallow: / User-agent: Googlebot-Mobile Allow: 使用 * 号匹配字符序列：您可使用星号 (*) 来匹配字符序列。例如，要拦截对所有以 private 开头的子目录的访问，可使用下列条目：User-Agent: Googlebot Disallow: /private*/ 要拦截对所有包含问号 () 的网址的访问，可使用下列条目： User-agent: * Disallow: /** 使用 $ 匹配网址的结束字符您可使用 $字符指定与网址的结束字符进行匹配。例如，要拦截以 .asp 结尾的网址，可使用下列条目：User-agent: Googlebot Disallow: /*.asp$ 您可将此模式匹配与 Allow 指令配合使用。例如，如果 表示一个会话 ID，您可排除所有包含该 ID 的网址，确保 Googlebot 不会抓取重复的网页。但是，以 结尾的网址可能是您要包含的网页版本。在此情况下，可对 robots.txt 文件进行如下设置： User-agent: * Allow: /*$ Disallow: /* Disallow: / * 一行将拦截包含 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 ()，而后又是任意字符串的网址）。 Allow: /*$ 一行将允许包含任何以 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 ()，问号之后没有任何字符的网址）。尽管robots.txt已经存在很多年了，但是各大搜索引擎对它的解读都有细微差别。Google与网络都分别在自己的站长工具中提供了robots工具。如果您编写了robots.txt文件，建议您在这两个工具中都进行测试，因为这两者的解析实现确实有细微差别[1]。其它属性 1. Robot-version: 用来指定robot协议的版本号例子: Robot-version: Version 2.0 2.Crawl-delay：雅虎YST一个特定的扩展名，可以通过它对我们的抓取程序设定一个较低的抓取请求频率。您可以加入Crawl-delay:xx指示，其中，“XX”是指在crawler程序两次进入站点时，以秒为单位的最低延时。 3. Visit-time:只有在visit-time指定的时间段里,robot才可以访问指定的URL,否则不可访问. 例子: Visit-time: 0100-1300 #允许在凌晨1:00到13:00访问 4. Request-rate: 用来限制URL的读取频率例子: Request-rate: 40/1m 0100 – 0759 在1:00到07:59之间,以每分钟40次的频率进行访问 Request-rate: 12/1m 0800 – 1300 在8:00到13:00之间,以每分钟12次的频率进行访问标签 Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots Meta标签也是放在页面中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。 Robots Meta标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiSpider”。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。 index指令告诉搜索机器人抓取该页面； follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去； Robots Meta标签的缺省值是index和follow，只有inktomi除外，对于它，缺省值是index、nofollow。注意事项上述的robots.txt和Robots Meta标签限制搜索引擎机器人（ROBOTS）抓取站点内容的办法只是一种规则，需要搜索引擎机器人的配合才行，并不是每个ROBOTS都遵守的。目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于RobotsMETA标签，支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。
C. 由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述进不了淘宝怎么解除
robots.txt文件，就是可以设置你网站的哪些内容允许蜘蛛抓取，哪些不允许蜘蛛抓取的一个文件。今日，据网络站长平台最新消息，用户在网络搜索网址或相关关键字时，网页搜索结果会出现robots提示。
简单地说，如果网站设置了robots文件，并且是不允许蜘蛛抓取的，而这个网站对用户有是有需要的，网络就是根据你输入的网址或相关关键字展示这个网站，不过，这和其它网站不一样，搜索的结果只出现title中的部分关键字，并且不会出现这个网站的元标签描述部分。
对应的元标签描述部分将由最新上线的robots提示代替，比如，用户在搜索淘宝网时，出现“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述 – 了解详情”字样。
(3)防爬虫文件robotstxt扩展阅读：
撰写robots.txt的注意事项：
一、合理的使用robots.txt文件，可以有效的避免用户从搜索引擎进入网站，不经过登录就能进行各种操作，因为有些网站需求必须登录才能操作，这样也方便管理用户。
二、有时候可以使用robots.txt防止搜索引擎抓取动态页面，而只允许它抓取伪静态页面。因为现在很多时候，由于网站的需求的网页是伪静态。
三、需要将搜索引擎爬虫远离网站的程序文件和后台管理文件，这样可以保证整个网站的正常运行。
四、为了节省服务器的资源，可以将一些想保护的文件分类放入特定的文件夹，然后使用Disallow：/语法进行有效的阻止，包括数据库文件、模版文件、CSS样式文件、导航图片和背景图片等等。
五、还可以设置允许那个或者那几个搜索引擎蜘蛛访问抓取网站的内容，避免一些垃圾的搜索引擎对网站内容无限制抓取，而导致网站服务器性能降低甚至瘫痪的现象发生。
六、对于一些初学者来说，robots.txt的语法不怎么熟悉，写的不正确或者不规范，可以直接在网站的根目录下上传一个空的文本文档 ，把文档的名称写为小写的robots.txt。
D. 如何防止网站被爬虫爬取的几种办法
相较于爬虫技术，反爬虫实际上更复杂。目前许多互联网企业都会花大力气进行“反爬虫”，网络爬虫不但会占据过多的网站流量，导致有真正需求的用户没法进入网站，另外也有可能会导致网站关键数据的外泄等现象。网络爬虫遍布互联网的各个角落，因此网络爬虫有好处也有坏处，接下来介绍一下和网络爬虫一同诞生的反爬虫技术，如何才能防止别人爬取自己的网站？1、基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。2、基于iptables和shell脚本：可以对nginx的access.log进行策略定义，例如定义在1分钟内并发连接数超过30个ip为非法，如ip不在白名单内，则加入iptables策略封掉，当然这种的缺点是会有“误伤”，策略细粒度越小就会有更多的“误伤”，细粒度大就会使效果变差，另外还有类似的第三方工具fail2ban，利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址（例如网易、有道）的爬取行为拒绝也很难准确做到，因为你无法准确知道这些特定的爬虫ip地址。注意：建议不要用封ip条目的方式,iptables列表长度是65535时就会封满，服务器也就会死机。3.使用robots.txt文件：例如阻止所有的爬虫爬取，但是这种效果不是很明显。User-agent: *Disallow: /4.使用nginx的自带功能：通过对httpuseragent阻塞来实现，包括GET/POST方式的请求，以nginx为例，具体步骤如下：编辑nginx.conf拒绝以wget方式的httpuseragent，增加如下内容## Block http user agent – wget ##if ($http_user_agent ~* (Wget) ) {return 403;}## Block Software download user agents ##if ($http_user_agent ~* LWP::Simple|BBBike|wget) {return 403; 平滑启动# /usr/local/nginx/sbin/nginx -s reload如何拒绝多种httpuseragent，内容如下：if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {return 403;}大小写敏感匹配### 大小写敏感http user agent拒绝###if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {return 403;}### 大小写不敏感http user agent拒绝###if ($http_user_agent ~* (foo|bar) ) {return 403;}注意语法：~*表示是大小写不敏感，~表示是大小写敏感 }以上就是预防网站信息被别人爬取的一些方法，大量的爬取行为会对web服务器的性能有影响，所以一定要注重反爬虫措施。
E. ROBOTS.TXT文件来屏蔽所有搜索引擎抓取dedecms默认后台的登录方式
robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它 。robots.txt是一个协议，而不是一个命令。Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
F. 什么是robots.txt文件
应该是robots.txt文件吧, robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt 是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人robots（有的叫搜索蜘蛛或者爬虫）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索引擎爬虫就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索引擎爬虫就沿着链接抓取。robots.txt 文件限制抓取网络的搜索引擎爬虫对您的网站的访问。这些搜索引擎爬虫是自动的，它们在访问任意网站的网页之前，都会查看是否存在阻止它们访问特定网页的 robots.txt 文件。（虽然某些搜索引擎爬虫可能会以不同的方式解释 robots.txt 文件中的指令，但所有正规的搜索引擎爬虫都会遵循这些指令。然而，robots.txt 不是强制执行的，一些垃圾信息发送者和其他麻烦制造者可能会忽略它。因此，我们建议对机密信息采用密码保护。） 只有当您的网站中包含您不想让搜索引擎编入索引的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎将网站上的所有内容编入索引，则不需要 robots.txt 文件（甚至连空的 robots.txt 文件也不需要）。 为了能使用 robots.txt 文件，您必须要有对您网站的根目录的访问权限（如果您不能确定是否有该权限，请与您的网络托管商核实）。如果您没有对网站的根目录的访问权限，可以使用robots元标记来限制访问。
G. python robots.txt 是什么文件
之前，我在网络爬虫科普的时候，介绍过robots.txt 文件，如果你还了解这个文件的功能，请到这个博客学习。有一些站点它在 robots.txt 文件中设定了禁止流量该站点的代理用户。既然目标站点有这样的规矩，我们就要遵循它。我们需要做的事情就是：先解析 robots.txt 文件。然后在在对需要下载的网页进行判断是否可以爬取。我们可以使用 Python 自带的 robotparser 模块，轻松的完成这项工作。
H. 登录网站出现由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面,怎么办
原因：
因为网站的robots.txt文件屏蔽了网络，所以网络无法抓取该网站
方法：
1、修改robots文件，取消该页面的屏蔽，robots的标准写法网络里有详细介绍：网页链接
2、在网络站长平台（已更名为网络资源平台）更新网站robots，过一段时间，您的这个网站就会被正常抓取收录了。
影响:
Robots协议是网站出于安全和隐私考虑，防止搜索引擎抓取敏感信息而设置的。搜索引擎的原理是通过一种爬虫spider程序，自动搜集互联网上的网页并获取相关信息。
而鉴于网络安全与隐私的考虑，每个网站都会设置自己的Robots协议，来明示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的，哪些则不允许。搜索引擎则会按照Robots协议给予的权限进行抓取。
Robots协议代表了一种契约精神，互联网企业只有遵守这一规则，才能保证网站及用户的隐私数据不被侵犯。违背Robots协议将带来巨大安全隐忧
此前，曾经发生过这样一个真实的案例：国内某公司员工郭某给别人发了封求职的电子邮件，该Email存储在某邮件服务公司的服务器上。因为该网站没有设置robots协议，导致该Email被搜索引擎抓取并被网民搜索到，为郭某的工作生活带来极大困扰。
如今，在中国国内互联网行业，正规的大型企业也都将Robots协议当做一项行业标准，国内使用Robots协议最典型的案例，就是淘宝网拒绝网络搜索、京东拒绝一淘搜索。不过，绝大多数中小网站都需要依靠搜索引擎来增加流量，因此通常并不排斥搜索引擎，也很少使用Robots协议。
北京市汉卓律师事务所首席律师赵虎表示，Robots协议是维护互联网世界隐私安全的重要规则。如果这种规则被破坏，对整个行业就是灭顶之灾。
以上内容参考网络-robots协议
I. 由于该网站的robots.txt文件存在限制指令，怎么办
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”，网站通过Robots协议告专诉搜索属引擎哪些页面可以抓取，哪些页面不能抓取。如果网站的运营者通过该文件协议做出了限制，那么在搜索界面就会提示由于该网站的robots.txt文件存在限制指令。
J. robots 文件是什么
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排回除标准”（Robots Exclusion Protocol），网答站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它 。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。网络官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
