① python爬虫 scrapy获取不到自定义上层库文件
使用相对引用可以的
即tutorial前加两个点 ..tutorial
详情见下图
② python爬虫爬到一定的数据后出现404 not found是什么原因
这是http 定义的错误，找不到URL指定的页面。
③ python 爬虫 requests.get无法获取文本
打印一下response，看看是否已经获取到网页源码。很多网页是Ajax异步加载的，手动在网页中查看到的源码不一定能用requests直接获取到。
④ Heritrix测试爬虫，为什么没有mirror文件夹呢，在哪儿看下载下来的图片之类的文件jobs里面的文件是
将ARCWriterProcessor这项，修改成MirrorWriterProcessor才会保存为镜像文件的，选择完之后点击Add，这时在看这个选项，发现多了一个mirror write processor,把没用掉的remove掉即可，
⑤ 请问爬虫时遇到网页的Request URL是404要如何解决
404：文件资源找不到，可能是他的服务器上没有这个网页（可能之前有后来某种原因被删除了），可能你爬虫抓取链接（URL）的时候没抓对怎么办？？？：直接跳过去就行了，人家不让你抓或者都没有这个资源，你再怎么爬取都没意思
⑥ 请大神帮我看看为什么我这个简单的小爬虫得不到数据急急急急急！！！
关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 我们观察scrapy抓包时的输出就能发现，在请求我们设定的url之前，它会先向服务器根目录请求一个txt文件：这个文件中规定了本站点允许的爬虫机器爬取的范围（比如你不想让网络爬取你的页面，就可以通过robot来限制），因为默认scrapy遵守robot协议，所以会先请求这个文件查看自己的权限我们在setting改变ROBOTSTXT_OBEY为False，让scrapy不要遵守robot协议，之后就能正常爬取了
⑦ python 爬虫为什么我更换不同的请求头（User-Agent） 就找不到我想要的内容了
python爬虫爬取网站内容时，如果什么也没带，即不带报头headers，往往会被网站管理维护人员认定为机器爬虫。因为，此时python默认的user-agent如Python-urllib/2.1一样。因此，网站管理人员会根据请求的user-agent判定你是不是机器爬虫。所以，此时往往就需要伪装user-agent，模拟成真实的浏览器去取出内容。
⑧ python爬虫爬取不出信息
Python爬虫程序本身没有问题，但是却爬取不了数据主要原因如下：1.对方有反爬程序几乎所网站为了防止一些恶意抓取，会设置反爬程序，你会发现明明很多数据显示在浏览器上，但是却抓取不出来。2.伪装方式没有绕过目标网站反爬网站都有反爬虫机制，防止爬取数据，爬虫想要爬取数据，就需要隐藏自身的身份，伪装成用户的身份进行访问，如果没有伪装好，被检测到爬虫，也是被会限制的。比如请求头没有设置好，Cookie问题等等。3.IP被限制爬虫除了IP所有数据都可以伪装，当你的IP访问次数过多之后，就会被限制住，再也无法访问了。这个时候就需要带入ip代理池了。
⑨ 爬虫结束后打开文件里面没有数据
df.to_csv(…)前打印输出df有多少条数据，比如print(df.shape)，有可能是爬虫模块没有爬取到数据
