1. App中的数据可以用网络爬虫抓取么
可以，你可以用抓包，然后通过代理ip的方式，让你的手机和电脑处在一个网络，然后通过发送请求的方式去获取
2. 4种Python爬虫（4. 手机APP，如，乐刻运动）
目录: 1. PC网页爬虫 2. H5网页爬虫 3. 微信小程序爬虫 4. 手机APP爬虫
爬取乐刻运动手机APP的课表数据。Android和iOS都可以。
要制定具体方案，还是要从抓包分析开始。 如果你在前一章《三、微信小程序爬虫》中已经搭建好了Charles+iPhone的抓包环境，可以直接启动“乐刻APP”再来抓一波。
LefitAppium.py
LefitMitmAddon.py
接下来就是见证奇迹的时刻了！ 可以看到左侧的手机已经自动跑起来了！ 所有流过的数据都尽在掌握！
这个方案的适应能力非常强，不怕各种反爬虫机制。 但是如果要去爬取淘宝、携程等海量数据时，肯定也是力不从心。
3. 如何进行手机APP的数据爬取
Python爬虫手机的步骤：
1. 下载fiddler抓包工具
2. 设置fiddler
这里有两点需要说明一下。
设置允许抓取HTTPS信息包
操作很简单，打开下载好的fiddler，找到 Tools -> Options，然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。
设置允许外部设备发送HTTP/HTTPS到fiddler
相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。
好了，需要的fiddler设置就配置完成了。
3. 设置手机端
设置手机端之前，我们需要记住一点：电脑和手机需要在同一个网络下进行操作。
可以使用wifi或者手机热点等来完成。
假如你已经让电脑和手机处于同一个网络下了，这时候我们需要知道此网络的ip地址，可以在命令行输入ipconfig简单的获得，如图。
好了，下面我们开始手机端的设置。
手机APP的抓取操作对于Android和Apple系统都可用，博主使用的苹果系统，在此以苹果系统为例。
进入到手机wifi的设置界面，选择当前连接网络的更多信息，在苹果中是一个叹号。然后在最下面你会看到HTTP代理的选项，点击进入。
进入后，填写上面记住的ip地址和端口号，确定保存。
4. 下载fiddler安全证书
在手机上打开浏览器输入一个上面ip地址和端口号组成的url：http://192.168.43.38:8888，然后点击FiddlerRoot certificate下载fiddler证书。
以上就简单完成了所有的操作，最后我们测试一下是否好用。
5. 手机端测试
就以知乎APP为例，在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。
结果没有问题，抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。
4. 4种Python爬虫（3. 微信小程序，如，超级猩猩）
目录: 1. PC网页爬虫 2. H5网页爬虫 3. 微信小程序爬虫 4. 手机APP爬虫 爬取超级猩猩的课表，该平台仅提供了微信小程序这一个途径，前面两种针对html网页的爬取方式都不再适用。 采用抓包分析是我们制定方案的第一步。 我用的Mac电脑，fiddler只有一个简化版，所以另找了Charles这个类似的软件。启动Charles的代理，在手机WIFI中设置好对应的代理就可以开抓了。但是，抓到的https包的内容都是乱码，咋办？ Charles中提供了ssl证书，在手机端安装证书即可。推荐使用iPhone，直接安装描述文件即可。Android手机必须使用系统版本在7.0以下的才行，7.0以上还需要反编译什么的，太麻烦了。 很容易的定位到了超级猩猩微信小程序载入课表的后台接口。拿这个URL在浏览器里访问试试，直接返回了json结果！超级猩猩很友好！ 提取对应的URL，放到浏览器中验证，也可以支持返回json包，剩下就是分析一下这个json的数据结构，按照需要的方式导出了。 直接通过接口的爬取效率非常高，几秒钟就拉取了全国各个门店的排课，相当舒心。（下图的录屏没有进行加速） 最后一个挑战就是对只有Android/iOS的APP端应用数据的爬取。请看下一章 请点击： <下一页>
5. Python中怎么用爬虫爬
Python爬虫可以爬取的东西有很多，Python爬虫怎么学？简单的分析下：如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：知乎：爬取优质答案，为你筛选出各话题下最优质的内容。淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。安居客、链家：抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。拉勾网、智联：爬取各类职位信息，分析各行业人才需求情况及薪资水平。雪球网：抓取雪球高回报用户的行为，对股票市场进行分析和预测。爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTMLCSS，结果入了前端的坑，瘁……但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议你从一开始就要有一个具体的目标。在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。1.学习 Python 包并实现基本的爬虫过程2.了解非结构化数据的存储3.学习scrapy，搭建工程化爬虫4.学习数据库知识，应对大规模数据存储与提取5.掌握各种技巧，应对特殊网站的反爬措施6.分布式爬虫，实现大规模并发采集，提升效率
6. 爬虫怎么用
网络爬虫软件怎么使用 5分 搜索引擎使用网络爬虫寻找网络内容，网络上的HTML文档使用超链接连接了起来，就像功成了一张网，网络爬虫也叫网络蜘蛛，顺着这张网爬行，每到一个网页就用抓取程序将这个网页纯塌抓下来，将内容抽取出来，同时抽取超链接，作为进一步爬行的线索。网络爬虫总是要从某个起点开始爬，这个起点叫做种子，你可以告诉它，也可以到一些网址列表网站上获取 网页抓取/数据抽取/信息提取软件工具包MetaSeeker是一套完整的解决方案，里面有定题网络爬虫，也叫聚焦网络爬虫，这种爬虫抓取下来一个页面后并不抽取所有的超链接，而是只找主题相关的链接，笼统的说就是爬行的范围是受控的。网络爬虫实现代码主要集中在MetaSeeker工具包中的DataScraper工具。可以从 gooseeker网站下载下来看 请详细解释什么事网络爬虫，有什么作用 说通俗一点就是一段程序，这段程序可以在互联网上自动查询更新的网站 网站刚建好，没有信息，听说有个什么爬虫，可以自动抓取，怎么用？ 你说的是自动采集的功能，这个需要插件支持自动采集并且你的空间也要支持自动采集…如果你的空间不许你使用采集功能是会把你的网站删掉的.因为采集占用的服务器资源很高，几乎没有空间支持采集功能…你告诉我你使用的是什么建站系统，我可以给你参考参考…如果你需要采集功能可以采用狂人采集器，和很多建站程序都有接口的！另外搞采集一般都是搞垃圾站的…呵呵…. 网络爬虫是什么，有很大的作用吗? 【网络爬虫】又被称为网页蜘蛛，聚焦爬虫，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁做碧圆、自动索引、模拟程序或者蠕虫。 网络爬虫是一个自动提取网页的程序，它为搜索引擎从慧悔万维网上下载网页，是搜索引擎的重要组成搐传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。 如何利用python写爬虫程序 这里有比较详细的介绍 blog.csdn/column/details/why-bug java 网络爬虫怎么实现 代码如下:package webspider;import java.util.HashSet;import java.util.PriorityQueue;import java.util.Set;import java.util.Queue;public class LinkQueue { 已访问的 url *** private static Set visitedUrl = new HashSet(); 待访问的 url *** private static Queue unVisitedUrl = new PriorityQueue(); 获得URL队列 public static Queue getUnVisitedUrl() { return unVisitedUrl; } 添加到访问过的URL队列中 public static void addVisitedUrl(String url) { visitedUrl.add(url); } 移除访问过的URL public static void removeVisitedUrl(String url) { visitedUrl.remove(url); } 未访问的URL出队列 public static Object unVisitedUrlDeQueue() { return unVisitedUrl.poll(); } 保证每个 url 只被访问一次 public static void addUnvisitedUrl(String url) { if (url != null && !url.trim().equals("") && !visitedUrl.contains(url) && !unVisitedUrl.contains(url)) unVisitedUrl.add(url); } 获得已经访问的URL数目 public static int getVisitedUrlNum() { return visitedUrl.size(); } 判断未访问的URL队列中是否为空 public static boolean unVisitedUrlsEmpty() { return unVisitedUrl.isEmpty(); }} 如何用Java写一个爬虫 import java.io.File;import java.URL;import java.URLConnection;import java.nio.file.Files;import java.nio.file.Paths;import java.util.Scanner;import java.util.UUID;import java.util.regex.Matcher;import java.util.regex.Pattern; public class DownMM { public static void main(String[] args) throws Exception { out为输出的路径,注意要以\\结尾 String out = "D:\\JSP\\pic\\java\\"; try{ File f = new File(out); if(! f.exists()) { f.mkdirs(); } }catch(Exception e){ System.out.println("no"); } String url = "mzitu/share/ment-page-"; Pattern reg = Patternpile("> 网络爬虫软件怎么使用？急！！！！！！！！！！ 每个人写的程序用法都不一样，你自己再看下文档吧，里面应该有格式！别这么浪费分！ 为什么写爬虫都喜欢用python 有更加成熟的一种爬虫脚本语言，而非框架。是通用的爬虫软件ForeSpider，内部自带了一套爬虫脚本语言。 从一个专业C++程序猿的角度说，网上流传的各种Java爬虫，Python爬虫，Java需要运行于C++开发的虚拟机上，Python只是脚本语言，采集效率和性能如何能与强大的C++相提并论？C++直接控制系统的底层，对内存空间的控制和节省都是其他语言无法竞争的。首先，forespider的开发语言是C++，而且C++几乎没有现成的框架可以用，而火车采集器是用的C#。先从业界水平和良心来说，这个软件可以做到从底层到上层都是他们的技术人员自己写的，而非运用现成的框架结构。 其次，因为抓取金融行业的数据，数据量大，动态性强，而采集对象一般反爬虫策略又很严格。所以，专门建立团队开发不现实。请外包人员开发太贵。买现成的软件，要考虑性价比。因为很多数据需要登录，需要验证码，是JS生成的数据，是ajax，是协议，有加密的key，有层层的验证机制等等，分析市面上所有找得到的爬虫软件，没有找到其他一家可以完全把我们列表上的网站采集下来的软件。forespider功能强大，这是很重要的一点。 第三，forespider在台式机上运行一天可以采400万条数据，在服务器上一天可以采8000万条数据。这样一来，数据更新速度明显比以前快了几十倍。从前抓一个7500万的网站需要好几个月，等抓完数据早都变化的不成样子了，这是很多爬虫的痛处。但是现在的更新速度只有两三天。forespider的性能强大，这也是非常好的一点。 第四，其实完全可视化的采集也不需要计算机专业的。大致学习了之后就可以上手采。而且forespider关于数据的管理做的很好。一是软件可以集成数据库，在采集之前就可以建表。二是数据可以自动排重，对于金融这样数据更新要求很高的行业，就特别合适。 第五，是关于免费的问题，我觉得免费的东西同时还能兼顾好用，只能是中国的盗版软件和手机APP。大概是大家都习惯了在软件上不花钱，所以都想找到免费的。forespider有免费版的，功能倒是不限制，但是采集数目每天有限制。 最好用的免费爬虫工具是什么? 如果说好用的爬虫软件，那确实很多，不过首推造数。 造数云爬虫，界面简洁，操作超级简便免下载。 现在我们有商务定制需求也会找造数的客服解决。效率很高，不错。
7. 如何用爬虫爬取知乎专栏信息
访问上面的URI，浏览器地址栏里直接粘贴也行，得到的返回JSON数据就包含了专栏关注数。不管AngularJS还是其它架构，都是服务端的东西，再天花乱坠的服务端架构，到了客户端终究逃不脱HTTP协议，至少目前来说还是如此。顺便分享一些关于爬知乎的东西。目前来说还没有官方API的支持，可能最有用的也就是用户的“个性网址”（好别扭，下称UID）了，譬如黄继新老师的UID: jixin，不过可以由用户本人修改，但每个用户一定唯一。以{{%UID}}代替相应的UID。1. 获得用户专栏入口：URI: http://www.知乎.com/people/{{%UID}}/posts GET/HTTP 1.1XPATH: //div[@id='zh-profile-list-container']解析上述内容，可获得该用户所有的专栏入口地址。2. 获得专栏文章信息：URI: http://zhuanlan.知乎.com/api/columns/{{%UID}}/posts?limit={{%LIMIT}}&offset={{%OFFSET}} GET/HTTP 1.1{{%LIMIT}}: 表示该次GET请求获取数据项的数量，即专栏文章信息数量。我没有具体测试过最大值为多少，但是可以设置为比默认值大。默认值为10。{{%OFFSET}}: 表示该次GET请求获取数据项的起始偏移。解析上述内容，可以获得每篇专栏文章的信息，比如标题、题图、专栏文章摘要、发布时间、赞同数等。该请求返回JSON数据。注意：解析该信息时，可以获得该篇专栏文章的链接信息。3. 获得专栏文章：URI: http://zhuanlan.知乎.com/api/columns/{{%UID}}/posts/{{%SLUG}} GET/HTTP 1.1{{%SLUG}}: 即为2中获得的文章链接信息，目前为8位数字。解析上述内容，可以获得专栏文章的内容，以及一些文章的相关信息。该请求返回JSON数据。上述这些应该足够满足题主的要求了。最重要的还是要善用Chrome调试工具，此乃神器！* * * * * * * * * *以下是一些零散的更新，用于记录知乎爬虫的想法。当然，相关实现还是要尊重ROBOTS协议，可以通过http://www.知乎.com/robots.txt查看相关参数。UID是对应该用户所有信息的入口。虽然用户信息有修改间隔限制（通常为若干月不等），但考虑到即使是修改用户名的操作也会使得UID变更，进而令先前的存储失效。当然这也是可以突破的：用户hash。这个hash值为32位字符串，对每个账号是唯一且不变的。通过UID获得hash：URI: http://www.知乎.com/people/%{{UID}} GET/HTTP 1.1XPATH: //body/div[@class='zg-wrap zu-main']//div[@class='zm-profile-header-op-btns clearfix']/button/@data-id解析上述内容，可获得UID对应的hash值。（没错，这个值就是存在“关注/取消关注”这个按钮里的。）这样即可唯一标识用户。目前还没有找到方法通过hash_id获得UID，但是有间接方法可以参考：通过关注列表定期检查用户信息是否变更，当然关注/取消关注操作也可以自动化：关注操作URI: http://www.知乎.com/node/MemberFollowBaseV2 POST/HTTP 1.1Form Datamethod: follow_memberparams: {"hash_id": ""}_xsrf: <xsrf>取消关注操作URI: http://www.知乎.com/node/MemberFollowBaseV2 POST/HTTP 1.1Form Datamethod: unfollow_memberparams: {"hash_id": ""}_xsrf: <xsrf>知乎爬虫需要一份UID列表才能正常运转，如何获得这份列表是一个需要考虑的问题。目前一个可行的想法是选定若干大V用户，批量爬取其被关注列表。举例来说，张公子目前被关注数达到58W+，通过：URI: http://www.知乎.com/node/ProfileFollowersListV2 POST/HTTP 1.1Form Datamethod: nextparams: {"offset": {{%OFFSET}}, "order_by": "hash_id", "hash_id": "{{%HASHID}}"}_xsrf: <xsrf>每次可以获得20条关注者的用户信息。这些信息中包含hash_id、用户名、UID、关注/被关注数、、提问数、回答数等。
