大家好，今天小编关注到一个比较有意思的话题，就是关于python爬虫学习框架的问题，于是小编就整理了2个相关介绍Python爬虫学习框架的解答，让我们一起看看吧。
用Python写爬虫，用什么方式、框架比较好？
scrapy
适合大型、多站点爬取，支持异步，通过配置***池，可以非常快速的爬取大量数据。同时学习成本相对也高，文档很完善，上手不难，但是大型项目里的各种规则、正则表达式啥的，就需要额外学习了。
requests+bs
适合个人***，针对单一站点，量不是很大，同时对效率要求不高的小型项目。如果有些it背景，requests库基本一看就懂，bs库主要是记住那些规则即可，两个库的文档都很完善，中文翻译也有。具体的可以咨询优就业。
Python中好用的爬虫框架
一般比较小型的爬虫需求，可以直接使用requests库 + bs4（beautifulsoup）就可以解决了，再麻烦点的可以使用selenium，selenium可以很好的解决js的异步加载问题，相对比较大型的需求才会使用到，主要是便于管理以及扩展等。
1.Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。
项目地址：***s://scrapy.org/
2.PySpider
pyspider 是一个用python实现的强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。
项目地址：***s://github***/binux/pyspider
3.Crawley
Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
项目地址：***://project.crawley-cloud***/
我自己用scrapy比较多一些。当然小一点的项目直接就是requests。数据库的话看需求的，小一点的项目直接用sqlite，mysql和mongodb也是可以的
想要用python做爬虫，是使用scrapy框架还是用requests、bs4等库？
看做什么事情了，如果你只是简单的实现几个请求响应，从响应里取少量数据，requests、beautiful soup也可以用的，毕竟简单，写几行代码出数据就万事了，但是如果你要做一个工程，涉及复杂逻辑，涉及数据处理、保存等一系列工作的，用scrapy毫无疑问，它可以帮你省去很多不必要的麻烦，可以让你高效、便捷的完成相关工作任务。
首先说下区别 scrapy框架是一个完整的爬虫框架，内部使用twisted来实现大量***请求的异步，并支持xpath数据解析。虽然功能强大，但是学习曲线略微偏高。requests库是简单的***请求库，上手很快，但是要配合bs4进行数据解析。而requests要实现异步请求，还要配合gevent库或者是python的协程。这些都需要自己组合，拼装。 总的来说，简单的爬虫用requests+bs4可以玩。如果是大量爬虫，要精细化设计的话，还是用scrapy较好。
到此，以上就是小编对于python爬虫学习框架的问题就介绍到这了，希望介绍关于python爬虫学习框架的2点解答对大家有用。
