网络爬虫开源框架（python网络爬虫框架）

目前开源爬虫下载框架是百花齐放，各个编程语言都有，以下主要介绍其中重要的几个：

1)python:scrapy，pyspider，gcrawler

2)Java:webmagic，WebCollector，Crawler4j，heritrix，Nutch

3)Golang:Pholcus

4).net:abot

5)C++:larbin

其中部分开源框架的适用场景为：

a)scrapy(目前可以支持py3)，heritrix比较适合整站直接爬取

b)WebCollector比较适合做有精准抽取抽取业务的爬虫

c)Nutch是针对搜索引擎优化