00. 这里整理了最全的爬虫框架（Java + Python）

爬虫框架综述：Java与Python的最佳选择

随着数据的爆炸性增长，网络爬虫作为一种获取和提取数据的重要工具，越来越受到人们的关注。爬虫框架可以帮助开发者快速构建、维护和管理爬虫程序。本文将为大家介绍几个最常用的爬虫框架，分别是Java和Python中的顶尖选择。

一、Java爬虫框架

1. WebMagic

WebMagic是一个简单灵活的Java爬虫框架，具有良好的扩展性。它支持多线程爬虫，并能轻松处理异步请求。以下是一个简单的使用示例：

import us.codecraft.webmagic.*;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.scheduler.RedisScheduler;

public class MyPageProcessor implements PageProcessor {
    public void process(Page page) {
        // 抓取网页标题
        page.putField("title", page.getHtml().xpath("//title/text()").toString());
        // 抓取指定的链接
        page.addTargetRequests(page.getHtml().links().all());
    }

    public Site getSite() {
        return Site.me().setRetryTimes(3).setSleepTime(100);
    }

    public static void main(String[] args) {
        Spider.create(new MyPageProcessor())
              .setScheduler(new RedisScheduler("localhost")) // 使用Redis作为调度器
              .addUrl("http://example.com") // 初始URL
              .thread(5) // 设置线程数
              .run();
    }
}

2. Crawler4j

Crawler4j是一个开源的Java网页爬虫框架，侧重于多线程爬虫。它的使用也很简单，能够通过配置文件控制爬虫行为。以下是示例代码：

import edu.uci.ics.crawler4j.crawler.CrawlConfig;
import edu.uci.ics.crawler4j.crawler.CrawlController;
import edu.uci.ics.crawler4j.crawler.Page;
import edu.uci.ics.crawler4j.crawler.WebCrawler;

public class MyCrawler extends WebCrawler {
    @Override
    public void visit(Page page) {
        // 在这里处理爬取的内容
        System.out.println(page.getContentData());
    }

    public static void main(String[] args) throws Exception {
        String crawlStorageFolder = "/data/crawl/root";
        CrawlConfig config = new CrawlConfig();
        config.setCrawlStorageFolder(crawlStorageFolder);

        CrawlController controller = new CrawlController(config);
        controller.addSeed("http://example.com");
        controller.start(MyCrawler.class, 1);
    }
}

二、Python爬虫框架

1. Scrapy

Scrapy是一个功能强大的Python爬虫框架，支持多种下载中间件和扩展。其使用示例代码如下：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        title = response.xpath('//title/text()').get()
        yield {'title': title}

# 启动爬虫：scrapy runspider myspider.py -o output.json

2. Requests + BeautifulSoup

此组合是Python中最为热门的爬虫方式之一，适合简单的爬虫任务。以下是代码示例：

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

title = soup.title.string
print(f'网页标题为: {title}')

三、总结

本文介绍了常用的Java和Python爬虫框架，各自都有其特点和优势。Java中以WebMagic和Crawler4j为代表，而Python中以Scrapy为主流选择。根据自己的需求和技术栈，开发者可以选择合适的框架来完成爬虫任务。在实际操作中，建议开发者不仅要了解框架的使用，还应遵循法律法规及网站的Robots协议，合理合法地爬取数据。