正文

掌握Python，轻松爬取数据：精选5个开源爬虫项目教程及实战案例

/0 浏览量
0816

在互联网时代，数据是宝贵的资源。掌握Python进行数据爬取，可以帮助我们轻松获取所需信息。本文将为你精选5个开源爬虫项目，并附带实战案例，助你快速入门Python爬虫。

1. Scrapy

Scrapy是一个强大的网络爬虫框架，支持高并发抓取、分布式爬取，以及丰富的中间件和扩展功能。以下是使用Scrapy进行爬取的基本步骤：

1.1 安装Scrapy

pip install scrapy

1.2 创建项目

scrapy startproject myproject

1.3 编写爬虫

在myproject/spiders目录下，创建一个名为example.py的文件，并编写爬虫代码。

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://example.com']

    def parse(self, response):
        for sel in response.css('div.item'):
            yield {
                'title': sel.css('h2.title::text').get(),
                'description': sel.css('p.description::text').get()
            }

1.4 运行爬虫

scrapy crawl example

2. Splash

Splash是一个基于Webkit的浏览器，可以用来处理JavaScript渲染的网页。以下是使用Splash进行爬取的基本步骤：

2.1 安装Splash

pip install splash

2.2 启动Splash

./bin/splash

2.3 编写爬虫

import scrapy
from splash import Splash

class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://example.com']

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, self.parse, meta={'splash': {'args': {'wait': 2.0}}})

    def parse(self, response):
        # 使用Splash解析JavaScript渲染的页面
        self.crawler.engine.splash.render(url=response.url, callback=self.afterRender)
        yield {
            'title': response.css('h1::text').get(),
            'description': response.css('p::text').getall()
        }

    def afterRender(self, response):
        # 处理JavaScript渲染后的页面
        title = response.css('h1::text').get()
        description = response.css('p::text').getall()
        # 将数据保存到文件或数据库

3. BeautifulSoup

BeautifulSoup是一个Python库，用于解析HTML和XML文档。以下是使用BeautifulSoup进行爬取的基本步骤：

3.1 安装BeautifulSoup

pip install beautifulsoup4

3.2 解析HTML

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
</body>
</html>
"""

soup = BeautifulSoup(html_doc, 'html.parser')
print(soup.title.string)
print(soup.find('a', {'id': 'link1'}).get('href'))

4. Scrapy-Redis

Scrapy-Redis是一个结合了Scrapy和Redis的分布式爬虫框架。以下是使用Scrapy-Redis进行爬取的基本步骤：

4.1 安装Scrapy-Redis

pip install scrapy-redis

4.2 配置Redis

确保Redis服务器已经启动，并创建一个名为scrapy-redis的数据库。

4.3 编写爬虫

在myproject/spiders目录下，创建一个名为example.py的文件，并编写爬虫代码。

import scrapy
from scrapy_redis.spiders import RedisSpider

class ExampleSpider(RedisSpider):
    name = 'example'
    redis_key = 'example:start_urls'

    def parse(self, response):
        for sel in response.css('div.item'):
            yield {
                'title': sel.css('h2.title::text').get(),
                'description': sel.css('p.description::text').get()
            }

4.4 运行爬虫

scrapy crawl example -s REDIS_HOST=localhost -s REDIS_PORT=6379

5. Scrapy-Ua

Scrapy-Ua是一个用于生成随机User-Agent的Scrapy中间件。以下是使用Scrapy-Ua进行爬取的基本步骤：

5.1 安装Scrapy-Ua

pip install scrapy-ua

5.2 配置Scrapy-Ua

在myproject/settings.py文件中，添加以下配置：

DOWNLOADER_MIDDLEWARES = {
    'scrapy_ua.middleware.RandomUserAgentMiddleware': 400,
}

5.3 运行爬虫

scrapy crawl example

以上5个开源爬虫项目及实战案例，可以帮助你快速掌握Python爬虫技术。在实际应用中，你可以根据需求选择合适的项目，并结合相关工具和库，实现高效的数据爬取。

-- 展开阅读全文 --