Python爬虫实战：图片爬取与保存

Python爬虫实战：图片爬取与保存

在当今信息时代，网络上充满了各种各样的图片资源。我们可以使用Python编写爬虫程序，轻松地从网页上抓取并保存这些图片。本文将介绍如何使用Python的requests和BeautifulSoup库来实现这一功能，并说明如何保存图片到本地。

环境准备

在开始之前，我们需要安装相关库。你可以使用以下命令安装所需的库：

pip install requests beautifulsoup4

图片爬虫的基本思路

1. 发送HTTP请求，获取网页内容。
2. 解析网页内容，提取图片的URL。
3. 发送请求下载图片，并保存到本地。

示例代码

下面是一个简单的示例代码，展示如何抓取一个包含图片的网址并保存这些图片到本地文件夹。

import requests
from bs4 import BeautifulSoup
import os

# 创建一个用于保存图片的文件夹
folder_name = 'downloaded_images'
if not os.path.exists(folder_name):
    os.makedirs(folder_name)

# 爬取的目标网址
url = 'https://example.com'  # 替换为实际目标网址

# 发送HTTP请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 找到所有的图片标签
    img_tags = soup.find_all('img')

    for img in img_tags:
        # 获取图片的URL
        img_url = img.get('src')

        # 有些图片的URL可能是相对路径，这里处理一下
        if not img_url.startswith('http'):
            img_url = url + img_url

        # 发送请求获取图片
        img_response = requests.get(img_url)

        # 确保图片请求成功
        if img_response.status_code == 200:
            # 从URL中提取图片名称
            img_name = os.path.join(folder_name, img_url.split('/')[-1])

            # 保存图片
            with open(img_name, 'wb') as f:
                f.write(img_response.content)
            print(f'图片已保存: {img_name}')
        else:
            print(f'图片下载失败: {img_url}')
else:
    print(f'网页请求失败，状态码: {response.status_code}')

代码解析

1. 创建文件夹：使用os.makedirs()创建一个名为downloaded_images的文件夹，用于保存下载的图片。
2. 发送请求：使用requests.get()发送HTTP请求，并获取网页的内容。
3. 解析网页：使用BeautifulSoup解析网页，查找所有的<img>标签。
4. 提取图片 URL：通过img.get('src')获取图片的URL，并处理相对路径的情况。
5. 下载图片：对每个图片URL发送请求，如果成功则将图片内容保存到本地。
6. 错误处理：检查请求状态码，确保程序的健壮性。

注意事项

1. 遵循robots.txt协议：在爬取网页之前，最好先检查该网站的robots.txt文件，以确保爬取行为被允许。
2. 请求频率：为了避免对目标网站造成过大压力，建议在请求之间加入延时（例如使用time.sleep()）。
3. 版权问题：在使用爬取的图片时，请注意版权问题，确保遵循相关法律法规。

结语

通过以上步骤，我们成功地用Python编写了一个简单的图片爬虫程序。这个程序可以根据需要进行扩展和修改，例如增加多线程支持、处理不同类型的网页等。希望本文能够帮助你入门Python爬虫，并激发你探索更复杂网络数据抓取的兴趣。