Python爬虫实例（1）：获取京东商品评论

随着电子商务的快速发展，越来越多的人开始依赖于网络购物。而在这个过程中，商品评论对于消费者的决策起着至关重要的作用。京东作为中国领先的电商平台，其商品评论数据的获取变得尤为重要。本次我们将使用Python实现一个简单的爬虫，来获取京东商品的评论。

环境准备

在开始之前，你需要确保你的Python环境中安装了以下库：

• requests：用于发送网络请求。
• BeautifulSoup：用于解析HTML文档。

你可以使用pip命令来安装这些库：

pip install requests beautifulsoup4

爬虫实现步骤

1. 确定目标URL: 根据我们想要爬取的商品页面，寻找其评论的URL。通常评论页面的URL结构是固定的。
2. 发送请求: 使用requests库来发送GET请求。
3. 解析HTML: 使用BeautifulSoup解析HTML文档，并提取商品评论信息。
4. 数据存储: 将获取的评论信息存储到本地文件或数据库中。

以下是获取京东商品评论的基本代码示例：

import requests
from bs4 import BeautifulSoup
import json
import random
import time

# 设置请求头，模拟浏览器
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

# 目标商品的评价页面URL（示例URL）
product_id = '100012043978'  # 商品ID
comments_url = f'https://club.jd.com/comment/productCommentSummaries.action?referenceIds={product_id}'

def get_comments(url):
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()  # 确认请求成功
        return response.json()  # 解析为json
    except Exception as e:
        print(f"请求失败: {e}")
        return None

def parse_comments(data):
    if not data:
        return []

    comments = []
    for item in data['CommentsCount']:
        comment_info = {
            'score': item['Score'],
            'count': item['Count'],
            'date': item['Date']
        }
        comments.append(comment_info)

    return comments

def save_comments(comments):
    with open('jd_comments.json', 'w', encoding='utf-8') as f:
        json.dump(comments, f, ensure_ascii=False, indent=4)

def main():
    # 获取评论数据
    comments_data = get_comments(comments_url)
    comments = parse_comments(comments_data)

    # 保存到文件
    save_comments(comments)
    print("评论数据已保存！")

if __name__ == '__main__':
    main()

代码分析

1. 请求头: 我们设置了一个常见的用户代理，以防止请求被网站识别为爬虫。
2. 获取评论: 在get_comments函数中，我们使用requests.get发送请求，并检查响应状态。若请求成功，则将返回的JSON进行解析。
3. 解析评论: 在parse_comments函数中，我们遍历评论数据并提取所需信息，包括评分、数量和日期。
4. 保存数据: 最后，我们将评论数据以JSON格式保存到本地文件中。

注意事项

• 反爬措施: 京东等大型电商网站通常会对频繁的请求采取反爬措施，因此在爬取时应适度设置请求间隔，避免被封禁。
• 请求次数: 不同商品的评论分布可能不均，应根据实际情况调整爬取的URL。
• 合法合规: 确保自己的爬虫行为符合网站的使用政策，避免造成不必要的法律问题。

总的来说，通过这个简单的爬虫实例，我们可以快速获取京东商品的评论数据，为进一步的数据分析和处理打下基础。希望你能在实践中不断完善和扩展这个爬虫功能。