【python】爬取杭州市二手房销售数据做数据分析【附源码】

在当前互联网时代，数据分析成为了决策制定的重要依据。特别是在房产市场上，通过爬取二手房销售数据，可以为购房者和投资者提供有价值的参考数据。本文将以杭州市的二手房销售数据为例，进行数据的爬取与分析，并附上相应的代码示例。

1. 确定数据源

首先，我们需要确定数据源。为了获取杭州市的二手房信息，我们可以选择使用诸如链家网、房天下等房地产网站。由于这些网站通常具有较为完善的API或者可以通过网页抓取的方式获取数据，这方便了我们的数据收集。

2. 使用Python爬虫库

Python有众多库可以完成网络爬虫工作，最常用的有requests和BeautifulSoup。我们将通过这两个库来实现数据爬取。

3. 编写爬虫代码

以下是一个简单的爬虫示例，爬取链家网的杭州市二手房数据：

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 设置请求头以模拟浏览器
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
}

# 爬取数据
def fetch_house_data(url):
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    house_list = []

    # 根据网页结构提取数据
    for house in soup.find_all('div', class_='info clear'):
        title = house.find('div', class_='title').get_text(strip=True)
        price = house.find('div', class_='priceInfo').find('span').get_text(strip=True)
        area = house.find('div', class_='area').get_text(strip=True)
        house_list.append({'标题': title, '价格': price, '面积': area})

    return house_list

# 主程序
if __name__ == "__main__":
    house_data = []
    base_url = "https://hz.lianjia.com/ershoufang/pg{}/"

    # 爬取前5页数据
    for page in range(1, 6):
        url = base_url.format(page)
        house_data.extend(fetch_house_data(url))

    # 将数据保存到DataFrame中
    df = pd.DataFrame(house_data)
    print(df)

    # 保存数据到CSV文件
    df.to_csv('hangzhou_ershoufang.csv', index=False, encoding='utf-8-sig')

4. 数据分析

在爬取完数据后，我们可以利用pandas库进行数据分析，例如计算每平米价格、最高和最低价格等。

# 数据分析
df['价格'] = df['价格'].str.replace('元', '').str.replace(',', '').astype(int)
df['面积'] = df['面积'].str.replace('平米', '').str.replace(',', '').astype(float)

# 添加每平米单价
df['单价'] = df['价格'] / df['面积']

# 统计基础信息
print("最高价格:", df['价格'].max())
print("最低价格:", df['价格'].min())
print("平均单价:", df['单价'].mean())

5. 结果输出

经过上述步骤，我们便可以获取到杭州市二手房的销售数据，并进行简单的分析。这些数据可以为个人购房、投资者决策等提供参考。同时，随着数据集的增大，我们还可以尝试更深入的分析，比如时间序列分析、聚类分析等，以发现潜在的市场趋势。

6. 结语

通过本次爬虫与数据分析的示例，我们看到Python在数据采集和分析方面的强大能力。未来，随着数据量的增大和分析技术的进步，我们能够提取更多的洞察，为房产市场的决策提供更有力的支持。