前言
随着金融市场的快速发展，投资者越来越依赖于实时的股票行情数据来做出决策。在这个过程中，股票数据爬取成为了许多投资者、数据分析师和金融工程师的重要技能。通过编写一个高效的股票数据爬虫，我们可以快速抓取大量股票信息，并进行实时监控与分析，从而帮助做出更加精准的投资决策。
本文将展示如何通过 Python 爬虫 从 东方财富网（东财网）抓取股票行情数据，并提供一些简单的数据分析手段，帮助用户更好地理解如何利用这些数据进行投资决策。
技术栈与工具
在这篇文章中，我们将使用以下 Python 库和工具：
爬虫工具：
requests：发送 HTTP 请求，抓取网页数据。BeautifulSoup：解析 HTML 页面，提取股票数据。 数据处理与分析：
Pandas：处理和分析股票数据。Matplotlib：可视化股票数据，展示行情趋势。 辅助工具：
time：控制请求频率，避免请求过于频繁导致被封禁。os：创建文件夹并保存数据。
一、选择股票数据源：东方财富网
东方财富网作为中国领先的金融信息平台，提供了包括股票行情、公司资讯、财务报表、资金流向等多个维度的实时数据。我们将以东方财富网的 股票行情页面 为数据源，抓取以下主要信息：
股票代码：唯一标识股票。股票名称：股票的中文名称。最新价格：当前股票的价格。涨跌幅：当前股票的涨跌幅度。成交量：股票的成交量。
二、爬取东方财富网股票行情数据
2.1 发送请求并获取网页内容
首先，我们需要通过 requests 发送 HTTP 请求，获取网页内容。为了避免访问限制，我们可以通过设置请求头来模拟浏览器访问。
import requests
from bs4 import BeautifulSoup
# 东方财富网股票行情页面的URL
url = "http://quote.eastmoney.com/center/gridlist.html#hs_a_board"
# 设置请求头，模拟浏览器访问
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
# 发送 GET 请求获取网页内容
response = requests.get(url, headers=headers)
# 如果请求成功，获取网页内容
if response.status_code == 200:
html = response.text
else:
print("网页请求失败！")
html = ""
此时，我们已经成功获取了网页的 HTML 内容。
2.2 解析网页内容
东方财富网的股票行情页面使用了 表格布局，因此我们可以通过解析表格来提取所需的股票数据。利用 BeautifulSoup，我们可以轻松找到并解析这些数据。
# 使用 BeautifulSoup 解析网页
soup = BeautifulSoup(html, 'html.parser')
# 找到包含股票数据的表格
table = soup.find('table', {'class': 'table'})
# 提取表格中的每一行数据
rows = table.find_all('tr')
# 打印每一行的数据
for row in rows[1:]: # 跳过表头
cols = row.find_all('td')
stock_code = cols[0].text.strip()
stock_name = cols[1].text.strip()
current_price = cols[2].text.strip()
price_change = cols[3].text.strip()
trade_volume = cols[4].text.strip()
print(f"股票代码: {stock_code}, 股票名称: {stock_name}, 当前价格: {current_price}, 涨跌幅: {price_change}, 成交量: {trade_volume}")
这段代码将从网页表格中提取每一行的股票数据，包含股票代码、股票名称、当前价格、涨跌幅和成交量等信息。
三、保存数据到本地
在实际应用中，我们通常需要将抓取的数据保存到本地以供后续分析。我们可以将数据保存为 CSV 文件，利用 Pandas 进行数据处理与分析。
3.1 保存数据到 CSV 文件
import pandas as pd
# 创建一个空的 DataFrame 用于存储股票数据
stock_data = []
# 解析并提取每一行的数据
for row in rows[1:]:
cols = row.find_all('td')
stock_code = cols[0].text.strip()
stock_name = cols[1].text.strip()
current_price = cols[2].text.strip()
price_change = cols[3].text.strip()
trade_volume = cols[4].text.strip()
# 将每行数据保存为字典格式
stock_data.append({
'股票代码': stock_code,
'股票名称': stock_name,
'当前价格': current_price,
'涨跌幅': price_change,
'成交量': trade_volume
})
# 将数据保存为 Pandas DataFrame
df = pd.DataFrame(stock_data)
# 保存为 CSV 文件
df.to_csv('stock_data.csv', index=False, encoding='utf-8')
print("数据已保存为 stock_data.csv")
此时，我们的股票数据已经成功保存为 CSV 文件，便于后续的分析。
四、数据分析与可视化
使用 Pandas 和 Matplotlib，我们可以对抓取到的股票数据进行分析和可视化，帮助投资者快速识别市场趋势。
4.1 数据处理
通过 Pandas，我们可以对股票的 涨跌幅 和 成交量 进行进一步的数据处理，转换为数值类型并进行分析。
# 转换涨跌幅和成交量为数值类型
df['涨跌幅'] = df['涨跌幅'].str.replace('%', '').astype(float)
df['成交量'] = df['成交量'].apply(lambda x: int(x.replace(',', '')))
# 计算涨跌幅的平均值和成交量的总和
average_change = df['涨跌幅'].mean()
total_volume = df['成交量'].sum()
print(f"平均涨跌幅: {average_change:.2f}%")
print(f"总成交量: {total_volume:,}")
4.2 可视化分析
通过绘制 涨跌幅分布图 和 成交量趋势图，我们可以更直观地了解股票市场的走势。
import matplotlib.pyplot as plt
# 绘制涨跌幅的分布图
plt.figure(figsize=(10, 6))
plt.hist(df['涨跌幅'], bins=50, color='skyblue', edgecolor='black')
plt.title('涨跌幅分布')
plt.xlabel('涨跌幅 (%)')
plt.ylabel('股票数量')
plt.grid(True)
plt.show()
# 绘制成交量的趋势图
plt.figure(figsize=(10, 6))
plt.plot(df['股票名称'], df['成交量'], color='green', marker='o')
plt.title('成交量趋势图')
plt.xlabel('股票名称')
plt.ylabel('成交量')
plt.xticks(rotation=90)
plt.grid(True)
plt.show()
通过这些图表，投资者可以清楚地看到当前市场的涨跌情况以及各股票的成交量趋势，从而为决策提供参考。
五、总结与展望
通过本篇文章的实践，我们展示了如何利用 Python 爬虫从东方财富网抓取股票行情数据，并进行了简单的数据分析和可视化。通过这种方法，投资者可以实时获取股票市场的信息，为决策提供数据支持。
实战总结：
使用 requests 和 BeautifulSoup 可以轻松抓取股票行情数据。利用 Pandas 进行数据处理和清洗，便于后续分析。通过 Matplotlib 绘制图表，帮助投资者直观地了解市场动态。通过抓取并分析股票数据，投资者可以获得更精准的市场信息，提高决策的准确性。
未来，随着技术的不断发展，我们可以进一步结合机器学习与数据挖掘，提升投资决策的智能化与自动化水平。通过更多的数据分析方法，投资者可以更好地识别市场机会，优化投资组合。