Python爬取数据并写入MySQL
关于爬虫爬取数据并存入MySQL数据库(以东方财富网上的股票数据为例,网页:深南电A(000037)资金流向 _ 数据中心 _ 东方财富网)第一步,创建数据库中的数据表import requestsimport pandas as pdimport reimport pymysqldb = pymysql.connect(host='localhost', user='root', passwor
关于爬虫爬取数据并存入MySQL数据库(以东方财富网上的股票数据为例,网页:深南电A(000037)资金流向 _ 数据中心 _ 东方财富网)
第一步,创建数据库中的数据表
import requests
import pandas as pd
import re
import pymysql
db = pymysql.connect(host='localhost', user='root', password='ls101945', db='东方财富', port=3306, charset='utf8')
cursor = db.cursor()#建立游标
cursor.execute("DROP TABLE IF EXISTS 东方财富")#如果有表叫东方财富,删除表
sql = """
create table 东方财富(
日期 char(20) not null,
主力净流入净额 char(20),
小单净流入净额 char(20),
中单净流入净额 char(20),
大单净流入净额 char(20),
超大单净流入净额 char(20) ,
主力净流入净占比 char(20),
小单净流入净占比 char(20),
中单净流入净占比 char(20),
大单净流入净占比 char(20),
超大单净流入净占比 char(20),
收盘价 char(20),
涨跌幅 char(20))
"""
try:#如果出现异常对异常处理
# 执行SQL语句
cursor.execute(sql)
print("创建数据库成功")
except Exception as e:
print("创建数据库失败:case%s" % e)
导入pymysql,连接到东方财富数据库,开启游标功能,创建游标对象(注意:当开启游标功能执行这个sql语句后,系统并不会将结果直接打印到频幕上,而是将上述得到的结果,找个地方存储起来,提供一个游标接口给我们,当你需要获取数据的时候,就可以从中拿数据),使用sql语句建立数据表,设计字段名,类型,能不能为空值。使用execute()方法,执行sql语句。在程序开发中,如果对某些代码的执行不能确定(程序语法完全正确),可以增加try来捕获异常,try:尝试执行的代码,except:出现错误的处理。
第二步,爬取数据
在目标网页中点击左键-检查-网络,刷新网页,找到数据存储的位置
url = 'https://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get?cb=jQuery112301445006905131534_1634624378230&lmt'\
'=0&klt=101&fields1=f1%2Cf2%2Cf3%2Cf7&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61%2Cf62%'\
'2Cf63%2Cf64%2Cf65&ut=b2884a393a59ad64002292a3e90d46a5&secid=0.000037&_=1634624378231'
headers = {'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50'
}
#发送url链接的请求,并返回响应数据
response = requests.get(url=url, headers=headers)
page_text = response.text
#使用正则表达式获取数据
pat = '"klines":\[(.*?)\]'#(.*?)就是我们要取出的部分
data = re.compile(pat, re.S).findall(page_text)#compile函数编译正则匹配表达式,re.S代表可以换行匹配,使用findall函数选定数据集,也就是爬取的所有源代码
url和headers可以在其中找到,构造请求头,发送url链接的请求,并返回响应数据,使用正则表达式获取数据。
第三步,写入数据库
datas = data[0].split('","')#分割字符串
for i in range(len(datas)):
stock = list(datas[i].replace('"', "").split(","))#把“替换为空格,以,为分隔符分割
#用sql语言写入数据表
sql1 = """
insert into 东方财富(
日期,
主力净流入净额,
小单净流入净额,
中单净流入净额,
大单净流入净额,
超大单净流入净额,
主力净流入净占比,
小单净流入净占比,
中单净流入净占比,
大单净流入净占比,
超大单净流入净占比 ,
收盘价 ,
涨跌幅 )value('%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s','%s')
""" % (
stock[0], stock[1], stock[2], stock[3], stock[4], stock[5], stock[6], stock[7], stock[8], stock[9], stock[10],
stock[11], stock[12])#将值插入到占位符%s
# 执行 insert 增加的语句 如果出现异常对异常处理
try:
cursor.execute(sql1)
db.commit() #进行数据库提交,写入数据库
except:
cursor.rollback() #数据回滚,多次操作要么都执行,要么都不执行
print('写入失败')
# 关闭游标连接
cursor.close()
# 关闭数据库连接
db.close()
print('写入成功!')
把爬取出来的数据按逗号分割,用sql语言的insert插入到东方财富数据表,value赋值。使用execute()方法,执行sql语句后一定要用commit()方法提交,在数据库里增、删、改的时候,必须要进行提交,否则插入的数据不生效。rollback()方法:不想提交增、删、改操作,用此方法回滚取消操作,有多次操作时,全部取消。用try捕获异常,如果执行sql或向数据库提交时有异常,就取消所有对数据库的修改操作。
最终效果
更多推荐
所有评论(0)