jupyter笔记本

 

交互性强，可以代码块执行

一、数据爬取

网站：实时更新：新冠肺炎疫情最新动态 

1. 导入所需库

#导入库
import time
import json
import requests
import pandas as pd

 2. 时间戳：实时获取数据

time.time()   #时间戳

 

 3. 模拟浏览器发送请求，接受相应

html = requests.get(url)
html.text

4.  网页解析，提取数据

data = json.loads(html.json()['data'])  #类型转换
data

5. 提取所需数据

data = json.loads(html.json()['data'])  #类型转换
china_data = data['statisGradeCityDetail']

data_set = []

for i in china_data:
    data_dict={}
    #地区名称
    data_dict['city']=i['city']
    #疫情数据
    #新增确诊
    data_dict['nowConfirm']=i['nowConfirm']
    data_dict['confirmAdd']=i['confirmAdd']
    data_dict['confirm']=i['confirm']
    data_dict['heal']=i['heal']
    data_dict['dead']=i['dead']
    data_set.append(data_dict)

6. 可视化表格数据

df = pd.DataFrame(data_set)
df

 7. 保存数据到本地

##4. 保存数据
df.to_csv(r'G:\国内疫情数据.csv',encoding='utf-8-sig')