1.获取并处理疫情数据

1.1疫情数据的获取

获取数据之前应事先分析数据所在的url，进入腾讯疫情实时追踪网站以后,打开抓包工具可以看到图下两个url,实际上全国疫情数据是以json的形式保存在这两个url中,要获取疫情数据数据可以直接访问以下两个url将它们保存以json的文件格式到本地,或者通过python的request请求得到，也可以使用同样的方式获取全球的疫情数据，本文只对全国疫情数据进行了可视化展示。
本文所用到的数据来源于腾讯疫情实时追踪
当日详情数据:详情数据
历史数据:历史数据

1.2疫情数据的分析及处理

拿到疫情数据之后,需要对数据进行分析以及相应的处理才能保存到数据库中。博主通过使用json格式化工具分析了历史数据json字符串和当日详情数据json字符串中的key为data的值，json字符串也是类似于Python中的字典,如下图,本文主要对图上的数据进行了存储以及分析,其他数据没有分析及处理。

通过分析数据之后,需要将json字符串转化成字典，并将字典中的数据保存到列表或字典中,由于获取的详情数据json字符串中的data也是一个json字符串,所以要将data中的值也要转化成字典,这样就可保存我们所需要的的数据了。在保存数据时，需要将时间的格式转化一下，不然插入数据到数据库会出错。

def get_cov_data():
    #详情数据url
    details_url=' https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    #历史数据url
    history_url='https://api.inews.qq.com/newsqa/v1/query/inner/publish/modules/list?modules=chinaDayList,chinaDayAddList,nowConfirmStatis,provinceCompare'
    headers='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4350.7 Safari/537.36'
    details_response=requests.get(details_url,headers)
    #将获取的详情数据json字符串转化成字典
    details_json=json.loads(details_response.text)
    #key为data的json字符串转化成字典
    details_dic=json.loads(details_json['data'])
    history_response=requests.get(history_url,headers)
    #将历史数据json字符串转化成字典
    history_dic=json.loads(history_response.text)['data']
    history={}
    details = []
    #将历史数据保存
    for i in history_dic['chinaDayList']:
        date=i['y']+'.'+i['date']
        tup=time.strptime(date,'%Y.%m.%d')
        #改变时间格式不然插入数据时数据库会报错
        date=time.strftime('%Y-%m-%d',tup)
        confirm=i['confirm']
        suspect=i['suspect']
        dead=i['dead']
        heal=i['heal']
        history[date]={"confirm":confirm,"suspect":suspect,"heal":heal,"dead":dead}
    #将历史当天新增数据保存
    for i in history_dic['chinaDayAddList']:
        date=i['y']+'.'+i['date']
        tup=time.strptime(date,'%Y.%m.%d')
        date=time.strftime('%Y-%m-%d',tup)
        confirm=i['confirm']
        suspect=i['suspect']
        dead=i['dead']
        heal=i['heal']
        history[date].update({"confirm_add":confirm,"suspect_add":suspect,"heal_add":heal,"dead_add":dead})

    update_time=details_dic['lastUpdateTime']
    data_countries=details_dic['areaTree']
    #获取省级数据列表
    data_provinces=data_countries[0]['children']
    #将详情数据保存
    for pro_info in data_provinces:
        provinces_name=pro_info['name']
        for city_info in pro_info['children']:
            city_name=city_info['name']
            confirm=city_info['total']['confirm']
            confirm_add=city_info['today']['confirm']
            heal=city_info['total']['heal']
            dead=city_info['total']['dead']
            details.append([update_time,provinces_name,city_name,confirm,confirm_add,heal,dead])
    return history,details

1.3使用selenium爬取百度热搜榜

爬取百度热搜榜的数据可以直接使用request模块的request请求，也可以使用selenium自动化爬取。楼主这里使用的是selenium模块自动爬取热搜榜,在使用之前需要下载对应版本的浏览器驱动，以谷歌87.0为例,需要下载87.0版本的谷歌驱动，还需pip安装selenium模块。爬取的思路为，实例谷歌浏览器对象，get请求百度热搜榜网址，使用xpath定位到每一个热搜标题和热搜热度所在的标签，并获取它们的文本内容，以字典的格式封装，便于将数据保存到数据库中。

def get_search():
    #设置无头浏览器
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    options.add_argument('--disable-gpu')
    #实例谷歌浏览器对象
    browser = webdriver.Chrome(executable_path=r'C:\Users\a南\PycharmProjects\pythonProject\reptile\code\chromedriver.exe',options=options)
    url="http://top.baidu.com/buzz/shijian.html"
    #get请求百度热搜榜url
    browser.get(url)
    tr=browser.find_elements_by_tag_name("tr")
    context=[]
    #获取每个热搜的标题以及对应的热度,并封装在字典中
    for i in range(2,len(tr)+1):
        title=browser.find_element_by_xpath('//table[@class="list-table"]/tbody/tr['+str(i)+']//td[@class="keyword"]').text
        heat=browser.find_element_by_xpath('//table[@class="list-table"]/tbody/tr['+str(i)+']//td[@class="last"]').text
        context.append({"title":title,"heat":heat})
    return context
    browser.close()

2.存储数据到mysql

2.1设计数据库表

在存储数据之前，先要对数据表进行相应的设计。根据获取的数据本文设计了保存详情数据的details表,保存历史数据的history表,保存百度热搜的hotsearch表

--details表
DROP TABLE IF EXISTS `details`;
CREATE TABLE `details`  (
  `id` int(0) NOT NULL AUTO_INCREMENT,
  `update_time` datetime(0) NULL DEFAULT NULL,
  `province_name` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `city_name` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `confirm` int(0) NULL DEFAULT NULL,
  `confirm_add` int(0) NULL DEFAULT NULL,
  `heal` int(0) NULL DEFAULT NULL,
  `dead` int(0) NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `id`(`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 463 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

--history表
DROP TABLE IF EXISTS `history`;
CREATE TABLE `history`  (
  `ds` datetime(0) NOT NULL,
  `confirm` int(0) NULL DEFAULT NULL,
  `confirm_add` int(0) NULL DEFAULT NULL,
  `suspect` int(0) NULL DEFAULT NULL,
  `suspect_add` int(0) NULL DEFAULT NULL,
  `heal` int(0) NULL DEFAULT NULL,
  `heal_add` int(0) NULL DEFAULT NULL,
  `dead` int(0) NULL DEFAULT NULL,
  `dead_add` int(0) NULL DEFAULT NULL,
  PRIMARY KEY (`ds`) USING BTREE,
  INDEX `ds`(`ds`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

--hotsearch表
 DROP TABLE IF EXISTS `hotsearch`;
CREATE TABLE `hotsearch`  (
  `id` int(0) NOT NULL AUTO_INCREMENT,
  `ds` datetime(0) NULL DEFAULT NULL,
  `context` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `heat` int(0) NULL DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  INDEX `id`(`id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

2.2保存数据到mysql中

使用pymysql模块将数据保存到mysql数据库中，大致步骤是获取数据库连接，执行sql语句，提交事务，关闭连接，在获取数据库连接时需要将参数改成自己的数据库参数

1.疫情详情数据与疫情历史数据的持久化存储

#获取连接
def get_connect():
    con = pymysql.connect(host="localhost", port=3306, user="root", passwd="root", db="newsqa", charset="utf8")
    cur = con.cursor()
    return con,cur

#关闭连接
def close_connect(con,cur):
    if con:
        con.close()
    if cur:
        cur.close()

#保存详情数据到数据库中
def save_details():
    con=None
    cur=None
    try:
        li=get_data()[1]
        con,cur=get_connect()
        sql="insert into details(update_time,province_name,city_name,confirm,confirm_add,heal,dead) values(%s,%s,%s,%s,%s,%s,%s)"
        for item in li:
            cur.execute(sql,item)
        con.commit()
        print('详情数据保存成功')
    except:
        traceback.print_exc()
    finally:
        close_connect(con,cur)

#保存历史数据到数据库中
def save_history():
    con=None
    cur=None
    try:
        li=get_data()[0].items()
        con,cur=get_connect()
        sql="insert into history(ds,confirm,confirm_add,suspect,suspect_add,heal,heal_add,dead,dead_add) values(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
        for k,v in li:
            cur.execute(sql,[k,v.get('confirm'),v.get('confirm_add'),v.get('suspect'),v.get('suspect_add'),v.get('heal'),v.get('heal_add'),v.get('dead'),v.get('dead_add')])
        con.commit()
        print('历史数据保存成功')
    except:
        traceback.print_exc()
    finally:
        close_connect(con,cur)

2.百度热搜数据的持久化存储

def save_search():
    con,cur=None,None
    try:
    	context=get_search()
        con,cur=get_connect()
        sql="insert into hotsearch(ds,context,heat) values(%s,%s,%s)"
        for i in context:
            cur.execute(sql,(time.strftime("%Y-%m-%d %X"),i.get('title'),i.get('heat')))
            con.commit()
            print("数据保存成功")
    except:
        traceback.print_exc()
    finally:
        close_connect(con,cur)

3 .实现数据可视化

3.1flask项目的创建

1.若使用的IDE的是pycharm,可选择pycharm右上角的File，点击新建项目，选择Flask,点击创建，项目环境建议使用虚拟环境,使用虚拟环境可以使各个项目互相隔离，各不影响。

2.创建好flask项目可以看到如下界面。flask项目的大致结构为,static目录存放静态资源，例如css,js等，templates存放页面资源，例如HTML，venv是该项目的虚拟环境,py文件实现后端的业务功能

3.2关键字与时间的显示

本项目将数据库中的数据在前端页面中显示，采用的是web项目中的一个三层结构，及展示层，业务层，数据访问层，展示层使用ajax技术实现前端和后端之间的交互，业务层使用flask框架实现业务逻辑的处理，数据访问层使用utils工具类获取数据库中的数据。

1.展示层
将ajax请求同一放在controller.js文件中，使用的时候引入即可。get_tiem函数请求后端路由的/time,每一秒请求一次,请求成功后将将响应给客户端的当前时间信息显示在页面上，get_c1_data函数请求后端路由中的/center1,请求成功后将将关键字数据显示在页面中。

function get_time() {
    $.ajax({
        //请求的url地址
            url: "/time",
        //隔一秒执行该js时间
            timeout: 1000,
        //若请求成功将响应的数据显示在页面上
            success: function (data) {
                $("#time").html(data)
            },
        }
    );
}

function get_c1_data() {
    $.ajax({
        url: "/center1",
        success: function (data) {
            //总感染人数
            $(".num h1").eq(0).text(data.confirm)
            //总疑似案例
            $(".num h1").eq(1).text(data.suspect)
            //总康复人数
            $(".num h1").eq(2).text(data.heal)
            //总死亡人数
            $(".num h1").eq(3).text(data.dead)
        }
    })
}

2.业务层
使用flask框架将前端请求的ur以及对应的业务逻辑处理函数添加到路由中，并将结果返回给客户端。get_time函数实现获取当前时间业务，get_c1_data实现获取疫情总数据业务,将数据以字典的形式封装并转化成json字符串响应给客户端。由于获取的总数据最终为bigdecima类型,jsonify是无法转化bigdecima类型的，所以需要将数据转化成int类型。Hello_word函数为页面入口函数，访问http://127.0.0.1:5000/即可进入主页面

@app.route('/time',methods=['GET'])
def get_time():
    #将当前时间返回给客户端
    return utils.get_time()

@app.route('/',methods=['GET'])
def Hello_word():
    return render_template("main.html")

@app.route('/center1',methods=['GET'])
def get_c1_data():
    data=utils.get_c1_data()
    #使用flask中的jsonify将字典转化成json字符串返回给客户端
    return jsonify({"confirm":int(data[0]),"suspect":int(data[1]),"heal":int(data[2]),"dead":int(data[3])})

3.数据访问层
utils工具类作为数据访问层，主要负责数据库的访问。博主这里是将感染总人数，案例总人数，康复总人数，死亡总人数总为关键字，所以在数据库获取数据的时候使用sum函数求和查询。

def get_time():
    #获取当前时间
    time_str=time.strftime("%Y{}%m{}%d{} %X".format("年","月","日"))
    return time_str

#获取连接
def get_connect():
    con = pymysql.connect(host="localhost", port=3306, user="root", passwd="root", db="newsqa", charset="utf8")
    cur = con.cursor()
    return con,cur

#关闭连接
def close_connect(con,cur):
    if con:
        con.close()
    if cur:
        cur.close()

#查询函数
def query(sql,*args):
    con,cur=get_connect()
    cur.execute(sql,args)
    res=cur.fetchall()
    close_connect(con,cur)
    return res

#从数据库中查询疫情总数据
def get_c1_data():
    sql="select sum(confirm)," \
        "(select suspect from history order by ds desc limit 1)," \
        "sum(heal)," \
        "sum(dead) " \
        "from details "\
        "where update_time=(select update_time from details order by update_time desc limit 1)"
    res=query(sql)
    return res[0]

4.页面展示

3.3全国疫情地图的实现

3.3.1使用echart实现中国地图可视化

1.首先要给echarts提供一个容器。

<div id="center2"></div>

2.实例化echarts对象

var ec_center=echarts.init(document.getElementById("center2"));

3.参数设置,mydata存放使用ajax请求后服务器响应给客户端的数据

var mydata=[]
option = {
    title: {
        text: '',
        subtext: '',
        x: 'left'
    },
    tooltip: {
        trigger: 'item'
    },
    legend: {
        orient: 'vertical',
        left: 'left',
        data: ['订单量']
    },
    visualMap: {
        type: 'piecewise',
        pieces: [
            {min: 500000},
            {min: 1000, max: 4999},
            {min: 500, max: 999},
            {min: 100, max: 499},
            {min: 10, max: 99},
            {min:1,max: 5}
        ],
        color: ['#8A0829', '#DF013A', '#FE2E64','#F78181','#F5A9A9','#FBEFEF']
    },
       roamController: {
        show: true,
        left: 'right',
        mapTypeControl: {
            'china': true
        }
    },

    series: [
        {
            name: '累计确诊人数',
            type: 'map',
            mapType: 'china',
            roam: false,
            label: {
                show: true,
                fontSize: 8
            },
            emphasis: {
                show:true,
                fontSize:8
            },
            itemStyle:{
              normal:{
                  borderWidth:0,
                  borderColor:"#009fe8",
                  areaColor:"#ffefd5"
              },
              emphasis:{
                  borderWidth:0,
                  borderColor:"#4b0082",
                  areaColor:"#fff"
              }


            },
            data: mydata
        }
    ]
};

4.引入js文件,在main.html引入js文件

<script src="../static/js/jquery-3.5.1.js"></script>
<script src="../static/js/echarts.min.js"></script>
<script src="../static/js/china.js"></script>
<script src="../static/js/ec_center.js"></script>
<script src="../static/js/controller.js"></script>

如何具体使用echart可在echarts官网查看。本文所用到的js文件如图,要实现中国地图显示需要用到china.js和echarts.min.js,实现词云图显示要用到echarts-wordcloud.min.js,可以在官网进行下载对应的js文件。

3.3.2疫情地图数据的显示

1.展示层
将从数据库获取的各个地区的疫情数据作为疫情地图的option参数,设置疫情地图参数即可。

function get_c2_data() {
    $.ajax({
        url: "/center2",
        success: function (data) {
            //将服务器响应给客户端的数据作为echarts的option参数
            en_center_option.series[0].data = data.data;
            //设置疫情地图的option
            ec_center.setOption(en_center_option);
        }
    });
}

2.业务层
将省份名称和对应的总感染人数以name，value形式封装在字典中，转化成json返回给客户端。

@app.route('/center2',methods=['GET'])
def get_c2_data():
    res=[]
    for tup in utils.get_c2_data():
        res.append({"name":tup[0],"value":int(tup[1])})
    return jsonify({"data":res})

3.数据访问层
以省份名称作为分组条件,分组查询每个省份总的感染人数

#从数据库中查询疫情详情数据
def get_c2_data():
    sql="select province_name,sum(confirm) from details " \
        "where update_time=(select update_time from details order by update_time desc limit 1)"\
        "group by province_name"
    res=query(sql)
    return res

4.页面展示

3.4全国疫情累计趋势折线图显示

1.展示层
折线图显示同样也要设置实例的echart的option参数,这里博主就不写在博客上了，大家可以在官网上复制对应图形的option,对option里面的参数进行修改即可。

function get_l1_data() {
    $.ajax({
        url: "/left1",
        success: function (data) {
            ec_left1_option.xAxis.data=data.day;
            ec_left1_option.series[0].data=data.confirm;
            ec_left1_option.series[1].data=data.suspect;
            ec_left1_option.series[2].data=data.heal;
            ec_left1_option.series[3].data=data.dead;
            //设置疫情地图的option参数
            ec_left1.setOption(ec_left1_option);
        }
    });
}

2.业务层
由于疫情详情表中的前7条数据是空值,所以这里使用切片将它们去掉。

@app.route('/left1')
def get_l1_data():
    data=utils.get_l1_data()
    day,confirm,suspect,heal,dead=[],[],[],[],[]
    for a,b,c,d,e in data[7::]:
        day.append(a.strftime('%m-%d'))
        confirm.append(b)
        suspect.append(c)
        heal.append(d)
        dead.append(e)
    print(jsonify({"day":day,"confirm":confirm,"suspect":suspect,"heal":heal,"dead":dead}))
    return jsonify({"day":day,"confirm":confirm,"suspect":suspect,"heal":heal,"dead":dead})

3.数据访问层
查询history数据表中当前累计总数的所有记录

def get_l1_data():
    sql="select ds,confirm,suspect,heal,dead from history"
    res=query(sql)
    return res

4.最终页面显示

3.4全国疫情新增趋势折线图显示

1.展示层

function get_l2_data() {
    $.ajax({
        url: "/left2",
        success: function (data) {
            ec_left2_option.xAxis.data=data.day;
            ec_left2_option.series[0].data=data.confirm_add;
            ec_left2_option.series[1].data=data.suspect_add;
            ec_left2_option.series[2].data=data.heal_add;
            ec_left2_option.series[3].data=data.dead_add;
            //设置疫情地图的option参数
            ec_left2.setOption(ec_left2_option);
        }
    });
}

2.业务层

@app.route('/left2')
def get_l2_data():
    data = utils.get_l2_data()
    day, confirm_add, suspect_add, heal_add, dead_add = [],[],[],[],[]
    for a, b, c, d, e in data[7::]:
        day.append(a.strftime('%m-%d'))
        confirm_add.append(b)
        suspect_add.append(c)
        heal_add.append(d)
        dead_add.append(e)
    return jsonify({"day":day,"confirm_add": confirm_add, "suspect_add": suspect_add, "heal_add": heal_add, "dead_add": dead_add})

3.数据访问层
查询history数据表中当前累计新增总数的所有记录

def get_l2_data():
    sql="select ds,confirm_add,suspect_add,heal_add,dead_add from history"
    res=query(sql)
    return res

4.最终页面显示

3.5非湖北地区确诊Top5柱状图显示

1.展示层

function get_r1_data() {
    $.ajax({
        url: "/right1",
        success: function (data) {
            ec_right1_option.xAxis.data=data.province_name;
            ec_right1_option.series[0].data=data.confirm;
            //设置疫情地图的option参数
            ec_right1.setOption(ec_right1_option);
        }
    });
}

2.业务层

@app.route('/right1')
def get_r1_data():
    data=utils.get_r1_data()
    province_name=[]
    confirm=[]
    for tup in data:
        province_name.append(tup[0])
        confirm.append(int(tup[1]))
    return jsonify({"province_name":province_name,"confirm":confirm})

3.数据访问层
使用多表查询，将省份名称和对应的感染总人数作为新表a 的字段，并且省份中应不包含湖北，将感染总人数升序排序，查询前5条记录。

def get_r1_data():
    sql='select province_name,confirm from '\
        '(select province_name,confirm from details '\
        'where update_time=(select update_time from details order by update_time desc limit 1) ' \
        'and province_name not in ("湖北","北京","天津","上海","重庆") ' \
        'union all ' \
        'select province_name as province_name,sum(confirm) as confirm from details ' \
        'where update_time=(select update_time from details order by update_time desc limit 1) ' \
        'and province_name in ("北京","上海","天津","重庆") group by province_name) as a ' \
        'order by confirm desc limit 5'
    res=query(sql)
    return res

4.页面展示

3.6百度热搜词云图显示

1.展示层

function get_r2_data() {
    $.ajax({
        url: "/right2",
        timeout: 2000,
        success: function (data) {
            ec_right2_option.series[0].data=data.keyword;
            //设置疫情地图的option参数
            ec_right2.setOption(ec_right2_option);
        }
    });
}

2.业务层
使用jieba模块中的exract_tags函数提取百度热搜中的关键字，并将热度作为关键字的权重，来展现关键字在词云图中的大小,关键字越大热度越高。

@app.route('/right2')
def get_r2_data():
    data=utils.get_r2_data()
    keyword=[]
    for tup in data:
        #使用jieba提取关键字
        key=extract_tags(tup[0])
        for i in key:
            keyword.append({"name":i,"value":tup[1]})
    return jsonify({"keyword":keyword})

3.数据访问层

def get_r2_data():
    sql="select context,heat from hotsearch"
    res=query(sql)
    return res

4.页面展示

4.使用爬虫脚本对疫情数据进行实时更新

爬虫脚本是在原有的脚本基础上在进行了一些小的改动，由于需要将数据库中的历史数据和详情数据进行更新，所以在数据更新和插入操作时要获取数据库中最新时间的数据，再和爬取的数据进行对比，如果一样就代表是最新数据,不用更新数据，如果不一样就更新数据库表。如果没有将项目部署到Linux服务器上，可以每天手动执行一次脚本，获取当天的数据，如果项目部署到了服务器上可以使用Linux的crontab定时调度爬虫脚本，至于项目如何部署以及crontab如何编写，博主会在后续更新在博客上。

import requests
import json
import pymysql
import time
import traceback
from selenium import webdriver
import sys

def get_cov_data():
    #详情数据url
    details_url=' https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5'
    #历史数据url
    history_url='https://api.inews.qq.com/newsqa/v1/query/inner/publish/modules/list?modules=chinaDayList,chinaDayAddList,nowConfirmStatis,provinceCompare'
    headers='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4350.7 Safari/537.36'
    details_response=requests.get(details_url,headers)
    #将获取的详情数据json字符串转化成字典
    details_json=json.loads(details_response.text)
    #key为data的json字符串转化成字典
    details_dic=json.loads(details_json['data'])
    history_response=requests.get(history_url,headers)
    #将历史数据json字符串转化成字典
    history_dic=json.loads(history_response.text)['data']
    history={}
    details = []
    #将历史数据保存
    for i in history_dic['chinaDayList']:
        date=i['y']+'.'+i['date']
        tup=time.strptime(date,'%Y.%m.%d')
        #改变时间格式不然插入数据时数据库会报错
        date=time.strftime('%Y-%m-%d',tup)
        confirm=i['confirm']
        suspect=i['suspect']
        dead=i['dead']
        heal=i['heal']
        history[date]={"confirm":confirm,"suspect":suspect,"heal":heal,"dead":dead}
    #将历史当天新增数据保存
    for i in history_dic['chinaDayAddList']:
        date=i['y']+'.'+i['date']
        tup=time.strptime(date,'%Y.%m.%d')
        date=time.strftime('%Y-%m-%d',tup)
        confirm=i['confirm']
        suspect=i['suspect']
        dead=i['dead']
        heal=i['heal']
        history[date].update({"confirm_add":confirm,"suspect_add":suspect,"heal_add":heal,"dead_add":dead})

    update_time=details_dic['lastUpdateTime']
    data_countries=details_dic['areaTree']
    #获取省级数据列表
    data_provinces=data_countries[0]['children']
    #将详情数据保存
    for pro_info in data_provinces:
        provinces_name=pro_info['name']
        for city_info in pro_info['children']:
            city_name=city_info['name']
            confirm=city_info['total']['confirm']
            confirm_add=city_info['today']['confirm']
            heal=city_info['total']['heal']
            dead=city_info['total']['dead']
            details.append([update_time,provinces_name,city_name,confirm,confirm_add,heal,dead])
    return history,details

def get_search_data():
    #设置无头浏览器
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    options.add_argument('--disable-gpu')
    #实例谷歌浏览器对象
    browser = webdriver.Chrome(executable_path=r'C:\Users\a南\PycharmProjects\PythonProject\python爬虫\code\chromedriver.exe',options=options)
    url="http://top.baidu.com/buzz/shijian.html"
    #get请求百度热搜榜url
    browser.get(url)
    tr=browser.find_elements_by_tag_name("tr")
    context=[]
    #获取每个热搜的标题以及对应的热度,并封装在字典中
    for i in range(2,len(tr)+1):
        title=browser.find_element_by_xpath('//table[@class="list-table"]/tbody/tr['+str(i)+']//td[@class="keyword"]').text
        heat=browser.find_element_by_xpath('//table[@class="list-table"]/tbody/tr['+str(i)+']//td[@class="last"]').text
        context.append({"title":title,"heat":heat})
    return context
    browser.close()


#获取连接
def get_connect():
    con = pymysql.connect(host="localhost", port=3306, user="root", passwd="root", db="newsqa", charset="utf8")
    cur = con.cursor()
    return con,cur

#关闭连接
def close_connect(con,cur):
    if con:
        con.close()
    if cur:
        cur.close()

#保存详情数据到数据库中
def up_details():
    con=None
    cur=None
    try:
        li=get_cov_data()[1]
        con,cur=get_connect()
        sql="update details set update_time=%s,confirm=%s,confirm_add=%s,heal=%s,dead=%s  where province_name=%s and city_name=%s"
        sql_query="select %s=(select update_time from details order by id desc limit 1)"
        cur.execute(sql_query,li[0][0])
        if not cur.fetchone()[0]:
            print(f"{time.asctime()}开始更新详情最新数据")
            for item in li:
                cur.execute(sql,(item[0],item[3],item[4],item[5],item[6],item[1],item[2]))
            con.commit()
            print(f"{time.asctime()}更新详情最新数据完毕")
        else:
            print(f"{time.asctime()}详情表已是最新数据")
    except:
        traceback.print_exc()
    finally:
        close_connect(con,cur)

#保存历史数据到数据库中
def up_history():
    con=None
    cur=None
    try:
        li=get_cov_data()[0].items()
        con,cur=get_connect()
        sql="insert into history(ds,confirm,confirm_add,suspect,suspect_add,heal,heal_add,dead,dead_add) values(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
        sql_query="select confirm from history where ds=%s"
        for k,v in li:
            if not cur.execute(sql_query,k):
                print(f"{time.asctime()}开始更新历史最新数据")
                cur.execute(sql,[k,v.get('confirm'),v.get('confirm_add'),v.get('suspect'),v.get('suspect_add'),v.get('heal'),v.get('heal_add'),v.get('dead'),v.get('dead_add')])
        print(f"{time.asctime()}历史数据更新完毕")
        con.commit()
    except:
        traceback.print_exc()
    finally:
        close_connect(con,cur)

def up_search():
    con,cur=None,None
    try:
        context=get_search_data()
        con,cur=get_connect()
        sql="insert into hotsearch(ds,context,heat) values(%s,%s,%s)"
        for i in context:
            cur.execute(sql,(time.strftime("%Y-%m-%d %X"),i.get('title'),i.get('heat')))
            con.commit()
        print("热搜数据更新完毕")
    except:
        traceback.print_exc()
    finally:
        close_connect(con,cur)


if __name__ == '__main__':
    up_details()
    up_history()
    up_search()

5.最终界面显示

结语

本项目博主是参考了b站的一个教学视频，大家有兴趣可以去看一下，Python爬取疫情实战,并且仅供学习使用，如果本篇文章对你有用的话，别忘了给博主一个三连哦。

项目演示地址:疫情监控