1. 引言

注:勿用于非法用途。

之前学习过Python的基础知识,目前需要做语音识别和语义分析相关工作,所有又得继续学习Python

下面就学习下如何使用Python进行爬虫,就当练练手吧。

Python 特点:

  • Python是一种面向对象的脚本语言,使用时无需编译,因此也称作解释性语言,其结构简单,语法规则明确,关键词定义较少,非常适合初学者。

  • Python拥有丰富的内置库函数,对于处理网络、文件、GUI数据库、文本等十分便捷,同时支持大量第三方库,比如最常用的用于科学计算NumpySciPy等库,提供了非常简洁、高效的开发平台。

2. 页面分析

2.1 页面元素分析

下面要爬虫的是一个电影网站。本人平时看电影,都是用这个网站,想把爬完的数据存入mysql数据库,再用RUOYI开源项目做一个后台管理系统。

这个电影网站的分类共有20个,动作片、剧情片、爱情片、喜剧片……但它们都很有规律,查看网页源码,可以发现:

在这里插入图片描述

<a href="/0/">剧情片</a> 
<a href="/1/">喜剧片</a> 
<a href="/2/">动作片</a> 
<a href="/3/">爱情片</a> 
<a href="/4/">科幻片</a> 
<a href="/5/">动画片</a> 
<a href="/6/">悬疑片</a> 
<a href="/7/">惊悚片</a> 
<a href="/8/">恐怖片</a> 
<a href="/9/">纪录片</a> 
<a href="/11/">音乐歌舞题材电影</a> 
<a href="/12/">传记片</a> 
<a href="/13/">历史片</a> 
<a href="/14/">战争片</a> 
<a href="/15/">犯罪片</a> 
<a href="/16/">奇幻电影</a> 
<a href="/17/">冒险电影</a> 
<a href="/18/">灾难片</a> 
<a href="/19/">武侠片</a> 
<a href="/20/">古装片</a> 

对于每个分类的完整地址,前面都会加上网站域名。自己加上吧。

2.2 分页分析

对于每个电影类别的首页,地址都是:

域名 + /2/index.html

对于每个的电影院类别,从第二页开始,地址都是:

域名 + /2/index_2.html # 第二页

域名 + /2/index_3.html # 第三页

域名 + /2/index_4.html # 第四页

可以看出规律了吧。

2.3 页面详情页面

对于进入页面详情页,要观察页面列表的结构,入下图:

在这里插入图片描述

a标签指定了跳转的具体路径和电影的名称,还有评分,这几个信息可以获取到。

2.4 下载链接

进入得到电影详情页后,可以看到如下页面结构:

在这里插入图片描述

这样就可以获取到电影额下地址啦。

注意:此处的下载地址可能不止一个。

3. 代码

3.1 数据库结构

SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;

-- ----------------------------
-- Table structure for t_video_film
-- ----------------------------
DROP TABLE IF EXISTS `t_video_film`;
CREATE TABLE `t_video_film`  (
  `film_type` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `film_type_name` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `film_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `film_score` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `film_link` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `film_magnet_1` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `film_magnet_2` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL,
  `film_magnet_3` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;

SET FOREIGN_KEY_CHECKS = 1;

需要安装pymysql

pip installl pymysql

3.2 步骤

3.2.1 根据url获取页面结构

'''
    功能:访问 url 的网页,获取网页内容并返回
    参数:url :目标网页的 url
    返回:目标网页的 html 内容
'''
def get_data(url):
    headers = {
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    }

    try:
        r = requests.get(url, headers=headers)
        r.encoding="GBK"
        r.raise_for_status()
        return r.text

    except requests.HTTPError as e:
        print(e)
        print("HTTPError")
    except requests.RequestException as e:
        print(e)
    except:
        print("Unknown Error !")

此处要注意的是,要查看爬虫网站的编码,不然会乱码,具体如下:

在这里插入图片描述

3.2.2 解析页面数据

使用BeautifulSoup进行页面解析,具体可以参考另一篇文章:

https://blog.csdn.net/zxd1435513775/article/details/120280335

'''
    功能:提取 html 页面信息中的关键信息,并整合一个数组并返回
    参数:html 根据 url 获取到的网页内容
    返回:存储有 html 中提取出的关键信息的数组
'''
def parse_data(html):

    bsobj = bs4.BeautifulSoup(html, 'html.parser')
    info = []

    # 获取电影列表
    tbList = bsobj.find_all('table', attrs={'class': 'tbspan'})

    # 对电影列表中的每一部电影单独处理
    for item in tbList:

        movie = []
        score = item.find_all('tr')[2].find_all('td')[1].find_all('font')[1].text
        link = item.b.find_all('a')[1]
        # 获取电影的名称
        name = link["title"]
        # 获取详情页面的 url
        url = 域名 + link["href"]
        # 将数据存放到电影信息列表里
        movie.append('20')
        movie.append('古装片')
        movie.append(name)
        movie.append(score)
        movie.append(url)

        try:
            # 访问电影的详情页面,查找电影下载的磁力链接
            temp = bs4.BeautifulSoup(get_data(url), 'html.parser')
            tbody = temp.find_all('tbody')

            # 下载链接有多个(也可能没有),这里将所有链接都放进来
            for i in tbody:
                download = i.a.text
                movie.append(download)

            # print(movie)
            # 将此电影的信息加入到电影列表中
            info.append(movie)
        except Exception as e:
            print(e)
    return info

3.2.3 数据存入数据库

def save_data(data):
    db = pymysql.connect(host='localhost', user='root', password='', port=3306, db = 'film')
    cur = db.cursor()  ##获取游标
    sql3 = 'insert into t_video_film(film_type,film_type_name,film_name) values(%s,%s,%s)'
    sql4 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score) values(%s,%s,%s,%s)'
    sql5 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link) values(%s,%s,%s,%s,%s)'
    sql6 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1) values(%s,%s,%s,%s,%s,%s)'
    sql7 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1,film_magnet_2) values(%s,%s,%s,%s,%s,%s,%s)'
    sql8 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1,film_magnet_2,film_magnet_3) values(%s,%s,%s,%s,%s,%s,%s,%s)'
    for i in data:
        print(i)
        if len(i) == 3:
            cur.execute(sql3, (i[0], i[1], i[2]))
        elif len(i) == 4:
            cur.execute(sql4, (i[0], i[1], i[2], i[3]))
        elif len(i) == 5:
            cur.execute(sql5, (i[0], i[1], i[2], i[3], i[4]))
        elif len(i) == 6:
            cur.execute(sql6, (i[0], i[1], i[2], i[3], i[4], i[5]))
        elif len(i) == 7:
            cur.execute(sql7, (i[0], i[1], i[2], i[3], i[4], i[5], i[6]))
        else:
            cur.execute(sql8, (i[0], i[1], i[2], i[3], i[4], i[5], i[6], i[7]))
    db.commit()

对于有多个下载链接的电影,要单独处理。

4. 测试结果

在这里插入图片描述

在这里插入图片描述

5. 完整代码

代码仅供参考,有很多可以优化的地方。

import requests
import bs4
import pymysql

def get_data(url):
    '''
    功能:访问 url 的网页,获取网页内容并返回
    参数:url :目标网页的 url
    返回:目标网页的 html 内容
    '''
    headers = {
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    }

    try:
        r = requests.get(url, headers=headers)
        r.encoding="GBK"
        r.raise_for_status()
        return r.text

    except requests.HTTPError as e:
        print(e)
        print("HTTPError")
    except requests.RequestException as e:
        print(e)
    except:
        print("Unknown Error !")


def parse_data(html):
    '''
    功能:提取 html 页面信息中的关键信息,并整合一个数组并返回
    参数:html 根据 url 获取到的网页内容
    返回:存储有 html 中提取出的关键信息的数组
    '''
    bsobj = bs4.BeautifulSoup(html, 'html.parser')
    info = []

    # 获取电影列表
    tbList = bsobj.find_all('table', attrs={'class': 'tbspan'})

    # 对电影列表中的每一部电影单独处理
    for item in tbList:

        movie = []
        score = item.find_all('tr')[2].find_all('td')[1].find_all('font')[1].text
        link = item.b.find_all('a')[1]
        # 获取电影的名称
        name = link["title"]
        # 获取详情页面的 url
        url = 域名 + link["href"]
        # 将数据存放到电影信息列表里
        movie.append('20')
        movie.append('古装片')
        movie.append(name)
        movie.append(score)
        movie.append(url)

        try:
            # 访问电影的详情页面,查找电影下载的磁力链接
            temp = bs4.BeautifulSoup(get_data(url), 'html.parser')
            tbody = temp.find_all('tbody')

            # 下载链接有多个(也可能没有),这里将所有链接都放进来
            for i in tbody:
                download = i.a.text
                movie.append(download)

            # print(movie)
            # 将此电影的信息加入到电影列表中
            info.append(movie)
        except Exception as e:
            print(e)
    return info

def save_data(data):
    '''
    功能:将 data 中的信息输出到文件中/或数据库中。
    参数:data 将要保存的数据
    '''
    # print(data)

    db = pymysql.connect(host='localhost', user='root', password='123456', port=3306, db = 'film')
    cur = db.cursor()  ##获取游标
    sql3 = 'insert into t_video_film(film_type,film_type_name,film_name) values(%s,%s,%s)'
    sql4 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score) values(%s,%s,%s,%s)'
    sql5 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link) values(%s,%s,%s,%s,%s)'
    sql6 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1) values(%s,%s,%s,%s,%s,%s)'
    sql7 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1,film_magnet_2) values(%s,%s,%s,%s,%s,%s,%s)'
    sql8 = 'insert into t_video_film(film_type,film_type_name,film_name,film_score,film_link,film_magnet_1,film_magnet_2,film_magnet_3) values(%s,%s,%s,%s,%s,%s,%s,%s)'
    for i in data:
        print(i)
        if len(i) == 3:
            cur.execute(sql3, (i[0], i[1], i[2]))
        elif len(i) == 4:
            cur.execute(sql4, (i[0], i[1], i[2], i[3]))
        elif len(i) == 5:
            cur.execute(sql5, (i[0], i[1], i[2], i[3], i[4]))
        elif len(i) == 6:
            cur.execute(sql6, (i[0], i[1], i[2], i[3], i[4], i[5]))
        elif len(i) == 7:
            cur.execute(sql7, (i[0], i[1], i[2], i[3], i[4], i[5], i[6]))
        else:
            cur.execute(sql8, (i[0], i[1], i[2], i[3], i[4], i[5], i[6], i[7]))
    db.commit()


'''
<a href="/0/">剧情片</a> 6687/6804
<a href="/1/">喜剧片</a> 4203/4263
<a href="/2/">动作片</a> 3698/3756
<a href="/3/">爱情片</a> 2518/2561
<a href="/4/">科幻片</a> 1256/1258  
<a href="/5/">动画片</a> 936/988
<a href="/6/">悬疑片</a> 1424/1428
<a href="/7/">惊悚片</a> 3759/3792
<a href="/8/">恐怖片</a> 1547/1563
<a href="/9/">纪录片</a> 237/238
<a href="/11/">音乐歌舞题材电影</a>  289/289
<a href="/12/">传记片</a> 418/430
<a href="/13/">历史片</a> 568/572
<a href="/14/">战争片</a> 637/652
<a href="/15/">犯罪片</a> 2198/2227
<a href="/16/">奇幻电影</a> 1276/1279
<a href="/17/">冒险电影</a> /1727  58
<a href="/18/">灾难片</a> 81/81 3
<a href="/19/">武侠片</a> 75/75 3
<a href="/20/">古装片</a> 196/197 7
'''
def main():
    # 循环爬取多页数据
    for page in range(1, 8):
        print('正在爬取:第' + str(page) + '页......')
        # 根据之前分析的 URL 的组成结构,构造新的 url
        if page == 1:
            index = 'index'
        else:
            index = 'index_' + str(page)
        url = 域名 + index + '.html'
        # 依次调用网络请求函数,网页解析函数,数据存储函数,爬取并保存该页数据
        html = get_data(url)
        movies = parse_data(html)
        save_data(movies)
        print('第' + str(page) + '页完成!')
if __name__ == '__main__':
    print('爬虫启动成功!')
    main()
    print('爬虫执行完毕!')
Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐