提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

爬取链家网二手房数据并保存到mongodb中

文章目录

  • 前言

  • 一、爬虫的介绍

  • 二、协程的介绍

  • 三、css选择器

  • 四、基于asyncio、aiohttp库爬取链家网的二手房数据

  • 五、保存到mongodb中

  • 六、总代码
  • 七、总结

 

前言

随着人们对房子需求的增加，大量的中介利用自己手中的数据库在赚差价，通过本篇文章利用爬虫打造自己的房源数据库。

提示：以下是本篇文章正文内容，下面案例可供参考

一、爬虫的介绍

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

常见的爬虫库有requests、scrapy。通过这些库爬取网页源代码在通过解析手段进行解析最终的到想要的信息。常见的解析手段有xpath、css选择器、正则表达式。

二、协程的介绍

协程不是进程或线程，其执行过程更类似于子例程，或者说不带返回值的函数调用。一个程序可以包含多个协程，可以对比与一个进程包含多个线程，因而下面我们来比较协程和线程。我们知道多个线程相对独立，有自己的上下文，切换受系统控制；而协程也相对独立，有自己的上下文，但是其切换由自己控制，由当前协程切换到其他协程由当前协程来控制。总的来说利用协程可以让你的爬取速度更加的快，可以多条数据一起爬取。

import asyncio
import aiohttp 
tasks=[]
for url in urls:
    c=get_page(url)
    task=asyncio.ensure_future(c)
    tasks.append(task)  #把多个task任务放在列表里方便协程操作
loop=asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

三、css选择器

css选择器是常见的解析数据的方法，使用前要先把网页源码封装成Selector对象，才能使用css选择器进行解析。

import parsel
c = parsel.Selector(v)

常见的css语法如下

选择器例子例子描述CSS
.class.intro选择 class="intro" 的所有元素。1
#id#firstname选择 id="firstname" 的所有元素。1
**选择所有元素。2
elementp选择所有 <p> 元素。1
element,elementdiv,p选择所有 <div> 元素和所有 <p> 元素。1
element elementdiv p选择 <div> 元素内部的所有 <p> 元素。1
element>elementdiv>p选择父元素为 <div> 元素的所有 <p> 元素。2
element+elementdiv+p选择紧接在 <div> 元素之后的所有 <p> 元素。2
[attribute][target]选择带有 target 属性所有元素。2
[attribute=value][target=_blank]选择 target="_blank" 的所有元素。2
[attribute~=value][title~=flower]选择 title 属性包含单词 "flower" 的所有元素。2
[attribute|=value][lang|=en]选择 lang 属性值以 "en" 开头的所有元素。2
:linka:link选择所有未被访问的链接。1
:visiteda:visited选择所有已被访问的链接。1
:activea:active选择活动链接。1
:hovera:hover选择鼠标指针位于其上的链接。1
:focusinput:focus选择获得焦点的 input 元素。2
:first-letterp:first-letter选择每个 <p> 元素的首字母。1
:first-linep:first-line选择每个 <p> 元素的首行。1
:first-childp:first-child选择属于父元素的第一个子元素的每个 <p> 元素。2
:beforep:before在每个 <p> 元素的内容之前插入内容。2
:afterp:after在每个 <p> 元素的内容之后插入内容。2
:lang(language)p:lang(it)选择带有以 "it" 开头的 lang 属性值的每个 <p> 元素。2
element1~element2p~ul选择前面有 <p> 元素的每个 <ul> 元素。3
[attribute^=value]a[src^="https"]选择其 src 属性值以 "https" 开头的每个 <a> 元素。3
[attribute$=value]a[src$=".pdf"]选择其 src 属性以 ".pdf" 结尾的所有 <a> 元素。3
[attribute*=value]a[src*="abc"]选择其 src 属性中包含 "abc" 子串的每个 <a> 元素。3
:first-of-typep:first-of-type选择属于其父元素的首个 <p> 元素的每个 <p> 元素。3
:last-of-typep:last-of-type选择属于其父元素的最后 <p> 元素的每个 <p> 元素。3
:only-of-typep:only-of-type选择属于其父元素唯一的 <p> 元素的每个 <p> 元素。3
:only-childp:only-child选择属于其父元素的唯一子元素的每个 <p> 元素。3
:nth-child(n)p:nth-child(2)选择属于其父元素的第二个子元素的每个 <p> 元素。3
:nth-last-child(n)p:nth-last-child(2)同上，从最后一个子元素开始计数。3
:nth-of-type(n)p:nth-of-type(2)选择属于其父元素第二个 <p> 元素的每个 <p> 元素。3
:nth-last-of-type(n)p:nth-last-of-type(2)同上，但是从最后一个子元素开始计数。3
:last-childp:last-child选择属于其父元素最后一个子元素每个 <p> 元素。3
:root:root选择文档的根元素。3
:emptyp:empty选择没有子元素的每个 <p> 元素（包括文本节点）。3
:target#news:target选择当前活动的 #news 元素。3
:enabledinput:enabled选择每个启用的 <input> 元素。3
:disabledinput:disabled选择每个禁用的 <input> 元素3
:checkedinput:checked选择每个被选中的 <input> 元素。3
:not(selector):not(p)选择非 <p> 元素的每个元素。3
::selection::selection选择被用户选取的元素部分。3

转载于：CSS选择器语法&示例 - ☆星空物语☆ - 博客园 (cnblogs.com)

四、基于asyncio、aiohttp库爬取链家网的二手房数据

很多小伙伴也许好奇这里为什么不用requests库，这里的话是因为协程是异步操作，而requests库爬取源代码是同步操作，一旦用了requests库这个协程就会停止就什也得不到了，所以不能用requests库，那么这里用怎么呢？在这里我们用aiohttp.ClientSession()里面封装好的get方法。要注意的是这里面还有一个挂起操作，这也是异步爬虫的一大特点，这样可以让爬虫运行更快。

urls=[]
for a in range(1,101):
    url = "https://cq.lianjia.com/ershoufang/pg{}/?utm_source=baidu&utm_medium=ppc&utm_term=%E9%93%BE%E5%AE%B6%E7%BD%91&utm_content=%E5%93%81%E7%89%8C&utm_campaign=%E9%87%8D%E5%BA%86_%E6%88%90%E4%BA%A4_%E7%9F%AD%E8%AF%AD".format(a)
    urls.append(url)
async def get_page(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36"}
    async with aiohttp.ClientSession() as session:
        async with await session.get(url, headers=headers) as d:  #因为异步爬虫遇到同步操作会停止所以这里没有用requset.get()方法,这里还有一个挂起操作。
            v = await d.text()
            c = parsel.Selector(v) #创建parsel.Selector对象,用于css选择器解析
            p = c.css(".clear.LOGCLICKDATA")
            for i in p:
                标题 = i.css(".title a::text").get().replace(" ", "-")
                地址 = "-".join(i.css(".positionInfo a::text").getall())
                房源信息 = i.css(".houseInfo ::text").get().split("|")
                房间数 = 房源信息[0]
                面积 =float(房源信息[1].replace("平米",""))
                朝向 = 房源信息[2].strip()
                装修方式 = 房源信息[3].strip()
                楼层 = 房源信息[4].strip()
                楼型 = 房源信息[-1].strip()
                单价 = int(i.css(".unitPrice ::text").get().replace("单价", "").replace("元/平米", ""))
                总价 = float(i.css(".totalPrice ::text").get())

 

再就是把url封装成task任务方便协程循环

import asyncio
import aiohttp
tasks=[]
for url in urls:
    c=get_page(url)
    task=asyncio.ensure_future(c)
    tasks.append(task)  #把多个task任务放在列表里方便协程操作
loop=asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

五、保存到mongodb中

首先要做的就是在把爬取了的数据封装成字典形式方便执行mongodb的插入操作

result = {
                    'zl_标题': 标题,
                    'zl_地址': 地址,
                    'zl_房源信息': {
                        'zl_房间数': 房间数,
                        'zl_面积(平方米)': 面积,
                        'zl_朝向': 朝向,                        #封装成字典形式方便插入操作
                        'zl_装修方式': 装修方式,
                        'zl_楼层': 楼层,
                        'zl_楼型': 楼型
                    },
                    'zl_单价(元/平米)': 单价,
                    'zl_总价(万元)': 总价
                }

其次就是连接数据库，并插入数据

import pymongo
client=pymongo.MongoClient('localhost',27017)
db=client['xxxx']  #这里改成你所要创建的数据库名字，也可以是你已有的数据库
db['xxxxxx'].insert(result)  #这里改成你所要创建的集合名字，也可以是你已有的集合

六、总代码

import asyncio
import aiohttp   #原生协程提高爬取速率
import parsel
import pymongo
client=pymongo.MongoClient('localhost',27017)
db=client['xxxx']  #这里改成你所要创建的数据库名字，也可以是你已有的数据库
urls=[]
for a in range(1,101):
    url = "https://cq.lianjia.com/ershoufang/pg{}/?utm_source=baidu&utm_medium=ppc&utm_term=%E9%93%BE%E5%AE%B6%E7%BD%91&utm_content=%E5%93%81%E7%89%8C&utm_campaign=%E9%87%8D%E5%BA%86_%E6%88%90%E4%BA%A4_%E7%9F%AD%E8%AF%AD".format(a)
    urls.append(url)
async def get_page(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36"}
    async with aiohttp.ClientSession() as session:
        async with await session.get(url, headers=headers) as d:  #因为异步爬虫遇到同步操作会停止所以这里没有用requset.get()方法,这里还有一个挂起操作。
            v = await d.text()
            c = parsel.Selector(v) #创建parsel.Selector对象,用于css选择器解析
            p = c.css(".clear.LOGCLICKDATA")
            for i in p:
                标题 = i.css(".title a::text").get().replace(" ", "-")
                地址 = "-".join(i.css(".positionInfo a::text").getall())
                房源信息 = i.css(".houseInfo ::text").get().split("|")
                房间数 = 房源信息[0]
                面积 =float(房源信息[1].replace("平米",""))
                朝向 = 房源信息[2].strip()
                装修方式 = 房源信息[3].strip()
                楼层 = 房源信息[4].strip()
                楼型 = 房源信息[-1].strip()
                单价 = int(i.css(".unitPrice ::text").get().replace("单价", "").replace("元/平米", ""))
                总价 = float(i.css(".totalPrice ::text").get())
                print("正在爬取",标题)
                result = {
                    'zl_标题': 标题,
                    'zl_地址': 地址,
                    'zl_房源信息': {
                        'zl_房间数': 房间数,
                        'zl_面积(平方米)': 面积,
                        'zl_朝向': 朝向,                        #封装成字典形式方便插入操作
                        'zl_装修方式': 装修方式,
                        'zl_楼层': 楼层,
                        'zl_楼型': 楼型
                    },
                    'zl_单价(元/平米)': 单价,
                    'zl_总价(万元)': 总价
                }
                #print(result)
                db['xxxxxx'].insert(result)  #这里改成你所要创建的集合名字，也可以是你已有的集合
tasks=[]
for url in urls:
    c=get_page(url)
    task=asyncio.ensure_future(c)
    tasks.append(task)  #把多个task任务放在列表里方便协程操作
loop=asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

运行效果

七、总结

总的说用了协程写爬虫过后，效率提高了不少。希望这篇文章对于大家有所帮助。

# 爬虫 # mongodb # python
Logo
华为云开发者联盟

为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。

更多推荐

cover

华为云致力推进全域Serverless时代，引领技术创新，赋能行业实践

avatar 华为云开发者联盟
cover

基于Serverless服务构建千万车辆数据实时处理的车联网业务

avatar 华为云开发者联盟
cover

O3使能伙伴服务作业平台维护作业专题

avatar 华为云开发者联盟