python爬虫之bs4模块(超详细)
python爬虫之bs4模块一、bs4简介二、使用方法三、BeautifulSoup四大对象种类(1)tag(2)NavigableString(3)BeautifulSoup(4)Comment四、CSS选择器一、bs4简介即BeautifulSoup,是python种的一个库,最主要的内容就是从网页中抓取数据。Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、
python爬虫之bs4模块(超详细)
一、bs4简介
即BeautifulSoup,是python种的一个库,最主要的内容就是从网页中抓取数据。
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。
Beautiful Soup已成为和lxml、html6lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。
二、使用方法
1.首先导入bs4库
from bs4 import BeautifulSoup
2.然后我们利用requests或者urllib2来打开一个网址(这里以https://www.baidu.com为例)
import requests
url = "https://www.baidu.com"
r1 = requests.get(url,'lxml')
r1.encoding='utf-8'
#print (r1.text)
输出结果:
3.创造一个BeautifulSoup对象
bs_1=BeautifulSoup(r1.text,'lxml')
#print(bs_1)
两个参数:第一个参数是要解析的html文本,第二个参数是使用那种解析器,对于HTML来讲就是html.parser,这个是bs4自带的解析器。
如果一段HTML或XML文档格式不正确的话,那么在不同的解析器中返回的结果可能是不一样的。
解析器 | 使用方法 | 优势 |
---|---|---|
python标准库 | BeautifulSoup(html, “html.parser”) | 1、Python的内置标准库 2、执行速度适中 3、文档容错能力强 |
lxml HTML | BeautifulSoup(html, “lxml”) | 1.速度快 2.文档容错能力强 |
lxml XML | BeautifulSoup(html, [“lxml”, “xml”]) BeautifulSoup(html, “xml”) | 1.速度快 2.唯一支持XML的解析器 |
html5lib | BeautifulSoup(html, “html5lib”) | 1.做好的容错性 2.以游览器的方式解析文档 3.生成HTML5的文档 |
4.然后通过这个对象来实现对获取到的源码进行筛选和处理
print(bs_1.prettify()) #格式化输出全部内容
print(bs_1.标签名)
#标签名有html,head,title,meta,body,script,style等等
三、BeautifulSoup四大对象种类
Beautiful Soup 将复杂HTML文档转换成一个复杂的树形结构,每个节点都是 Python 对象,所有对象可以归纳为4种
(1)tag
Tag对象与 xml 或 html 原生文档中的 tag 相同。
bs_1=BeautifulSoup(r1.text,'lxml')
tag = bs_1.head
print(type(tag))
#<class 'bs4.element.Tag'>
如果不存在,则返回 None,如果存在多个,则返回第一个。
- Name :每个 tag 都有自己的名字
tag.name
# 'head'
- Attributes:tag 的属性是一个字典
tag['class']
# 'boldest'
tag.attrs
# {'class': 'boldest'}
type(tag.attrs)
# <class 'dict'>
- 多值属性:最常见的多值属性是class,多值属性的返回 list
soup = BeautifulSoup('<p class=""></p>')
print(soup.p['class']) # ['body', '']
print(soup.p.attrs) # {'class': ['body', 'aaa']}
如果某个属性看起来好像有多个值,但在任何版本的HTML定义中都没有被定义为多值属性,那么Beautiful Soup会将这个属性作为字符串返回。
a1 = BeautifulSoup('<p id="my id"></p>', 'html.parser')
print(a1.p['id']) # 'my id'
- Text:返回 tag 的所有字符串连成的字符串
- 其他方法
tag.has_attr('id') #返回 tag 是否包含 id 属性
以上代码还可以写成 ’ id ’ in tag.attrs 的形式,之前说过,tag 的属性是一个字典。
(2)NavigableString
字符串常被包含在 tag 内,Beautiful Soup 用 NavigableString 类来包装 tag 中的字符串。但是字符串中不能包含其他 tag。
a1 = BeautifulSoup('<b class="aaa">bbb</b>')
s = a1.b.string
print(s) # bbb
print(type(s)) # <class 'bs4.element.NavigableString'>
(3)BeautifulSoup
BeautifulSoup 对象表示的是一个文档的全部内容。大部分时候,可以把它当作 Tag 对象。但是 BeautifulSoup 对象并不是真正的 HTM L或 XML 的 tag,它没有attribute属性,name 属性是一个值为“[document]”的特殊属性。
(4)Comment
comment一般表示文档的注释部分
a1 = BeautifulSoup("<b><!--This is a comment--></b>")
comment = a1.b.string
print(comment) # This is a comment
print(type(comment)) # <class 'bs4.element.Comment'>
四、CSS选择器
css的规则:
标签名不加任何修饰,类名前加点,id名前加#,在这里用的方法大致是一样的,用到的方法是bs_1.select(),它的返回值是一个列表list
-
通过标签名字
print bs_1.select('title')
-
通过类名
print bs_1.select('.class')
-
通过id
print bs_1.select('#a_1')
组合查找
这里和在写css的格式是一样的
print bs_1.select('.class #id')
#意思是查找.class类下的id是id的元素
子查询
print bs_1.select('head > title')
属性查找
print bs_1.select(p[class="new"])
更多推荐
所有评论(0)