利用pandas.read_html()直接读取网页中的表格数据
利用pandas.read_html()直接读取网页中的表格数据read_html() 函数是最简单的爬虫,可以爬取静态网页表格数据。但只适合于爬取 table 表格型数据首先分析pandas.read_html() 函数的参数import pandas as pddf=pd.read_html()# 常用的参数io:url、html文本、本地文件等header:标题行flavor:解析器skip
·
利用pandas.read_html()直接读取网页中的表格数据
read_html() 函数是最简单的爬虫,可以爬取静态网页表格数据。
但只适合于爬取 table 表格型数据
- 首先分析pandas.read_html() 函数的参数
import pandas as pd
df=pd.read_html()
# 常用的参数
io:url、html文本、本地文件等
header:标题行
flavor:解析器
skiprows:跳过的行
attrs:属性,例如:attrs = {'id':'table'}
parse_dates:解析日期
# 注意:返回的结果是DataFrame组成的list
## 需要最后加上一个索引[0]
- 当网页中含有多个表格时
选取百度百科中的世界500强企业表格为例
import pandas as pd
df=pd.read_html(io='https://baike.baidu.com/item/%E4%B8%96%E7%95%8C500%E5%BC%BA/640042',header=0)[1]
#因为该网页有多个表格,pd.read_html()生成的该网页内所有表格的list属性
#需要用索引来确定需要提取的表格
df
成果图展现:
- 网页内需要翻页的表格
- 比如:http://eid.csrc.gov.cn/ipo/1017/index.html
# 导入所需要用到的库
df = pd.DataFrame()
for i in range(1,5):
url3 =f"http://eid.csrc.gov.cn/ipo/1017/index_{i}.html"
print(url3)
#可加utf-8,如果乱码
#数据合并
df = pd.concat([df, pd.read_html(url3,header=0)[0]]) # 爬取+合并DataFrame
更多推荐
已为社区贡献2条内容
所有评论(0)