本文目录：

O、requests库介绍

一、requests的安装

二、requests库的七个主要方法

三、response对象的属性

四、理解response的编码

五、理解requests库的异常

六、爬取网页的通用代码框架

七、HTTP的理解

O、requests库介绍

Requests is the only Non-GMO HTTP library for Python, safe for human consumption.

上面是官方介绍，简而言之，requests库是一个非常好用的HTTP请求库，可用于网络请求和网络爬虫等。

一、requests库的安装

Windows平台：

以管理员身份运行cmd,

执行 pip install requests

检测是否安装完成：

import requests
r = requests.get(“http:www.baidu.com”)

r = requests.get(“http://www.baidu.com”)
print(r.status_code)
200

二、requests库的七个主要方法

1.requests.request(methon, url, **kwargs)

构造一个请求，是支撑以下各方法的基础方法。

methon：请求方式

r = requests.request(‘get’, url, **kwargs)

r = requests.request(‘head’, url, **kwargs)

r = requests.request(‘post’, url, **kwargs)

r = requests.request(‘put’, url, **kwargs)

r = requests.request(‘patch’, url, **kwargs)

r = requests.request(‘delete’, url, **kwargs)

r = requests.request(options’, url, **kwargs)

2. requests.get()

获取HTML网页的主要方法，对应HTTP的GET

3. requests.head()

获取HTML网页头信息的方法，对应HTTP的HEAD

4.requests.post()

向HTML网页提交POST请求的，对应HTTP的POST

5.requests.put()

向HTML网页提交局部修改请求，对应HTTP的PUT

6.requests.patch()

向HTML网页提交局部修改请求，对应HTTP的PATCH

7.requests.delete()

向HTML网页提交删除请求，对应HTTP的DELETE

方法使用举例

url = ‘http://httpbin.org/post’

GET方法 requests 的get方法

r = requests.get(url)

r.text

Method Not Allowed

The method is not allowed for the requested URL.

requests.get(url) : 构造一个向服务器请求资源的Requests对象

r ：返回一个包含服务器资源的Response对象

requests.get(url, params=None, **kwargs)

url : 拟获取页面url连接

params : 字典或字节序列，作为参数增加到url中

**kwargs : 12个控制访问的参数 （可选项）

参数介绍:

json：JSON格式的数据，作为Request的内容

data：字典、字节序列或文件对象，作为Request的内容

headers：字典，HTTP定制头

cookies：字典或CookieJar，Request中的cookie

auth：元组，支持HTTP认证功能

files：字典类型，传输文件

timeout：设定超时时间，以秒为单位

proxies：字典类型，设定访问代理服务器，可以增加登录认证

allow_redirects：True/False,默认为True，重定向开关

stream：True/False,默认为True，获取内容立刻下载开关

varify：True/False,默认为True，认证SSL证书开关

cert：本地SSL证书路径

POST方法 requests 的post方法

data = {‘key1’:‘value1’, ‘key2’:‘value2’}
r = requests.post(url, data=data)
print(r.text)

{…

“form”: {
“key1”: “value1”,
“key2”: “value2”
}, …

}

三、response对象的属性

Response 对象包含服务器返回的所有信息，也包含请求的Request信息

r.status_code：HTTP请求的返回状态，200表示连接成功，其余返回码表示连接失败。

r.text：HTTP响应内容的字符串形式，既url对应页面的源码

r.encoding：从HTTP header 中猜测的响应内容编码方式

r.apparent_encoding：从内容中分析出的响应内容编码方式（备选编码方式）

r.content：HTTP响应内容的二进制形式

四、理解response的编码

r.encoding：

如果header中不存在charset，

则认为编码为ISO-8859-1

r.text根据r.encoding显示网页内容

r.apparent_encoding：

根据网页内容分析出编码方式，可以看做是r.encoding的备选

五、理解requests库的异常

“网络连接有风险，异常处理很重要。”

requests库中常用异常介绍：

requests.ConnectionError：网络连接错误异常，如DNS查询失败、拒绝连接等。

requests.HTTPError：HTTP错失异常

requests.URLRequired：URL缺失异常

requests.TooManyRedirects：超过最大重定向次数，产生重定向异常

requests.ConnectTimeout：连接远程服务器超时异常

requests.Timeout：请求URL超时，产生超时异常

异常处理中常用方法:

r.raise_for_status()：

如果不是200，产生异常requests.HTTPError

在方法内部判断r.status_code是否等于200,

不需要增加额外的if语句，

该语句便于利用try-except进行异常处理。

六、爬取网页的通用代码框架

import requests

def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return “产生异常”

if name == “main”:
url = “http://www.baidu.com”
print(getHTMLText(url))

七、HTTP的理解

HTTP (Hypertext Transfer Protocol) 超文本传输协议

HTTP是一个基于"请求与响应"模式的、无状态的应用程序协议。

HTTP协议采用URL作为定位网络资源的标识，URL格式如下：

                        http://host[:port][path]

host：合法的Internet主机域名或IP地址

port：端口号，缺省端口为80

path：请求资源的路径

HTTP URL的理解：

URL（Uniform Resource Locator）统一资源定位符

URL是通过HTTP协议存取资源Internert路径，一个URL对应

一个数据资源。

HTTP协议对资源的操作

GET：请求获取URL位置的资源

HEAD：请求获取URL位置资源的响应消息报告，即获得该资源的头部信息

POST：请求向URL位置的资源后附加新的数据

PUT：请求向URL位置存储一个资源，覆盖原URL位置的资源

PATCH：请求局部更新URL位置的资源，即改变该处资源的部分内容

DELETE：请求删除URL位置存储的资源

理解 PATCH 和 PUT 的区别

假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段

需求：用户修改了UserName，其他不变

1.采用PATCH，仅向URL提交UserName局部更新请求

2.采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除

PATCH的最主要好处：节省网络带宽

---

欢迎关注公众号：全栈黑科技
一起交流学习。