python爬虫——User-Agent

那么User-Agent到底是什么呢？User-Agent是请求头的一部分。会告诉网站服务器，访问者是通过什么工具来请求的，如果是爬虫请求，一般会拒绝，如果是用户浏览器，就会应答。一、默认User-Agent1.代码import requestsr = requests.get('https://movie.douban.com/')print(r.text)2.结果3.查看默认请求头import

IT技术学习

6214人浏览 · 2022-02-16 23:47:24

IT技术学习 · 2022-02-16 23:47:24 发布

那么User-Agent到底是什么呢？
User-Agent是请求头的一部分。会告诉网站服务器，访问者是通过什么工具来请求的，如果是爬虫请求，一般会拒绝，如果是用户浏览器，就会应答。

一、默认User-Agent

1.代码

import requests


r = requests.get('https://movie.douban.com/')

print(r.text)

2.结果

3.查看默认请求头

import requests


r = requests.get('https://movie.douban.com/')

print(r.request.headers)

二、设置User-Agent

1.参考

2.代码

User-Agent数据复制浏览器里的

import requests

head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0 WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
r = requests.get('https://movie.douban.com/', headers=head)

print(r.text)

可以获取数据了