以爬取豆瓣短评为例，豆瓣短评在未登录的情况下只能爬取220条评论，然后就会403。我试过更换代理ip和headers都没用，但使用cookies登录可以解决这个问题。以下是获取cookies的步骤，获取后直接加在headers里面就好。

1.打开要爬取的网页

        如果是爬取豆瓣短评，就打开对应的评论网页，在评论网页中获取cookie。注意这里如果打开的是豆瓣主页，后期爬虫时会遇见403。

2. 打开：右上角省略号→更多工具→开发人员工具

3. 找到“network”，然后ctrl+r加载

4.在“name”这一列，找到你要爬取的网址，点击一下。 

 5.在request headers里面找到cookie，搞定。