python中使用selenium进行爬虫时,导致(内存已缓存)备用内存占用过大导致崩溃问题,3个解决方案
在使用python进行爬虫的时候,使用selenium进行爬取的时候经常会出现已缓存过大的情况,如果缓存出现过大之后再次执行的话就会计算机拒绝,但是这个时候我们的内存又有很多空间可以使用,一开始我以为是占用文件过多然后点360的那个进行文件整理和清理垃圾,结果效果一样还是无法使用,再买一个内存条的话又不想花钱了,一番检查后发现是这个已缓存占用过大也就是备用内存。......
在使用python进行爬虫的时候,使用selenium进行爬取的时候经常会出现已缓存过大的情况,如果缓存出现过大之后再次执行的话就会计算机拒绝,但是这个时候我们的内存又有很多空间可以使用,一开始我以为是占用文件过多然后点360的那个进行文件整理和清理垃圾,结果效果一样还是无法使用,再买一个内存条的话又不想花钱了,一番检查后发现是这个已缓存占用过大也就是备用内存。
一开始我想到的方案就是selenium里面去释放掉内存,例如driver.quit driver.close drive.fresh 但是效果并不大,或者去整理掉计算机用文件去清理,效果只是处理掉了些没用的文件对我的内存并没有作用,那么如果彻底解决这些我找了一段时间发现去清理掉这个已缓存内存空间就行,但是找又找不到,后面才发现原来人们叫他备用内存。
1.关机重启休眠
这些都可以释放掉备用内存,但是我的爬虫需要一直执行,不可能到了一段时间再关机重启那样有些数据就会找不到,所以这个方案效果不大
2.RamMap
RamMap
这个软件就有点效果了使用也很简单点Empty - Empty Standby List就行,然后就可以一键释放掉备用内存的全部内存
3.lntelligent standby list cleaner
这个软件是一个可以设置定时清理缓存,一到一定的程度就可以自动帮你在后台清理缓存非常好用使用方法也很简单用管理员模式打开软件
点击purge standby list就可以释放掉你的备用内存,
wanted timer resolution 就是指定需要开启的次数
the list size at least就是设置当备用内存到多大的时候开始执行比如你设置8096就是备用内存到8G的时候就执行,
下面那个就是自由内存小于多少的时候开始执行
最后点击start就可以执行,执行后软件就在后台运行
点击stop就关闭执行
更多推荐
所有评论(0)