使用Selenium来爬取网页内容
Selenium Python 绑定提供了一个简单的 API 来使用 Selenium WebDriver 编写功能/验收测试。通过 Selenium Python API，我们可以直观地访问 Selenium WebDriver 的所有功能。
简单介绍一下Selenium，以下是官方文档的解释：
Selenium Python 绑定提供了一个简单的 API 来使用 Selenium WebDriver 编写功能/验收测试。通过 Selenium Python API，我们可以直观地访问 Selenium WebDriver 的所有功能。
简单来说，Selenium就是python下面的一个工具包，他能够通过API调用Selenium WebDriver的功能。
那么如何通过Selenium来爬取数据呢？
首先是要做好准备工作：
第一步，下载Selenium。可以直接在pycharm中下载，也可以从终端下载使用pip安装 selenium 包。
pip install selenium第二步，下载驱动。Selenium 需要驱动程序来与所选浏览器交互。例如，Firefox 需要geckodriver，Google需要googleDriver，需要先安装它们。
一些更流行的浏览器驱动程序的链接如下：
Google：https://sites.google.com/chromium.org/driver/
MicrosoftEdge：https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/
Firefox：https://github.com/mozilla/geckodriver/releases
下载好之后需要配置一下环境，将它放在/usr/bin或/usr/local/bin中。
否则会报错误 selenium.common.exceptions.WebDriverException: Message: 'geckodriver' executable needs to be in PATH。
第三步，开始爬取数据
案例代码如下：
from selenium import webdriver
from selenium.webdriver.common.by import By
def getData_name():
driver = webdriver.Chrome(r'E:\pythonProject1\chromedriver.exe') #浏览器驱动
driver.get('https://www.ccgp-chongqing.gov.cn/info-notice/procument-notice-detail/1111264751247470592?title=%E9%87%8D%E5%BA%86%E5%B7%A5%E7%A8%8B%E8%81%8C%E4%B8%9A%E6%8A%80%E6%9C%AF%E5%AD%A6%E9%99%A2%E6%97%A0%E4%BA%BA%E6%9C%BA%E5%A4%9A%E5%85%83%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86%E4%B8%8E%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F%E8%AE%BE%E5%A4%87(CQS22A00383)%E4%B8%AD%E6%A0%87%EF%BC%88%E6%88%90%E4%BA%A4%EF%BC%89%E7%BB%93%E6%9E%9C%E5%85%AC%E5%91%8A') #网址
driver.implicitly_wait(10) #停留十秒
with open('D:/house.txt', 'a+') as f:
#for i in range(1,7): #手动设置爬取6条数据
try:
# if i > 2 :
each1 = driver.find_elements(By.XPATH,"//div/h4/span[@style='font-size:18px;margin-right:20px;']") #相应属性的xpath路径
# else:
# each1 = driver.find_elements(By.XPATH,"//*[@id='index']/div/div[1]/div[3]/div["+str(i)+"]/div/div[2]/p") #相应属性的xpath路径
# print(i)
print(each1[0])
f.write(each1[0].text + "\n")
except:
print("第{0}条数据处理失败".format(1))
if __name__ == '__main__':
getData_name()我们需要在页面定位到需要爬取的元素的位置，然后进行爬取。
定位方式如下：
1、按照ID定位
如
<html>
<body>
<form id="loginForm">
<input name="username" type="text" />
<input name="password" type="password" />
<input name="continue" type="submit" value="Login" />
</form>
</body>
</html>需要定位到表单元素，通过
login_form = driver.find_element(By.ID, 'loginForm')2、按名称定位
<html>
<body>
<form id="loginForm">
<input name="username" type="text" />
<input name="password" type="password" />
<input name="continue" type="submit" value="Login" />
<input name="continue" type="button" value="Clear" />
</form>
</body>
</html>用户名和密码元素可以这样定位：
username = driver.find_element(By.NAME, 'username')
password = driver.find_element(By.NAME, 'password')3、通过 XPath 定位
<html>
<body>
<form id="loginForm">
<input name="username" type="text" />
<input name="password" type="password" />
<input name="continue" type="submit" value="Login" />
<input name="continue" type="button" value="Clear" />
</form>
</body>
</html>表单元素可以这样定位：
login_form = driver.find_element(By.XPATH, "/html/body/form[1]")
或者
login_form = driver.find_element(By.XPATH, "//form[1]")
或者
login_form = driver.find_element(By.XPATH, "//form[@id='loginForm']")用户名元素可以像这样定位：
username = driver.find_element(By.XPATH, "//form[input/@name='username']")
或者
username = driver.find_element(By.XPATH, "//form[@id='loginForm']/input[1]")
或者
username = driver.find_element(By.XPATH, "//input[@name='username']")XPath的定位比较复杂多样，这里涵盖不全，若果感兴趣可以去
4、通过链接文本定位超链接
<html>
<body>
<p>Are you sure you want to do this?</p>
<a href="continue.html">Continue</a>
<a href="cancel.html">Cancel</a>
</body>
</html>continue.html 链接可以这样定位：
continue_link = driver.find_element(By.LINK_TEXT, 'Continue')
continue_link = driver.find_element(By.PARTIAL_LINK_TEXT, 'Conti')5、按标签名称定位元素
<html>
<body>
<h1>Welcome</h1>
<p>Site content goes here.</p>
</body>
</html>标题 (p) 元素可以这样定位：
heading1 = driver.find_element(By.TAG_NAME, 'p')
为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。
更多推荐
4
0- 0
已为社区贡献7条内容
所有评论(0)