Scrapy+Selenium爬取动态渲染网站

1.简介

Selenium是一个用于Web应用程序测试的工具。直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Firefox,Safari,Chrome,Opera等,在爬虫上则是模拟正常用户访问网页并获取数据。

2.安装 Selenium

1
> pip install selenium

3.安装驱动

模拟真正的用户操作当然需要选择好用来操作的浏览器,根据浏览器来安装相应的驱动调起。

3.1 Chrome

使用selenium驱动chrome浏览器需要下载chromedriver,而且chromedriver版本需要与chrome的版本对应,版本错误的话则会运行报错。

查看chrome的版本,可通过帮助 > 关于Google Chrome(G)

下载chromedriver可以通过淘宝镜像地址:http://npm.taobao.org/mirrors/chromedriver/ 。最新的镜像与Chrome同名,尽量选择版本相近的避免兼容问题,镜像下notes.txt可查看当前驱动支持的版本。

选择合适的版本下载,下载完解压将chromedriver.exe放在有设置环境变量的目录下,小编是放在python的安装目录下的,即python.exe所在的目录。

3.2 Firefox

使用selenium驱动Firefox浏览器需要下载geckodriver,查看浏览器版本通过帮助 > 关于 Firefox

下载geckodriver可通过mozilla的仓库地址:https://github.com/mozilla/geckodriver/releases。

选择合适的版本下载,解压后geckodriver.exe同样也是放在python的安装目录下。

3.3 其它浏览器驱动下载

Opera:http://npm.taobao.org/mirrors/operadriver/

IE:http://selenium-release.storage.googleapis.com/index.html (版本号要与selenium的版本一致,查看安装的selenium版本,可通过pip show selenium)如果没有vpn可能会打不开,可点击下载3.14.0版本的。

4.Selenium使用

4.1 Chrome 配置

1
2
3
4
5
6
options = webdriver.ChromeOptions()
## 无界面
# options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=options)
driver.set_window_size(1366, 768)
driver.set_page_load_timeout(self.timeout)

注意Chrome可能需要管理员权限相关配置,小编习惯性用Firefox😂

4.2 Firefox 配置

1
2
3
4
5
6
7
# 实例化参数对象
options = webdriver.FirefoxOptions()
# 无界面
# options.add_argument('--headless')
driver = webdriver.Firefox(firefox_options=options)
driver.set_window_size(1400, 700)
driver.set_page_load_timeout(self.timeout)

4.3 不显示打开浏览器的界面

有的时候我们不想要看到爬取的一步步操作,只关心结果,则可以在参数配置

1
2
# 无界面
options.add_argument('--headless')

4.4 禁用浏览器弹窗

不是页面弹窗,是浏览器设置里的弹窗。在打开浏览器时,使用参数配置关闭
Firefox

1
2
options.set_preference('dom.webnotifications.enabled', False)
options.set_preference('dom.push.enabled', False)

Chrome

1
2
3
4
5
6
prefs = {
'profile.default_content_setting_values': {
'notifications': 2
}
}
options.add_experimental_option('prefs', prefs)

4.5 driver属性和方法

  • 页面加载

    1
    driver.get("http://www.baidu.com")
  • 关闭浏览器

    1
    2
    # 爬虫结束关闭浏览器
    driver.close()
  • 获取当前url

    1
    driver.current_url
  • 刷新

    1
    driver.refresh()
  • 页面标题

    1
    driver.title
  • 页面渲染后的源码

    1
    driver.page_source
  • 获取窗口信息

    1
    driver.get_window_rect()

    获取当前窗口的x,y坐标和当前窗口的高度和宽度,如:{‘height’: 1366, ‘width’: 768, ‘x’: 0, ‘y’: 200}

  • 设置 User Agent(Firefox为例)

    1
    2
    3
    profile = webdriver.FirefoxProfile()
    profile.set_preference("general.useragent.override", "some UA string")
    driver = webdriver.Firefox(profile=profile)
  • 执行js脚本

    使用driver.execute_script([js脚本],*args)同步执行,如滑动到第一个class为cm-explain-bottom的元素位置。

    1
    2
    driver.execute_script(
    "document.getElementsByClassName('cm-explain-bottom')[0].scrollIntoView(true)")

    异步执行使用driver.execute_async_script([js脚本],*args),*argsw为执行js代码要传入的参数。

  • 查找元素

    返回一个WebElement对象。

    • 通过id属性:element = driver.find_element_by_id("coolestWidgetEvah")
    • 通过class属性:cheeses = driver.find_elements_by_class_name("cheese")
    • 通过标签名:frame = driver.find_element_by_tag_name("iframe")
    • 通过css选择器:cheese = driver.find_element_by_css_selector("#food span.dairy.aged")
    • 通过name属性:cheese = driver.find_element_by_name("cheese")
    • 通过xpath:inputs = driver.find_elements_by_xpath("//input")
    • 通过链接文本(完全匹配):cheese = driver.find_element_by_link_text("cheese")
    • 通过链接文本(部分匹配):cheese = driver.find_element_by_partial_link_text("cheese")
  • 元素(WebElement)的属性和方法

    • 标签下文本:element.text
    • 点击:element.click()
    • 表单提交:element.submit()
    • 输入:element.send_keys(123)

    • 示例:

      1
      2
      3
      4
      5
      6
      7
      8
      9
      # 等待邮箱和密码可定位及登录按钮可提交,清空输入框,分别输入用户名密码点击提交按钮
      email = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#email")))
      passwd = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#pass")))
      submit = self.wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#loginbutton')))
      email.clear()
      passwd.clear()
      email.send_keys(user)
      passwd.send_keys(password)
      submit.click()
  • Cookie操作

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    driver.get("http://www.example.com")
    # 给当前url域设置cookie
    # name的值对应cookie key,value的值对应cookie value
    driver.add_cookie({'name':'key', 'value':'value', 'path':'/'})
    # 可选的属性
    # 'domain' -> String,
    # 'secure' -> Boolean,
    # 'expiry' -> Milliseconds since the Epoch it should expire.

    # 输出当前url所有的Cookie
    for cookie in driver.get_cookies():
    print "%s -> %s" % (cookie['name'], cookie['value'])

    # 通过name删除Cookie
    driver.delete_cookie("CookieName")
    # 删除所有的Cookie
    driver.delete_all_cookies()
  • 切换页面框架或窗口

    1
    driver.switch_to.window("windowName")

    切换默认框架:driver.switch_to.default_content()

    切换最新窗口:

    1
    2
    3
    windows = driver.window_handles
    # 切换到最新打开的窗口中
    switch_to.window(windows[-1])
  • 获取最新的alert弹窗

    1
    2
    3
    alert = driver.switch_to.alert
    # 关闭弹窗
    alert.dismiss()
  • 当前的url返回或者跟进

    1
    2
    driver.forward()
    driver.back()
  • 截屏

    1
    2
    3
    4
    5
    6
    # 返回页面的base64编码字符串
    base64 = driver.get_screenshot_as_base64()
    # 返回保存到文件的结果
    result = driver.get_screenshot_as_file("D:\\example.png")
    # png格式的二进制字符串
    pngSrc = driver.get_screenshot_as_png()

使用Selenium爬取七麦数据APP排行榜:点击前往

-------------本文结束啦 感谢您的阅读-------------
所谓向日葵族 wechat
💡 更多好文欢迎关注我的公众号~
觉得不错的话,点个赞🌟吧~
0%