主页 > Python结构 > 正文

Python爬虫之selenium库运用详解

什么是Selenium

selenium 是一套完好的web应用程序测验体系,包括了测验的录制(selenium IDE),编写及运转(Selenium Remote Control)和测验的并行处理(Selenium Grid)。Selenium的中心Selenium Core根据JsUnit,完全由JavaScript编写,因而能够用于任何支撑JavaScript的浏览器上。

selenium能够模仿实在浏览器,主动化测验东西,支撑多种浏览器,爬虫中首要用来处理JavaScript烘托问题。

selenium根本运用

用python写爬虫的时分,首要用的是selenium的Webdriver,咱们能够经过下面的办法先看看Selenium.Webdriver支撑哪些浏览器

python@vztug.com:~/python35$ python
Python 3.5.2 (default, Aug 24 2016, 16:48:29) 
[GCC 4.2.1 Compatible Apple LLVM 7.3.0 (clang-703.0.31)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> help(webdriver)

履行成果如下,从成果中咱们也能够看出根本支撑了常见的一切浏览器:

......
PACKAGE CONTENTS
    android (package)
    blackberry (package)
    chrome (package)
    common (package)
    edge (package)
    firefox (package)
    ie (package)
    opera (package)
    phantomjs (package)
    remote (package)
    safari (package)
    support (package)
    webkitgtk (package)
......

这儿要说一下比较重要的PhantomJS,PhantomJS是一个而根据WebKit的服务端JavaScript API,支撑Web而不需求浏览器支撑,其快速、原生支撑各种Web规范:Dom处理,CSS选择器,JSON等等。PhantomJS能够用用于页面主动化、网络监测、网页截屏,以及无界面测验


声明浏览器目标

上面咱们知道了selenium支撑许多的浏览器,可是假如想要声明并调用浏览器则需求:

from selenium import webdriver
browser = webdriver.Chrome()
browser = webdriver.Firefox()

这儿只写了两个比如,当然了其他的支撑的浏览器都能够经过这种办法调用


拜访页面

from selenium import webdriver
browser = webdriver.Chrome()
browser.get("http://www.vztug.com")
print(browser.page_source)
browser.close()


上述代码运转后,会主动翻开Chrome浏览器,并登陆百度打印百度主页的源代码,然后封闭浏览器


查找元素

单个元素查找

from selenium import webdriver
browser = webdriver.Chrome()
browser.get("http://bbs.vztug.com")
input_first = browser.find_element_by_id("q")
input_second = browser.find_element_by_css_selector("#q")
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first)
print(input_second)
print(input_third)
browser.close()


这儿咱们经过三种不同的办法去获取呼应的元素,第一种是经过id的办法,第二个中是CSS选择器,第三种是xpath选择器,成果都是相同的。

这儿罗列一下常用的查找元素办法:

find_element_by_name

find_element_by_id

find_element_by_xpath

find_element_by_link_text

find_element_by_partial_link_text

find_element_by_tag_name

find_element_by_class_name

find_element_by_css_selector


下面这种办法是比较通用的一种办法:这儿需求记住By模块所以需求导入

from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.common.by import By
browser = webdriver.Chrome()
browser.get("http://bbs.vztug.com")
input_first = browser.find_element(By.ID,"q")
print(input_first)
browser.close()

当然这种办法和上述的办法是通用的,browser.find_element(By.ID,"q")这儿By.ID中的ID能够替换为其他几个


多个元素查找

其实多个元素和单个元素的差异,举个比如:find_elements,单个元素是find_element,其他运用上没什么差异,经过其间的一个比如演示:

from selenium import webdriver
browser = webdriver.Chrome()
browser.get("http://bbs.vztug.com")
lis = browser.find_elements_by_css_selector('.service-bd li')
print(lis)
browser.close()

这样取得便是一个列表


当然上面的办法也是能够经过导入from selenium.webdriver.common.by import By 这种办法完成

lis = browser.find_elements(By.CSS_SELECTOR,'.service-bd li')

相同的在单个元素中查找的办法在多个元素查找中相同存在:

find_elements_by_name

find_elements_by_id

find_elements_by_xpath

find_elements_by_link_text

find_elements_by_partial_link_text

find_elements_by_tag_name

find_elements_by_class_name

find_elements_by_css_selector


元素交互操作

关于获取的元素调用交互办法

from selenium import webdriver
import time
browser = webdriver.Chrome()
browser.get("http://www.taobao.com")
input_str = browser.find_element_by_id('q')
input_str.send_keys("ipad")
time.sleep(1)
input_str.clear()
input_str.send_keys("MakBook pro")
button = browser.find_element_by_class_name('btn-search')
button.click()


运转的成果能够看出程序会主动翻开Chrome浏览器并翻开淘宝输入ipad,然后删去,从头输入MakBook pro,并点击查找

Selenium一切的api文档:http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains


交互动作

将动作附加到动作链中串行履行

from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Chrome()
url = "http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable"
browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
actions.drag_and_drop(source, target)
actions.perform()

更多操作参阅:http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains


履行JavaScript

这是一个十分有用的办法,这儿就能够直接调用js办法来完成一些操作,

下面的比如是经过登录知乎然后经过js翻到页面底部,并弹框提示

from selenium import webdriver
browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')


获取元素特点

get_attribute('class')
from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))


获取文本值

from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.text)

获取ID,方位,标签名

id

location

tag_name

size

from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)


Frame

在许多网页中都是有Frame标签,所以咱们爬取数据的时分就涉及到切入到frame中以及切出来的问题,经过下面的比如演示

这儿常用的是switch_to.from()和switch_to.parent_frame()

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
print(source)
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)


等候

当运用了隐式等候履行测验的时分,假如 WebDriver没有在 DOM中找到元素,将持续等候,超出设定时刻后则抛出找不到元素的反常, 换句话说,当查找元素或元素并没有当即呈现的时分,隐式等候将等候一段时刻再查找 DOM,默许的时刻是0


隐式等候

到了必定的时刻发现元素还没有加载,则持续等候咱们指定的时刻,假如超过了咱们指定的时刻还没有加载就会抛出反常,假如没有需求等候的时分就现已加载结束就会当即履行

from selenium import webdriver
browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)


显现等候

指定一个等候条件,而且指定一个最长等候时刻,会在这个时刻内进行判别是否满意等候条件,假如建立就会当即回来,假如不建立,就会一向等候,直到等候你指定的最长等候时刻,假如仍是不满意,就会抛出反常,假如满意了就会正常回来

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser, 10)
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))
print(input, button)

上述的比如中的条件:EC.presence_of_element_located()是承认元素是否现已呈现了

EC.element_to_be_clickable()是承认元素是否是可点击的


常用的判别条件:

title_is 标题是某内容

title_contains 标题包括某内容

presence_of_element_located 元素加载出,传入定位元组,如(By.ID, 'p')

visibility_of_element_located 元素可见,传入定位元组

visibility_of 可见,传入元素目标

presence_of_all_elements_located 一切元素加载出

text_to_be_present_in_element 某个元素文本包括某文字

text_to_be_present_in_element_value 某个元素值包括某文字

frame_to_be_available_and_switch_to_it frame加载并切换

invisibility_of_element_located 元素不行见

element_to_be_clickable 元素可点击

staleness_of 判别一个元素是否仍在DOM,可判别页面是否现已改写

element_to_be_selected 元素可选择,传元素目标

element_located_to_be_selected 元素可选择,传入定位元组

element_selection_state_to_be 传入元素目标以及状况,持平回来True,不然回来False

element_located_selection_state_to_be 传入定位元组以及状况,持平回来True,不然回来False

alert_is_present 是否呈现Alert


更多操作参阅:http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions


浏览器的行进和撤退

back()

forward()

import time
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('http://www.vztug.com/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()


cookie操作

get_cookies()

delete_all_cookes()

add_cookie()


from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'zhaofan'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())


选项卡办理

经过履行js指令完成新开选项卡window.open()

不同的选项卡是存在列表里browser.window_handles

经过browser.window_handles[0]就能够操作第一个选项卡


import time
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('http://www.vztug.com')


反常处理

这儿的反常比较复杂,官网的参阅地址:

http://selenium-python.readthedocs.io/api.html#module-selenium.common.exceptions

这儿只进行简略的演示,查找一个不存在的元素

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException
browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
except TimeoutException:
    print('Time Out')
try:
    browser.find_element_by_id('hello')
except NoSuchElementException:
    print('No Element')
finally:
    browser.close()


上一篇:对pandas进行数据预处理的实例解说
下一篇:Django中怎么防备CSRF跨站点恳求假造进犯

PythonTab微信大众号:

Python技能交流合作群 ( 请勿加多个群 ):

群1: 87464755

群2: 333646237

群3: 318130924

群4: 385100854