selenium主要解决浏览器中javascript渲染问题而存在的，有时我们爬取过来的网页内容与实际看到的内容是由差别的，这很有可能就是一些数据是由javascript渲染出来的，如何解决这个问题呢？这时可以引入selenium。

1、申明浏览器对象

from selenium import webdriverbrowser=webdriver.Chrome() #使用的是谷歌浏览器

2、访问页面

from selenium import webdriverbrowser=webdriver.Chrome()browser.get('http://www.baidu.com')print(browser.page_source)browser.close()

3、查找元素

（1）单个元素

from selenium import webdriverbrowser=webdriver.Chrome()browser.get('http://www.baidu.com')input1=browser.find_element_by_id('kw')input2=browser.find_element_by_css_selector('#kw')print(input1)print(input2)​​​
     
      
     

另外还有一些其它的查找方法：

find_element_by_namefind_element_by_xpathfind_element_by_link_textfind_element_by_partial_link_textfind_element_by_tag_namefind_element_by_class_namefind_element_by_css_selector

（2）多个元素

from selenium import webdriverbrowser=webdriver.Chrome()browser.get('http://www.taobao.com')li_list=browser.find_elements_by_css_selector('.service-bd li')print(li_list)

得到的是一个列表，内部都是一个个的selenium.webdriver.remote.webelement.WebElement，对个元素的获取以单个元素获取方法无非就是把element变成elements。其方法如下：

find_elements_by_namefind_elements_by_xpathfind_elements_by_link_textfind_elements_by_partial_link_textfind_elements_by_tag_namefind_elements_by_class_namefind_elements_by_css_selector

4、元素交互操作

from selenium import webdriverbrowser=webdriver.Chrome()browser.get('http://www.baidu.com')input=browser.find_element_by_id("kw") #找到input框input.send_keys('book')#给input框赋值button=browser.find_element_by_id('su')#找到提交按钮button.click()#点击提交按钮input.clear()#清空input框中的内容input.send_keys('car')button.click()

详情查看：

5、执行javascript

from selenium import webdriverbrowser=webdriver.Chrome()browser.get('http:www.baidu.com')browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')

6、获取元素信息

（1）获取元素属性

from selenium import webdriverbrowser=webdriver.Chrome()browser.get('http:www.baidu.com')input=browser.find_element_by_id('kw') #获取input框元素attr=input.get_attribute('name')#获取input框的name属性print(attr)

（2）获取元素的文本值

from selenium import webdriverbrowser=webdriver.Chrome()browser.get('http://www.baidu.com')a=browser.find_element_by_class_name('mnav')print(a.text) #新闻

（3）获取ID、位置、标签名、大小

from selenium import webdriverbrowser=webdriver.Chrome()browser.get('http://www.baidu.com')a=browser.find_element_by_class_name('mnav')print(a.id) print(a.location)print(a.tag_name)print(a.size)0.19765672261551392-1{
    'x': 554, 'y': 19}a{
    'width': 26, 'height': 24}

7、等待

（1）隐式等待

当使用了隐式等待执行测试的时候，如果 WebDriver没有在 DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常, 换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是0

from selenium import webdriverbrowser=webdriver.Chrome()browser.implicitly_wait(5)#设置时间browser.get('http://www.baidu.com')a=browser.find_element_by_class_name('mnav')print(a)

（2）显式等待

显式等待提供比隐式等待更好的选项，因为它将等待动态加载的Ajax元素。

from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECbrowser = webdriver.Chrome()browser.get('https://www.baidu.com/')wait = WebDriverWait(browser, 5)input = wait.until(EC.presence_of_element_located((By.ID, 'kw')))button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#su')))print(input, button)

title_is 标题是某内容title_contains 标题包含某内容presence_of_element_located 元素加载出，传入定位元组，如(By.ID, 'p')visibility_of_element_located 元素可见，传入定位元组visibility_of 可见，传入元素对象presence_of_all_elements_located 所有元素加载出text_to_be_present_in_element 某个元素文本包含某文字text_to_be_present_in_element_value 某个元素值包含某文字frame_to_be_available_and_switch_to_it frame加载并切换invisibility_of_element_located 元素不可见element_to_be_clickable 元素可点击staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新element_to_be_selected 元素可选择，传元素对象element_located_to_be_selected 元素可选择，传入定位元组element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回Falseelement_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回Falsealert_is_present 是否出现Alert

详情查看：

8、前进后退

from selenium import webdriverimport timebrowser=webdriver.Chrome()browser.get('http://www.baidu.com')browser.back() #后退time.sleep(2)browser.forward()#前进

9、Cookies

from selenium import webdriverbrowser=webdriver.Chrome()browser.get('http://www.baidu.com')print(browser.get_cookies()) #获取cookiebrowser.add_cookie({
   'name': 'name'}) #添加cookieprint(browser.get_cookies())browser.delete_all_cookies() #删除cookieprint(browser.get_cookies())

10、选项卡管理

import timefrom selenium import webdriverbrowser = webdriver.Chrome()browser.get('https://www.taobao.com')browser.execute_script('window.open()')print(browser.window_handles)browser.switch_to_window(browser.window_handles[1])browser.get('https://www.zhihu.com')time.sleep(1)browser.switch_to_window(browser.window_handles[0])browser.get('https://python.org')

11、异常处理

from selenium import webdriverfrom selenium.common.exceptions import TimeoutException, NoSuchElementExceptionbrowser = webdriver.Chrome()try:    browser.get('https://www.taobao.com')except TimeoutException:    print('请求超时')try:    browser.find_element_by_id('ghk')except NoSuchElementException:    print('该元素不存在')finally:    browser.close()##该元素不存在