廢話
本文旨在記錄selenium的一些操作實例，沒啥技術含量，也沒有太多概念的內容。
安裝selenium
<code>pipinstallselenium
/<code>
下載驅動(chromedriver)
下載前需要確認適配自己的瀏覽器版本
<code>https://chromedriver.storage.googleapis.com/index.html
/<code>
selenium的基本用法
基本用法看官方文檔，講述的很清楚了，推薦
<code>https://selenium-python.readthedocs.io/installation.html
/<code>
常用的實例
設置瀏覽器不加載圖片
<code>fromseleniumimportwebdriver
#設置不加載圖片
chrome_opt=webdriver.ChromeOptions()
prefs={
"profile.managed_default_content_settings.images":2
}
chrome_opt.add_experimental_option("prefs",prefs)
driver=webdriver.Chrome(chrome_options=chrome_opt)
driver.get("https://www.taobao.com")
/<code>
點擊彈窗與點擊下拉列表
<code>fromseleniumimportwebdriver
fromselenium.webdriver.support.selectimportSelect
driver=webdriver.Chrome()
#點擊接受彈窗
driver.switch_to.alert.accept()
#點擊下拉列表
sel=driver.find_element_by_id("nr")
Select(sel).select_by_index(2)
/<code>
切換窗口
<code>fromseleniumimportwebdriver
driver=webdriver.Chrome()
first_win=driver.current_window_handle
all_win=driver.current_window_handle
forwininall_win:
ifwin!=first_win:
driver.switch_to.window(win)
/<code>
自動下拉列表(以開源中國的博客欄目為例)
很多頁面是下拉加載更多信息，我們如何模擬這個下拉操作：
<code>fromseleniumimportwebdriver
importtime
driver=webdriver.Chrome()
driver.get('https://www.oschina.net/blog')
time.sleep(5)
#實現自動下拉刷新下拉三頁
foriinrange(3):
driver.execute_script('window.scrollTo(0,document.body.scrollHeight);varlenOfPage=document.body.scrollHeight;returnlenOfPage;')
time.sleep(3)
/<code>
如何模擬手機訪問？
<code>fromseleniumimportwebdriver
#模擬手機
mobilesetting={"deviceName":"iPhone6Plus"}
options=webdriver.ChromeOptions()
options.add_experimental_option("mobileEmulation",mobilesetting)
driver=webdriver.Chrome(chrome_options=options)
#設置大小
driver.set_window_size(400,800)
#driver.maximize_window()
driver.get("https://www.taobao.com")
#後退
driver.back()
#前進
driver.forward()
#刷新
driver.refresh()
/<code>
如何為selenium設置代理？(連接無用戶名密碼認證的代理)
<code>#設置代理
fromseleniumimportwebdriver
options=webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://ip:port")
driver=webdriver.Chrome(chrome_options=options)
driver.get("http://httpbin.org/ip")
print(driver.page_source)
/<code>
如何為selenium設置代理？(有用戶名和密碼的連接)
推薦幾篇文章：
https://www.cnblogs.com/roystime/p/6935543.html
https://stackoverflow.com/questions/29983106/how-can-i-set-proxy-with-authentication-in-selenium-chrome-web-driver-using-pyth#answer-30953780
https://cuiqingcai.com/4880.html
scrapy + selenium 模擬登錄csdn
其實，沒啥技術含量。只是簡單運用，敲一遍加深印象。
關於selenium的基礎用法強烈建議用的時候看下文檔就好，技術含量不高，無需過多費心。
spider.py
<code>#-*-coding:utf-8-*-
importscrapy
fromseleniumimportwebdriver
classCsdnSpider(scrapy.Spider):
name='csdn'
allowed_domains=['csdn.net']
start_urls=['https://passport.csdn.net/account/login','https://i.csdn.net/#/account/index']
def__init__(self):
#mobilsetting={"deviceName":"iPhone6Plus"}
#options=webdriver.ChromeOptions()
#options.add_experimental_option("mobileEmulation",mobilsetting)
self.browser=None
self.cookies=None
#self.browser.set_window_size(400,800)
super(CsdnSpider,self).__init__()
defspider_closed(self,response):
print("spiderclose")
self.brower.close()
defparse(self,response):
print(response.url)
print(response.body.decode("utf-8","ignore"))
/<code>
middlewares.py 私信小編01 領取完整項目代碼！
<code>fromscrapyimportsignals
fromseleniumimportwebdriver
fromscrapy.httpimportHtmlResponse
importtime
importrequests
classLoginMiddleware(object):
defprocess_request(self,request,spider):
ifspider.name=="csdn":
ifrequest.url.find("login")!=-1:
spider.browser=webdriver.Chrome()
spider.browser.get(request.url)
switch=spider.browser.find_element_by_xpath('//a[@class="login-code__openjs_login_triggerlogin-user__active"]')
ifswitch.text=='賬號登錄':
switch.click()
time.sleep(3)
username=spider.browser.find_element_by_id('username')
password=spider.browser.find_element_by_id('password')
time.sleep(2)
username.send_keys("")
time.sleep(1)
password.send_keys("")
time.sleep(2)
click=spider.browser.find_element_by_class_name("logging")
time.sleep(2)
click.click()
time.sleep(8)
spider.cookies=spider.browser.get_cookies()
returnHtmlResponse(
url=spider.browser.current_url,
body=spider.browser.page_source,
encoding="utf-8"
)
else:
req=requests.session()
forcookieinspider.cookies:
req.cookies.set(cookie['name'],cookie['value'])
req.headers.clear()
newpage=req.get(request.url)
print(request.url)
print(newpage.text)
returnHtmlResponse(
url=request.url,
body=newpage.text,
encoding="utf-8"
)/<code>
分享到:
閱讀更多 有趣的程序媛 的文章
