企業(yè)網(wǎng)站設(shè)計(jì)使用selenium自動(dòng)獲取頁面爬取
日期 : 2020-09-30 15:35:35
使用selenium自動(dòng)獲取頁面爬取
(1)使用webdriver庫,模擬人工進(jìn)入網(wǎng)頁。
(2)依次點(diǎn)擊正常登陸時(shí)需要點(diǎn)擊的對(duì)話框。
(3)elenium是在模仿人工點(diǎn)擊頁面,因此人工正常瀏覽網(wǎng)站時(shí),該有的步驟都不能少,否則就會(huì)卡住在這步,從而導(dǎo)致程序異常中止。
(4)這里通過使用webdrive庫的find＿element＿by＿xpath和find＿element＿by＿css＿selector兩個(gè)用法,找到每個(gè)點(diǎn)擊框的位置并用click()點(diǎn)擊。
(5)登陸賬號(hào)
由于網(wǎng)站需要登錄才能進(jìn)行詳細(xì)信息的查看,因此先要進(jìn)行登錄操作,再進(jìn)行后續(xù)的檢索。同樣是先使用find＿element＿by＿css＿selector用法找到登錄框和輸入賬號(hào)密碼的位置,在用send＿keys用法分別輸入賬號(hào)和密碼,最后在點(diǎn)擊登錄框中的登錄。
(1)使用webdriver庫,模擬人工進(jìn)入網(wǎng)頁。
(2)依次點(diǎn)擊正常登陸時(shí)需要點(diǎn)擊的對(duì)話框。
(3)elenium是在模仿人工點(diǎn)擊頁面,因此人工正常瀏覽網(wǎng)站時(shí),該有的步驟都不能少,否則就會(huì)卡住在這步,從而導(dǎo)致程序異常中止。
(4)這里通過使用webdrive庫的find＿element＿by＿xpath和find＿element＿by＿css＿selector兩個(gè)用法,找到每個(gè)點(diǎn)擊框的位置并用click()點(diǎn)擊。
(5)登陸賬號(hào)
由于網(wǎng)站需要登錄才能進(jìn)行詳細(xì)信息的查看,因此先要進(jìn)行登錄操作,再進(jìn)行后續(xù)的檢索。同樣是先使用find＿element＿by＿css＿selector用法找到登錄框和輸入賬號(hào)密碼的位置,在用send＿keys用法分別輸入賬號(hào)和密碼,最后在點(diǎn)擊登錄框中的登錄。
相關(guān)文章
精彩導(dǎo)讀
熱門資訊
