83 lines
6.3 KiB
Plaintext
83 lines
6.3 KiB
Plaintext
|
U
|
|||
|
|
<00><>i <00> @ s<> d Z ddlZddlZddlmZ ddlmZ ddlmZ ddl m
|
|||
|
|
Z
|
|||
|
|
ddl m Z ddl
Z
G dd <09> d <09>Zd
|
|||
|
|
d <0B> Zed kr|e<0F> dS )
uo
|
|||
|
|
使用Selenium依附Edge浏览器爬取网页数据
|
|||
|
|
主要功能：爬取景区、分类、热度指数数据
|
|||
|
|
<EFBFBD> N)<01> webdriver)<01>By)<01>Options)<01>NoSuchElementException)<01>loggerc @ s\ e Zd ZdZddd<04>Zdd<06> Zdd<08> Zd d
|
|||
|
|
<EFBFBD> Zd d <0C> Zd
d<0E> Z dd<10> Z
|
|||
|
|
ddd<13>Z dd<15> Z dS )<19>WebDataScraperu 网页数据爬取器Fc C s" d| _ || _| <00><02> t<03>d<02> dS )u_
|
|||
|
|
初始化爬虫
|
|||
|
|
Args:
|
|||
|
|
headless (bool): 是否无头模式
|
|||
|
|
Nu 爬虫初始化完成)<05>driver<65>headless<73> setup_driverr <00>info)<02>selfr <00> r
<00>S C:\Users\xiaji\Documents\个人文件夹\夏骥\hothub的抓取\selenium_scraper.py<70>__init__ s zWebDataScraper.__init__c
|
|||
|
|
C s<> z<>t <00> }| <00><01> }|r$|<01>d|<02> <00><02> | jr4|<01>d<02> |<01>d<03> |<01>d<04> |<01>d<05> |<01>ddg<01> |<01>dd <09> tj|d
|
|||
|
|
<EFBFBD>| _| j<07>d <0B> t <09>
|
|||
|
|
d <0C> W n4 t k
|
|||
|
|
r<EFBFBD> } zt <09> d
|<03> <00><02> <00> W 5 d}~X Y nX dS )u 设置Edge浏览器驱动z--user-data-dir=z
|
|||
|
|
--headlessz --no-sandboxz--disable-dev-shm-usagez---disable-blink-features=AutomationControlledZexcludeSwitcheszenable-automationZuseAutomationExtensionF)ZoptionszEObject.defineProperty(navigator, 'webdriver', {get: () => undefined})u Edge浏览器连接成功u 浏览器连接失败: N)
r <00>_get_edge_user_data_dirZ add_argumentr Zadd_experimental_optionr ZEdger Zexecute_scriptr r <00> Exception<6F>error)r Z edge_optionsZ
user_data_dir<69>er
r
r r
|
|||
|
|
s$
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
zWebDataScraper.setup_driverc C sn dddg}|D ]P}z2ddl }|j<01>|<02>rBt<03>d|<02> <00><02> |W S W q tk
|
|||
|
|
r\ Y qY qX qt<03>d<07> dS )u+ 获取Edge浏览器用户数据目录路径z5C:\Users\XiaJi\AppData\Local\Microsoft\Edge\User Dataz5C:\Users\xiaji\AppData\Local\Microsoft\Edge\User Datau9 C:\Users\用户名\AppData\Local\Microsoft\Edge\User Datar Nu 找到Edge用户数据目录: u7 未找到Edge用户数据目录，将使用默认配置)<07>os<6F>path<74>existsr r r <00>warning)r Zpossible_pathsr r r
r
r r = s <02>
|
|||
|
|
z&WebDataScraper._get_edge_user_data_dirc C sf <00>z"t <00>d|<01> <00><02> | j<02>|<01> t<04>d<02> t <00>d<03> | j<02>tjd<04>}|<02> tj
|
|||
|
|
d<05>}t <00>dt |<03><01> d<07><03> g }|D ]<5D>}zV| <00> |<05>}| <00>
|<05>}| <00>|<05>}t|||g<03>r<>|||d<08>} |<04>| <09> t <00>d | <09> <00><02> W qp tk
|
|||
|
|
<EFBFBD>r }
|
|||
|
|
z t <00>d
|
|||
|
|
|
|
|||
|
|
<EFBFBD> <00><02> W Y <00>qpW 5 d }
|
|||
|
|
~
|
|||
|
|
X Y qpX qpt <00>d t |<04><01> d
<0A><03> |W S tk
|
|||
|
|
<EFBFBD>r` }
|
|||
|
|
z t <00>d|
|
|||
|
|
<EFBFBD> <00><02> g W Y <00>S d }
|
|||
|
|
~
|
|||
|
|
X Y nX d S )u<>
|
|||
|
|
爬取网页数据
|
|||
|
|
Args:
|
|||
|
|
url (str): 要爬取的网页URL
|
|||
|
|
Returns:
|
|||
|
|
list: 爬取的数据列表
|
|||
|
|
u 开始访问网页: <20> u2 查找目标表格容器: class='byted-table-body'zbyted-table-bodyZdivu 找到 u
|
|||
|
|
行数据)<03> poi_title<6C>category<72>
|
|||
|
|
heat_indexu 成功爬取数据: u 爬取行数据失败: Nu 爬取完成，共获得 u
|
|||
|
|
条数据u 爬取数据失败: )r r r <00>get<65>time<6D>sleep<65> find_elementr <00>
|
|||
|
|
CLASS_NAME<EFBFBD>
find_elementsZTAG_NAME<4D>len<65>_get_poi_title<6C>
_get_category<72>_get_heat_index<65>any<6E>appendr r r ) r <00>url<72>
|
|||
|
|
table_bodyZ data_rows<77> scraped_dataZrowr r r Zrow_datar r
r
r <00> scrape_dataR s:
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
<02>
|
|||
|
|
zWebDataScraper.scrape_datac
|
|||
|
|
C s<> z:|<01> tjd<01>}|r8|d j<03><04> }t<05>d|<03> <00><02> |W S W nD tk
|
|||
|
|
rN Y n2 tk
|
|||
|
|
r~ } zt<05>d|<04> <00><02> W 5 d}~X Y nX dS )u 获取景区名字z[class^='poiTitle-']r u 获取景区名字: u 获取景区名字失败: N<> <00> r! r <00> CSS_SELECTOR<4F>text<78>stripr <00>debugr r )r <00> row_elementZ poi_elementsr/ r r
r
r r# <00> s
|
|||
|
|
"z WebDataScraper._get_poi_titlec
|
|||
|
|
C s<> z:|<01> tjd<01>}|r8|d j<03><04> }t<05>d|<03> <00><02> |W S W nD tk
|
|||
|
|
rN Y n2 tk
|
|||
|
|
r~ } zt<05>d|<04> <00><02> W 5 d}~X Y nX dS )u 获取景区分类z[class^='categoryIconBox-']r u 获取景区分类: u 获取景区分类失败: Nr, r- )r r2 Zcategory_elementsr/ r r
r
r r$ <00> s
|
|||
|
|
"z WebDataScraper._get_categoryc
|
|||
|
|
C s<> z:|<01> tjd<01>}|r8|d j<03><04> }t<05>d|<03> <00><02> |W S W nD tk
|
|||
|
|
rN Y n2 tk
|
|||
|
|
r~ } zt<05>d|<04> <00><02> W 5 d}~X Y nX dS )u 获取热度指数z[class^='numberValue-']r u 获取热度指数: u 获取热度指数失败: Nr, r- )r r2 Z
heat_elementsr/ r r
r
r r% <00> s
|
|||
|
|
"z WebDataScraper._get_heat_index<65>scraped_data.jsonc
|
|||
|
|
C sx z@t |ddd<03><03>}tj||ddd<06> W 5 Q R X t<03>d|<02> <00><02> W n2 tk
|
|||
|
|
rr } zt<03>d|<04> <00><02> W 5 d }~X Y nX d S )
|
|||
|
|
u 保存数据到文件<E69687>wzutf-8)<01>encodingF<67> )Z ensure_asciiZindentu 数据已保存到 u 保存数据失败: N)<07>open<65>json<6F>dumpr r r r )r <00>data<74>filename<6D>fr r
r
r <00> save_data<74> s zWebDataScraper.save_datac C s | j r| j <00><01> t<02>d<01> dS )u 关闭浏览器u 浏览器已关闭N)r <00>quitr r )r r
r
r <00>close<73> s
|
|||
|
|
zWebDataScraper.closeN)F)r3 )
<0A>__name__<5F>
|
|||
|
|
__module__<EFBFBD> __qualname__<5F>__doc__r r
|
|||
|
|
r r+ r# r$ r% r= r? r
r
r
r r s
|
|||
|
|
8
|
|||
|
|
r c
|
|||
|
|
C s<> t dd<02>} z<>zNd}| <00>|<01>}| <00>|d<04> |D ]*}td|d <00> d|d <00> d |d
|
|||
|
|
<00> <00><06> q,W n2 tk
|
|||
|
|
r<EFBFBD> } zt<06>d |<04> <00><02> W 5 d }~X Y nX W 5 | <00><01> X d S )
u 主函数示例F)r z https://example.com/target-pager3 u 景区: r u
|
|||
|
|
, 分类: r u
|
|||
|
|
, 热度: r u 程序执行失败: N)r r? r+ r= <00>printr r r )<05>scraper<65>
|
|||
|
|
target_urlr* <00>itemr r
r
r <00>main<69> s
|
|||
|
|
|
|||
|
|
,&rH <00>__main__)rC r <00>reZseleniumr Z selenium.webdriver.common.byr Z selenium.webdriver.edge.optionsr Zselenium.common.exceptionsr <00>logurur r8 r rH r@ r
r
r
r <00><module> s 6
|