当前位置:首页 > python > 正文内容

用python写个selenium爬虫

zhangsir2年前 (2023-03-29)python187

下面是一个使用Python和Selenium的基本爬虫示例。这个爬虫将打开谷歌浏览器并访问一个指定的网站,然后提取特定元素的信息并打印出来。


首先,您需要安装Selenium和ChromeDriver。您可以使用以下命令安装它们:

pip install selenium

接下来,您需要下载适用于您的Chrome浏览器版本的ChromeDriver。您可以在此处下载:http://chromedriver.chromium.org/downloads


下载完成后,将ChromeDriver.exe文件放在您的工作目录下或添加到系统PATH中。


下面是代码示例:


from selenium import webdriver
from selenium.webdriver.common.by import By

# 初始化ChromeDriver
driver = webdriver.Chrome()

# 打开要爬取的网站
driver.get("https://www.example.com")

# 找到特定元素并提取信息
element = driver.find_element(By.XPATH, "//h1")
print(element.text)

# 关闭浏览器
driver.quit()

这个示例将打开谷歌浏览器并访问https://www.example.com。然后,它将查找网站上的第一个`<h1>`元素并将其文本打印到控制台中。最后,它将关闭浏览器。


您可以根据自己的需要修改这个示例。例如,您可以使用不同的浏览器,找到不同的元素或在找到元素后执行其他操作。


zhangsir版权c2防采集https://mianka.xyz

扫描二维码推送至手机访问。

版权声明:本文由zhangsir or zhangmaam发布,如需转载请注明出处。

本文链接:https://www.mianka.xyz/post/153.html

分享给朋友:

“用python写个selenium爬虫” 的相关文章

使用pyautogui进行屏幕捕捉实现自动化操作

import pyautogui import time # # 获取基本信息 # # 屏幕大小 # size = pyautogui.size() # print(size) #&nbs...

解决Django的request.POST获取不到请求参数的问题

这个是Django自身的问题:只要在请求头的添加"content-type":'application/x-www-form-urlencoded'就行。...

计算机学习视频教程

人工智能机器学习:Python&R实践课程介绍:https://www.aihorizon.cn/1百度网盘地址: https://pan.baidu.com/s/1a743NTKFRjsgexMTagWooA?pwd=e39j动手使用Python进行自然语言处理(NLP)课程介绍:http...

python selenium 使用代理ip

代码如下:from selenium import webdriver chromeOptions = webdriver.ChromeOptions() chromeOptions.add_argument("--proxy-serv...

Linux系统下使用Python+selenium+谷歌浏览器下载文件

from seleniumwire import webdriver import time ch_options = webdriver.ChromeOptions() ch_options.add_argument("-...

python 使用PIL库进行验证码清晰处理

python 使用PIL库进行验证码清晰处理from PIL import Image import sys import os sys.setrecursionlimit(1000000) pixel_list = []...