当前位置:首页 > python > 正文内容

用python写个selenium爬虫

zhangsir3年前 (2023-03-29)python378

下面是一个使用Python和Selenium的基本爬虫示例。这个爬虫将打开谷歌浏览器并访问一个指定的网站,然后提取特定元素的信息并打印出来。


首先,您需要安装Selenium和ChromeDriver。您可以使用以下命令安装它们:

pip install selenium

接下来,您需要下载适用于您的Chrome浏览器版本的ChromeDriver。您可以在此处下载:http://chromedriver.chromium.org/downloads


下载完成后,将ChromeDriver.exe文件放在您的工作目录下或添加到系统PATH中。


下面是代码示例:


from selenium import webdriver
from selenium.webdriver.common.by import By

# 初始化ChromeDriver
driver = webdriver.Chrome()

# 打开要爬取的网站
driver.get("https://www.example.com")

# 找到特定元素并提取信息
element = driver.find_element(By.XPATH, "//h1")
print(element.text)

# 关闭浏览器
driver.quit()

这个示例将打开谷歌浏览器并访问https://www.example.com。然后,它将查找网站上的第一个`<h1>`元素并将其文本打印到控制台中。最后,它将关闭浏览器。


您可以根据自己的需要修改这个示例。例如,您可以使用不同的浏览器,找到不同的元素或在找到元素后执行其他操作。


zhangsir版权f2防采集https://mianka.xyz

扫描二维码推送至手机访问。

版权声明:本文由zhangsir or zhangmaam发布,如需转载请注明出处。

本文链接:https://www.mianka.xyz/post/153.html

分享给朋友:

“用python写个selenium爬虫” 的相关文章

scrapy创建项目与运行

打开命令行:1. 创建爬虫的项目   scrapy startproject 项目的名字                 注意:项目的名字不允许使用数字开头  也不能包含中文2....

宝塔面板如何部署Django项目

宝塔面板如何部署Django项目

添加宝塔面板插件登录宝塔面板,进入软件商店,搜索“python项目管理器”然后点击安装进入python项目管理器,点击版本管理,安装版本(注:千万不要添加项目)然后添加网站,php不用所以选静态,添加好了,上传本地的源码。本地源码里没有requirements.txt文件,需要输入命令生成。命令如下...

django框架的安装和创建第一个项目

安装Djangopip install -i https://pypi.douban.com/simple django创建项目django-admin startproject 项目名称例如 django-admin startproje...

python 写入文件

一、读写txt文件1、打开txt文件Note=open('x.txt',mode='w',encoding='utf-8')函数=open(x.扩展名,mode=模式)模式种类:w      ...

如何用python获取一个网页的所有连接

如何用python获取一个网页的所有连接很简单直接上代码:# -*- coding: utf-8 -*- ''' 如何用python获取一个网页的所有连接 author:zhangsir ''' imp...

python selenium find_element_by_xpath 方法已经被弃用的解决办法

背景:在使用最新3.10.4Python版本时候,用selenium进行xpath定位元素,编译器提示:DeprecationWarning:find_element_by_xpath is deprecated. Please use find_element(by=By.XPATH, value...