当前位置:首页 > python > 正文内容

python selenium 使用代理ip

zhangsir3年前 (2022-12-22)python180

代码如下:

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()
chromeOptions.add_argument("--proxy-server=http://179.23.6.82:10152")
driver = webdriver.Chrome(chrome_options = chromeOptions)
driver.get("https://www.haohaokan17.com/ip")
driver.close()

注意事项: 


第一,署理IP最好是稳定的固定IP,不要选动态IP。我们常用的爬虫IP是高匿名动态IP,是经过拨号动态产生的,时效性很短,一般在1~3分钟。对于scrapy这种并发度很高,又不需要登录的爬虫来说,十分合适,但是在浏览器渲染类爬虫中并不适用。


第二,署理IP的速度。因为selenium爬虫采用的是浏览器渲染技术,本身速度就很慢。如果选择的署理IP速度较慢,就会大大添加爬取的时间。


第三,电脑内存要够大。因为chrome占内存较大,在并发度很高的情况下,容易形成浏览器溃散,也就是程序溃散。


第四,在程序结束时,调用 browser.quit( ) 铲除浏览器缓存。


zhangsir版权f2防采集https://mianka.xyz

扫描二维码推送至手机访问。

版权声明:本文由zhangsir or zhangmaam发布,如需转载请注明出处。

本文链接:https://www.mianka.xyz/post/86.html

标签: pythonselenium
分享给朋友:

“python selenium 使用代理ip” 的相关文章

Python爬虫xpath详解

一、xpath介绍xpath是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的,但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。二、安装lxmllxml是Python的一个第三方解析库,支持HTML和XML解析,而且效率非常高,弥补了...

Selenium添加Cookie来实现自动登录

Selenium添加Cookie来实现自动登录第一步获取你登录的cookie,以csdn为例from selenium import webdriver driver = webdriver.Chrome() driver.get('...

Python三方库ddddocr实现验证码识别

Python三方库ddddocr实现验证码识别环境要求python >= 3.8安装三方库pip install ddddocr -i https://pypi.tuna.tsinghua.edu.cn/simple参数说明:参数名参数类型默认值说明us...

解决Django的request.POST获取不到请求参数的问题

这个是Django自身的问题:只要在请求头的添加"content-type":'application/x-www-form-urlencoded'就行。...

python selenium find_element_by_xpath 方法已经被弃用的解决办法

背景:在使用最新3.10.4Python版本时候,用selenium进行xpath定位元素,编译器提示:DeprecationWarning:find_element_by_xpath is deprecated. Please use find_element(by=By.XPATH, value...

python 实现彩色图转素描图

python可以把彩色图片转化为铅笔素描草图,对人像、景色都有很好的效果。而且只需几行代码就可以一键生成,适合批量操作,非常的快捷。需要的第三方库:Opencv - 计算机视觉工具,可以实现多元化的图像视频处理,有Python接口""" Photo ...