selenium chrome在Linux上的实践 - peter-xbs/CommonCodes GitHub Wiki

selenium+chrome在Linux上的实践

基础背景

  • Linux: Centos 7
  • selenium: 最新版 4.10.0
  • google-chrome --version: Google Chrome 114.0.5735.198
  • chromedriver --version: ChromeDriver 114.0.5735.90

安装方式

  • google-chrome【需root权限】
yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
yum install xorg-x11-server-Xvfb

  • 其余依次按照需求下载和安装

  • 注意selenium 4和之前版本的异同

实际使用

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

options = Options()
chrome = '/mnt/data3/apps/LLM-prompt-data/tools/chromedriver'
service = Service(chrome)
#options.headless = True
#         options.add_argument("--window-size=1920,1080")
options.add_argument("--headless")
options.add_argument("--disable-gpu")
options.add_argument("--no-sandbox")
options.add_argument('blink-settings=imagesEnabled=false')
options.add_argument('--disable-dev-shm-usage') # --disable-dev-shm-usage
options.add_argument('--remote-debugging-port=9222')
driver = webdriver.Chrome(service=service, options=options)

driver.get('https://www.baidu.com')

driver.page_source

注意事项

  1. 端口只可占用1次
  2. 使用完毕注意restart kernal或者driver退出，避免持续占用资源