今天我們使用 Chrome Selenium 來做網頁爬蟲會碰見一些占用電腦CPU效能問題,我們可以使用headless來關閉瀏覽器的方式執行爬蟲程式。 廢話不多說,直接展示code該怎麼寫吧 ! 1.首先導入我們要用的 lbrary from selenium import webdriver from selenium.webdriver.chrome.options import Options 2.加入 headless function chrome_options = Options() # 啟動無頭模式 chrome_options.add_argument('--headless') #規避google bug chrome_options.add_argument('--disable-gpu') 3.打開browser 執行自己的爬蟲程式 url = 'https://python-learnnotebook.blogspot.com/' executable_path = 'chromedriver.exe'#自行設定路徑 driver.get(url) driver = webdriver.Chrome(executable_path=executable_path, chrome_options=chrome_options) 4.關閉 browser driver.quit()#關閉瀏覽器
有沒有方法能夠先進行無頭模式隱藏網頁 讓一些爬蟲動作做完之後再讓網頁顯示出來呢?
回覆刪除