Python 多進程 Multiprocessing Process and Pool 教學範例

多進程善用電腦多核心的特性，多工並行的方式提升程式運行速度。

多進程與多線程的差異點在於開放的資源多寡，線程主要是用有限的資源達到最高效率，多進程則是開放多個資源達到最高效率。

若以穩定性來說的話，比較推薦使用多進程，因為多線程會因為其中一個子線程掛掉而導致整個程式癱瘓，但多進程不會因為其中一個進程掛掉而影響到其他子近程的運作

舉例來說，有多個工作桌，每位工人在各自的工作桌上工作，相對地所需CPU資源也較大

下圖有比較的差異

導入多進程library

import multiprocessing as mp

定義子進程的function

def claw(website): print('hello') def claw_a(website_a): print('hello world')

執行多進程

if __name__ == '__main__': #必須放這段代碼，不然會Error ap = mp.Process(target=claw, args=('website',)) jk = mp.Process(target=claw_a, args=('website_a',)) # 開始加速執行 ap.start() jk.start() # 結束多進程 ap.join() jk.join()


                                      Pool 進程池的用法

導入需要的library

import time from multiprocessing import Pool

定義子進程function

def run(fn) : time.sleep(2) print(fn)

執行多進程pool

if __name__ == "__main__" : startTime = time.time() testFL = [1,2,3,4,5] # run function 的參數 pool = Pool() # Pool() 不放參數則默認使用電腦核的數量 pool.map(run,testFL) pool.close() pool.join() endTime = time.time() print("time :", endTime - startTime)

使用多進程Pool爬取蘋果熱門新聞

from bs4 import BeautifulSoup import requests as res #導入requests library import re import time from multiprocessing import Pool import multiprocessing as mp print('蘋果今日焦點') def clawer(url): headers = {'accept-encoding': 'gzip, deflate, br', 'accept-language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;q=0.7', 'authority': 'tw.appledaily.com', 'accept':'text/html,application/xhtml+xml,application/xml;' 'q=0.9,image/webp,image/apng,*/*;q=0.8', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' '(KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36' } s = res.session() #存取cookies resp = s.get(url,headers=headers).text soup = BeautifulSoup(resp, 'html5lib') ############### 清理標題 ############ new_title = [] titles = soup.find_all('div',{'class':"abdominis rlby clearmen"}) for s in titles: s = s.find_all("h1") for i in s: i = i.text new_title.append(i) title = new_title[1:] ############### 清理連結 ############ for q in titles: q = q.find_all(href=re.compile("^.*realtime\/\d{8}\/\d{7}\/$")) hrefs = q link=[] for d in hrefs: href = d.get('href') link.append(href) ############### 建立 Json format ############ article = [] for title,link in zip(title,link): article.append({ "標題":title, "連結":link, }) for i in article: print(i) if __name__ == "__main__" : t1 = time.time() urls=[] for i in range(1,30): v = str(i) url = 'https://tw.appledaily.com/new/realtime/'+v urls.append(url) pool = Pool() # Pool() 不放參數則默認使用電腦核的數量 pool.map(clawer,urls) pool.close() pool.join() print('Total time: %.1f s' % (time.time()-t1))