先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

如果只能用一隻手吃飯+喝湯,吃飯耗時十五分鐘,喝湯五分鐘,這樣肯定耗時。人家還想早點吃完開一把LOL呢,那麼很簡單這時候,我們就會想到左手喝湯,右手吃飯這樣同時進行。這樣時間上吃飯就得到了優化。

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

2.線程

線程或輕量級進程(同義)與進程類似,不過它們是在統一進程下執行的,並且共享相同的上下文,可以理解一個進程池中的東西線程共享。

線程包括三部分:開始--執行--結束,指令指針用於記錄當前運行的上下文。當其他線程運行時,它可以被搶佔(中斷)和臨時掛起(sleep),這種做法叫做讓步(yielding)。

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

這樣難免會聯想出問題,如果共享數據,那麼會有風險。

Q1:

如果兩個或多個線程訪問同一片數據,由於數據訪問順序不同,可能導致結果不一致。這種情況就是“競態條件”。不過大多數線程庫都有一些同步原語,以允許線程管理器控制和訪問。

Q2 :

當然啦 吃飯總會有自己愛吃的菜,所以每道菜的攝入量不會公平。也就是說線程無法給予公平的執行時間。如果沒有專門的多線程情況進行修改,會導致CPU的時間分配向貪婪函數傾斜。

接下來要談論的就是正題:

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

可見,某個線程想要執行,必須先拿到GIL,我們可以把GIL看作是“通行證”,並且在一個python進程中,GIL只有一個。拿不到通行證的線程,就不允許進入CPU執行。

在Python2.x裡,GIL的釋放邏輯是當前線程遇見IO操作或者ticks計數達到100(ticks可以看作是Python自身的一個計數器,專門做用於GIL,每次釋放後歸零,這個計數可以通過 sys.setcheckinterval 來調整),進行釋放。

而每次釋放GIL鎖,線程進行鎖競爭、切換線程,會消耗資源。並且由於GIL鎖存在,python裡一個進程永遠只能同時執行一個線程(拿到GIL的線程才能執行),這就是為什麼在多核CPU上,python的多線程效率並不高。

那麼是不是python的多線程就完全沒用了呢?

在這裡我們進行分類討論:

1、CPU密集型代碼(各種循環處理、計數等等),在這種情況下,由於計算工作多,ticks計數很快就會達到閾值,然後觸發GIL的釋放與再競爭(多個線程來回切換當然是需要消耗資源的),所以python下的多線程對CPU密集型代碼並不友好。

2、IO密集型代碼(文件處理、網絡爬蟲等),多線程能夠有效提升效率(單線程下有IO操作會進行IO等待,造成不必要的時間浪費,而開啟多線程能在線程A等待時,自動切換到線程B,可以不浪費CPU的資源,從而能提升程序執行效率)。所以python的多線程對IO密集型代碼比較友好。

2.退出線程:

當一個線程完成函數執行的時候,它就會退出。還可以通過thread.exit()之類的退出函數,或者sys.exit()之類的退出python進程的標準方法,或者拋出SystemExit異常,來使線程退出。但是你不能直接 終止一個線程

主線程:主線程應該是一個好的管理者去管理好調度好好的吃這一頓飯(收集每一個線程的結果,生成一個有意義的最終結果。)

3.python中使用線程:

一般來說現在我們日常使用的電腦都是64位的所以我們安裝的python解釋器默認都是支持現成的,只需要import好模塊即可使用。

thread:這個模塊不介紹也不推薦使用,原因是當thread中主線程結束時,所有的其他線程也都強制結束,不會發出警告或者適當的清理。

threading:常用此模塊,因為至少threading模塊可以確保重要的子線程在進程退出前結束,也成守護線程。

看一個簡單的例子

下面的例子是個basic的例子,沒有使用線程。吃飯使用5s時間喝湯使用2s時間,是串行的,參數loop是循環次數。

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

結果:

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

從結果來看喝湯耗時4s,吃飯耗時10s,總共耗時14秒。

加入threading module

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

結果:

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

解析:

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

結果:

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

有點瑕疵應該在print的部分改為i+1,循環次數也強制寫死為2次,當然這只是個demo,如果考慮再加個列表讀入times 參數,此時可以添加判斷是否大於零,可以自己試一試不再贅述。

在實際開發中,我們這種利用線程的方式肯定不是我們常用的方式,因為自己在用的時候會傳入很多參數,所以我們就必須用到繼承Threading,來創建我們自用的線程類

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

結果同之前的就不在展示。

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

結果:注意為了區別進程號我在結果中加了打印PID number所以顯示結果如下。

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

這樣可以明顯區別開。

PID就是類似於身份證的一個東西,用來表示進程。一個進程在結束前都為一個不變的PID num,但是同一進程可以有不同的PID num,比如多運行兩次此程序你會發現PID num一直在變,或者在自己電腦上運行wechat,反覆開關幾次你也會發現都是不同的PID num。

由上面的程序我們可以發現,multiprocessing與threading的用法沒什麼大差別,也有start()、run()、join()等方法。

看一下文檔裡面multiprocessing的用法,如下圖。

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

target表示調用的對象,args表示調用對象的文職參數元組,kwargs表示調用對象的字典,name為別名,Group基本用不上,為None也無所謂。

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

pipe對象默認是雙向的。在其建立的時候,返回一個含有兩個元素的列表,每個元素代表pipe的一端(Connection對象)。這就成了結果中的對暗號,‘天王蓋地虎,小雞燉蘑菇...不對 寶塔鎮河妖。’

send方法發送,另一端用recv方法來接收。

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

(2)Queue類與Pipe類似,不過學過數據結構,大家都知道隊列都是先進先出。Queue允許多個進程放入,多個進程從隊列存取。

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!

這裡最需要搞懂的地方就是這個鎖的用處,就好像把進程們出入的時候帶了手銬不讓亂跑,進一個出一個明確,這樣打印起來就不是很亂。

看懂了嗎?學會了嗎?學會就點歌關注吧!

先吃飯再喝湯?還是同時進行?Python多線程和多進程也是同理!


分享到:


相關文章: