如何高效地遠程部署?自動化運維利器 Fabric 教程
關於 Python 自動化的話題,在上一篇文章中,我介紹了 Invoke 庫,它是 Fabric 的最重要組件之一。Fabric 也是一個被廣泛應用的自動化工具庫,是不得不提的自動化運維利器,所以,本文將來介紹一下它。
Fabric 主要用在應用部署與系統管理等任務的自動化,簡單輕量級,提供有豐富的 SSH 擴展接口。在 Fabric 1.x 版本中,它混雜了本地及遠程兩類功能;但自 Fabric 2.x 版本起,它分離出了獨立的 Invoke 庫,來處理本地的自動化任務,而 Fabric 則聚焦於遠程與網絡層面的任務。
為了做到這點,Fabric 主要依賴另一大核心組件 Paramiko,它是基於 SSH 協議的遠程控制模塊,Fabric 在其基礎上封裝出了更加友好的接口,可以遠程執行 Shell 命令、傳輸文件、批量操作服務器、身份認證、多種配置與設置代理,等等。
一、Fabric 的版本區分
Python 2 版本已經被官宣在今年元旦“退休”了,未來只會是 Python 3 的舞臺。為了適應 Python 版本的非兼容性遷移,很多項目也必須推出自己的新版本(兼容或只支持 Python 3),其中就包括本文的主角 Fabric。
Fabric 自身存在著 2 個大版本:Fabric 1 和 Fabric 2,而在這個庫的基礎上,還有兩個很容易混淆的相關庫:Fabric2 和 Fabric3(注意這裡的數字是庫名的一部分)。
它們的區分如下:
- Fabric 1.x:支持 Python 2.5-2.7,但不支持 Python 3
- Fabric 2.x:支持 Python 2.7 與 3.4+,但不兼容 Fabric 1.x 的 fabfile
- Fabric2:等同於 Fabric 2.x,為了使不同版本共存(裝一個 1.x 舊版本,再裝它作為新版本)
- Fabric3:一個基於 Fabric 1.x 的 fork(非官方),兼容 Python 2&3,兼容 Fabric1.x 的 fabfile
綜上可見,我們推薦使用官方的 Fabric 2.x 系列版本,但同時要注意,某些過時的教程可能是基於早期版本的(或非官方的 Fabric3,也是基於 Fabric 1.x),需要注意識別。
例如,在 Fabric 1.x 系列中這麼寫導入:from fabric.api import run;在新版本中將報錯:“ImportError: No module named api”(PS:可根據是否有 fabric.api 來判斷 Fabric 的版本,就像在 Python 中根據 print 語句或 print 函數來判斷版本一樣)。同時,由於新版本不支持老版本的 fabfile,在使用時就可能報錯:“No idea what 'xxx' is!”
Fabric 2 是非兼容性版本,相比於前個版本,它主要改進的點有:
- 支持 Python 2.7 與 3.4+
- 線程安全,取消了多進程的併發實現
- API 圍繞 fabric.connection.Connection 進行了重組
- 全面修改了命令行解析器,允許在每個任務的基礎上使用規則的 GNU/POSIX 風格的標誌和選項(不再需要 fab mytask:weird = custom,arg = format)
- 可以聲明前置任務與後置任務
- ……(官方列了10幾條 [1],本文不一一羅列)
之前介紹過的 invoke,就是在開發 Fabric 2 時被分離出來的,具體的原因可參見這個回答 [2]。總而言之,在使用 Fabric 時,應該注意版本差異的問題。
二、Fabric 的基本用法
1、安裝
首先是安裝:pip intall fabric ,安裝後,可在命令行窗口查看版本信息:
<code>>>> fab -VFabric 2.5.0Paramiko 2.7.1Invoke 1.4.0/<code>
執行“fab -V”,以上結果可看出我安裝的是 Fabric 2.5.0 版本,同時可看到它的兩個核心依賴庫 Paramiko 及 Invoke 的版本信息。
2、一個簡單的例子
Fabric 主要用於遠程任務,即要對遠程服務器進行操作,下面是一個簡單的例子:
<code># 可使用任意的文件名from fabric import Connectionhost_ip = '47.xx.xx.xx' # 服務器地址user_name = 'root' # 服務器用戶名password = '****' # 服務器密碼cmd = 'date' # shell 命令,查詢服務器上的時間con = Connection(host_ip, user_name, connect_kwargs={'password': password})result = con.run(cmd, hide=True)print(result)/<code>
以上代碼,通過賬號+密碼登錄到遠程服務器,然後執行date命令,查看服務器的時間,執行結果:
<code>Command exited with status 0.=== stdout ===Fri Feb 14 15:33:05 CST 2020(no stderr)/<code>
現在打印的結果中,除了服務器時間,還有一些無關的信息。這是因為它打印的“result”是一個"fabric.runners.Result"類,我們可以把其中的信息解析出來:
<code>print(result.stdout) # Fri Feb 14 15:33:05 CST 2020print(result.exited) # 0print(result.ok) # Trueprint(result.failed) # Falseprint(result.command) # dateprint(result.connection.host) # 47.xx.xx.xx/<code>
上述代碼使用了 Connection 類及其 run() 方法,可在連接的服務器上運行 shell 命令。如果需要用管理員權限,則需替換成 sudo() 方法。如果要在本地執行 shell 命令,則需替換成 local() 方法。
除此之外,還有 get()、put() 等方法,詳見下文介紹。
3、命令行用法
上例代碼可寫在任意的 .py 腳本中,然後運行該腳本,或者稍微封裝下再導入到其它腳本中使用。
另外,Fabric 還是個命令行工具,可以通過fab命令來執行任務。我們稍微改造一下上例的代碼:
<code># 文件名:fabfile.pyfrom fabric import Connectionfrom fabric import taskhost_ip = '47.xx.xx.xx' # 服務器地址user_name = 'root' # 服務器用戶名password = '****' # 服務器密碼cmd = 'date' # shell 命令,查詢服務器上的時間@taskdef test(c): """ Get date from remote host. """ con = Connection(host_ip, user_name, connect_kwargs={'password': password}) result = con.run(cmd, hide=True) print(result.stdout) # 只打印時間/<code>
解釋一下,主要的改動點有:
- fabfile.py 文件名:入口代碼的腳本名必須用這個名字
- @task 裝飾器:需要從 fabric 中引入這個裝飾器,它是對 invoke 的 @task 裝飾器的封裝,實際用法跟 invoke 一樣(注意:它也需要有上下文參數“c”,但實際上它並沒有在代碼塊中使用,而是用了 Connection 類的實例)
然後,在該腳本同級目錄的命令行窗口中,可以查看和執行相應的任務:
<code>>>> fab -lAvailable tasks: test Get date from remote host.>>> fab testFri Feb 14 16:10:24 CST 2020/<code>
fab 是 Invoke 的擴展實現,繼承了很多原有功能,所以執行“fab --help”,與之前介紹的“inv --help”相比,你會發現它們的很多參數與解釋都是一模一樣的。
fab 針對遠程服務的場景,添加了幾個命令行選項(已標藍),其中:
- --prompt-for-login-password:令程序在命令行中輸入 SSH 登錄密碼(上例在代碼中指定了 connect_kwargs.password 參數,若用此選項,可要求在執行時再手工輸入密碼)
- --prompt-for-passphrase:令程序在命令行中輸入 SSH 私鑰加密文件的路徑
- -H 或 --hosts:指定要連接的 host 名
- -i 或 --identity:指定 SSH 連接所用的私鑰文件
- -S 或 --ssh-config:指定運行時要加載的 SSH 配置文件
關於 Fabric 的命令行接口,更多內容可查看文檔 [3]。
4、交互式操作
遠程服務器上若有交互式提示,要求輸入密碼或“yes”之類的信息,這就要求 Fabric 能夠監聽並作出回應。
以下是一個簡單示例。引入 invoke 的 Responder,初始化內容是一個正則字符串和回應信息,最後賦值給 watchers 參數:
<code>from invoke import Responderfrom fabric import Connectionc = Connection('host')sudopass = Responder( pattern=r'\\[sudo\\] password:', response='mypassword\\n')c.run('sudo whoami', pty=True, watchers=[sudopass])/<code>
5、傳輸文件
本地與服務器間的文件傳輸是常見用法。Fabric 在這方面做了很好的封裝,Connection 類中有以下兩個方法可用:
- get(*args, **kwargs):拉取遠端文件到本地文件系統或類文件(file-like)對象
- put(*args, **kwargs):推送本地文件或類文件對象到遠端文件系統
在已建立連接的情況下,示例:
<code># (略)con.get('/opt/123.txt', '123.txt')con.put('test.txt', '/opt/test.txt')/<code>
第一個參數指的是要傳輸的源文件,第二個參數是要傳輸的目的地,可以指定成文件名或者文件夾(為空或 None 時,使用默認路徑):
<code># (略)con.get('/opt/123.txt', '') # 為空時,使用默認路徑con.put('test.txt', '/opt/') # 指定路徑 /opt//<code>
get() 方法的默認存儲路徑是os.getcwd ,而 put() 方法的默認存儲路徑是 home 目錄。
6、服務器批量操作
對於服務器集群的批量操作,最簡單的實現方法是用 for 循環,然後逐一建立 connection 和執行操作,類似這樣:
<code>for host in ('web1', 'web2', 'mac1'): result = Connection(host).run('uname -s')/<code>
但有時候,這樣的方案會存在問題:
- 如果存在多組不同的服務器集群,需要執行不同操作,那麼需要寫很多 for 循環
- 如果想把每組操作的結果聚合起來(例如字典形式,key-主機,value-結果),還得在 for 循環之外添加額外的操作
- for 循環是順序同步執行的,效率太低,而且缺乏異常處理機制(若中間出現異常,會導致跳出後續操作)
對於這些問題,Fabric 提出了 Group 的概念,可將一組主機定義成一個 Group,它的 API 方法跟 Connection 一樣,即一個 Group 可簡化地視為一個 Connection。
然後,開發者只需要簡單地操作這個 Group,最後得到一個結果集即可,減少了自己在異常處理及執行順序上的工作。
Fabric 提供了一個 fabric.group.Group 基類,並由其派生出兩個子類,區別是:
- SerialGroup(*hosts, **kwargs):按串行方式執行操作
- ThreadingGroup(*hosts, **kwargs):按併發方式執行操作
Group 的類型決定了主機集群的操作方式,我們只需要做出選擇即可。然後,它們的執行結果是一個fabric.group.GroupResult類,它是 dict 的子類,存儲了每個主機 connection 及其執行結果的對應關係。
<code>>>> from fabric import SerialGroup>>> results = SerialGroup('web1', 'web2', 'mac1').run('uname -s')>>> print(results)<groupresult>: <commandresult>, <connection>: <commandresult>, <connection>: <commandresult>,}>/<commandresult>/<connection>/<commandresult>/<connection>/<commandresult>/<groupresult>/<code>
另外,GroupResult 還提供了 failed 與 succeeded 兩個屬性,可以取出失敗/成功的子集。由此,也可以方便地批量進行二次操作。 原文
三、Fabric 的進階用法
1、身份認證
Fabric 使用 SSH 協議來建立遠程會話,它是一種相對安全的基於應用層的加密傳輸協議。
基本來說,它有兩種級別的安全認證方式:
- 基於口令的身份認證:使用賬號與密碼來登錄遠程主機,安全性較低,容易受到“中間人”攻擊
- 基於密鑰的身份認證:使用密鑰對方式(公鑰放服務端,私鑰放客戶端),不會受到“中間人”攻擊,但登錄耗時較長
前文在舉例時,我們用了第一種方式,即通過指定 connect_kwargs.password 參數,使用口令來登錄。
Fabric 當然也支持採用第二種方式,有三種方法來指定私鑰文件的路徑,優先級如下:
- 優先查找 connect_kwargs.key_filename 參數,找到則用作私鑰
- 其次查找命令行用法的 --identify 選項
- 最後默認使用操作系統的 ssh_config 文件中的IdentityFile 的值
如果私鑰文件本身還被加密過,則需要使用 connect_kwargs.passphrase 參數。
2、配置文件
Fabric 支持把一些參數項與業務代碼分離,即通過配置文件來管理它們,例如前面提到的密碼和私鑰文件,可寫在配置文件中,避免與代碼耦合。
Fabric 基本沿用了 Invoke 的配置文件體系(官方文檔中列出了 9 層),同時增加了一些跟 SSH 相關的配置項。支持的文件格式有 .yaml、.yml、.json 與 .py(按此次序排優先級),推薦使用 yaml 格式(後綴可簡寫成 yml)。
其中,比較常用的配置文件有:
- 系統級的配置文件:/etc/fabric.yml
- 用戶級的配置文件:~/.fabric.yml(Windows 在 C:\\Users\\\\xxx 下)
- 項目級的配置文件:/myproject/fabric.yml
以上文件的優先級遞減,由於我本機是 Windows,為了方便,我在用戶目錄建一個".fabric.yml"文件,內容如下:
<code># filename:.fabric.ymluser: rootconnect_kwargs: password: xxxx# 若用密鑰,則如下# key_filename:# - your_key_file/<code>
我們把用戶名和密碼抽離出來了,所以 fabfile 中就可以刪掉這些內容:
<code># 文件名:fabfile.pyfrom fabric import Connectionfrom fabric import taskhost_ip = '47.xx.xx.xx' # 服務器地址cmd = 'date' # shell 命令,查詢服務器上的時間@taskdef test(c): """ Get date from remote host. """ con = Connection(host_ip) result = con.run(cmd, hide=True) print(result.stdout) /<code>
然後,在命令行中執行:
<code>>>> fab testTue Feb 18 10:33:38 CST 2020/<code>
配置文件中還可以設置很多參數,詳細可查看文檔 [4]。
3、網絡網關
如果遠程服務是網絡隔離的,無法直接被訪問到(處在不同局域網),這時候需要有網關/代理/隧道,這個中間層的機器通常被稱為跳板機或堡壘機。
Fabric 中有兩種網關解決方案,對應到 OpenSSH 客戶端的兩種選項:
- ProxyJump:簡單,開銷少,可嵌套
- ProxyCommand:開銷大,不可嵌套,更靈活
在創建 Fabric 的 Connection 對象時,可通過指定 gateway 參數來應用這兩種方案:
ProxyJump 方式就是在一個 Connection 中嵌套一個 Connection 作為前者的網關,後者使用 SSH 協議的direct-tcpip 為前者打開與實際遠程主機的連接,而且後者還可以繼續嵌套使用自己的網關。
<code>from fabric import Connectionc = Connection('internalhost', gateway=Connection('gatewayhost'))/<code>
ProxyCommand 方式是客戶端在本地用 ssh 命令(類似“ssh -W %h:%p gatewayhost”),創建一個子進程,該子進程與服務端進行通信,同時它能讀取標準輸入和輸出。
這部分的實現細節分別在paramiko.channel.Channel 和 paramiko.proxy.ProxyCommand,除了在參數中指定,也可以在 Fabric 支持的配置文件中定義。更多細節,請查閱文檔 [5]。
四、小結
Fabric 的非兼容版本造成了一定程度的社區分裂,這無疑跟 Python 3 的推行脫不開關係,但是我們有理由相信,新版本優勝於老版本。
網上關於 Fabric 的文章,很多已過時了。本文針對最新的官方文檔,梳理出了較為全面的知識點,可以帶大家很好地入門 Fabric。
讀完本文,相信讀者們只需要幾分鐘就能輕鬆上手使用。如若有所疑問,歡迎通過以下方式聯繫我。
--------------
知乎:豌豆花下貓
掘金:豌豆花下貓
--------------
相關鏈接:
Invoke教程:https://mp.weixin.qq.com/s/up8lxuRhJQAXRzxkirF3nA
1、http://www.fabfile.org/upgrading.html#upgrading
2、http://www.pyinvoke.org/faq.html#invoke-split-from-fabric
3、http://docs.fabfile.org/en/2.5/cli.html
4、http://docs.fabfile.org/en/2.5/concepts/configuration.html
5、http://docs.fabfile.org/en/2.5/concepts/networking.html
閱讀更多 Python貓 的文章