如何高效地遠程部署？自動化運維利器 Fabric 教程
關於 Python 自動化的話題，在上一篇文章中，我介紹了 Invoke 庫，它是 Fabric 的最重要組件之一。Fabric 也是一個被廣泛應用的自動化工具庫，是不得不提的自動化運維利器，所以，本文將來介紹一下它。
Fabric 主要用在應用部署與系統管理等任務的自動化，簡單輕量級，提供有豐富的 SSH 擴展接口。在 Fabric 1.x 版本中，它混雜了本地及遠程兩類功能；但自 Fabric 2.x 版本起，它分離出了獨立的 Invoke 庫，來處理本地的自動化任務，而 Fabric 則聚焦於遠程與網絡層面的任務。
為了做到這點，Fabric 主要依賴另一大核心組件 Paramiko，它是基於 SSH 協議的遠程控制模塊，Fabric 在其基礎上封裝出了更加友好的接口，可以遠程執行 Shell 命令、傳輸文件、批量操作服務器、身份認證、多種配置與設置代理，等等。
一、Fabric 的版本區分
Python 2 版本已經被官宣在今年元旦“退休”了，未來只會是 Python 3 的舞臺。為了適應 Python 版本的非兼容性遷移，很多項目也必須推出自己的新版本（兼容或只支持 Python 3），其中就包括本文的主角 Fabric。
Fabric 自身存在著 2 個大版本：Fabric 1 和 Fabric 2，而在這個庫的基礎上，還有兩個很容易混淆的相關庫：Fabric2 和 Fabric3（注意這裡的數字是庫名的一部分）。
它們的區分如下：
- Fabric 1.x：支持 Python 2.5-2.7，但不支持 Python 3
- Fabric 2.x：支持 Python 2.7 與 3.4+，但不兼容 Fabric 1.x 的 fabfile
- Fabric2：等同於 Fabric 2.x，為了使不同版本共存（裝一個 1.x 舊版本，再裝它作為新版本）
- Fabric3：一個基於 Fabric 1.x 的 fork（非官方），兼容 Python 2&3，兼容 Fabric1.x 的 fabfile
綜上可見，我們推薦使用官方的 Fabric 2.x 系列版本，但同時要注意，某些過時的教程可能是基於早期版本的（或非官方的 Fabric3，也是基於 Fabric 1.x），需要注意識別。
例如，在 Fabric 1.x 系列中這麼寫導入：from fabric.api import run；在新版本中將報錯：“ImportError: No module named api”（PS：可根據是否有 fabric.api 來判斷 Fabric 的版本，就像在 Python 中根據 print 語句或 print 函數來判斷版本一樣）。同時，由於新版本不支持老版本的 fabfile，在使用時就可能報錯：“No idea what 'xxx' is!”
Fabric 2 是非兼容性版本，相比於前個版本，它主要改進的點有：
- 支持 Python 2.7 與 3.4+
- 線程安全，取消了多進程的併發實現
- API 圍繞 fabric.connection.Connection 進行了重組
- 全面修改了命令行解析器，允許在每個任務的基礎上使用規則的 GNU/POSIX 風格的標誌和選項（不再需要 fab mytask:weird = custom,arg = format）
- 可以聲明前置任務與後置任務
- ……（官方列了10幾條 [1]，本文不一一羅列）
之前介紹過的 invoke，就是在開發 Fabric 2 時被分離出來的，具體的原因可參見這個回答 [2]。總而言之，在使用 Fabric 時，應該注意版本差異的問題。
二、Fabric 的基本用法
1、安裝
首先是安裝：pip intall fabric ，安裝後，可在命令行窗口查看版本信息：
<code>>>> fab -V
Fabric 2.5.0
Paramiko 2.7.1
Invoke 1.4.0/<code>
執行“fab -V”，以上結果可看出我安裝的是 Fabric 2.5.0 版本，同時可看到它的兩個核心依賴庫 Paramiko 及 Invoke 的版本信息。
2、一個簡單的例子
Fabric 主要用於遠程任務，即要對遠程服務器進行操作，下面是一個簡單的例子：
<code># 可使用任意的文件名
from fabric import Connection
host_ip = '47.xx.xx.xx' # 服務器地址
user_name = 'root' # 服務器用戶名
password = '****' # 服務器密碼
cmd = 'date' # shell 命令，查詢服務器上的時間
con = Connection(host_ip, user_name, connect_kwargs={'password': password})
result = con.run(cmd, hide=True)
print(result)/<code>
以上代碼，通過賬號+密碼登錄到遠程服務器，然後執行date命令，查看服務器的時間，執行結果：
<code>Command exited with status 0.
=== stdout ===
Fri Feb 14 15:33:05 CST 2020
(no stderr)/<code>
現在打印的結果中，除了服務器時間，還有一些無關的信息。這是因為它打印的“result”是一個"fabric.runners.Result"類，我們可以把其中的信息解析出來：
<code>print(result.stdout) # Fri Feb 14 15:33:05 CST 2020
print(result.exited) # 0
print(result.ok) # True
print(result.failed) # False
print(result.command) # date
print(result.connection.host) # 47.xx.xx.xx/<code>
上述代碼使用了 Connection 類及其 run() 方法，可在連接的服務器上運行 shell 命令。如果需要用管理員權限，則需替換成 sudo() 方法。如果要在本地執行 shell 命令，則需替換成 local() 方法。
除此之外，還有 get()、put() 等方法，詳見下文介紹。
3、命令行用法
上例代碼可寫在任意的 .py 腳本中，然後運行該腳本，或者稍微封裝下再導入到其它腳本中使用。
另外，Fabric 還是個命令行工具，可以通過fab命令來執行任務。我們稍微改造一下上例的代碼：
<code># 文件名：fabfile.py
from fabric import Connection
from fabric import task
host_ip = '47.xx.xx.xx' # 服務器地址
user_name = 'root' # 服務器用戶名
password = '****' # 服務器密碼
cmd = 'date' # shell 命令，查詢服務器上的時間
@task
def test(c):
"""
Get date from remote host.
"""
con = Connection(host_ip, user_name, connect_kwargs={'password': password})
result = con.run(cmd, hide=True)
print(result.stdout) # 只打印時間/<code>
解釋一下，主要的改動點有：
- fabfile.py 文件名：入口代碼的腳本名必須用這個名字
- @task 裝飾器：需要從 fabric 中引入這個裝飾器，它是對 invoke 的 @task 裝飾器的封裝，實際用法跟 invoke 一樣（注意：它也需要有上下文參數“c”，但實際上它並沒有在代碼塊中使用，而是用了 Connection 類的實例）
然後，在該腳本同級目錄的命令行窗口中，可以查看和執行相應的任務：
<code>>>> fab -l
Available tasks:
test Get date from remote host.
>>> fab test
Fri Feb 14 16:10:24 CST 2020/<code>
fab 是 Invoke 的擴展實現，繼承了很多原有功能，所以執行“fab --help”，與之前介紹的“inv --help”相比，你會發現它們的很多參數與解釋都是一模一樣的。
fab 針對遠程服務的場景，添加了幾個命令行選項（已標藍），其中：
- --prompt-for-login-password：令程序在命令行中輸入 SSH 登錄密碼（上例在代碼中指定了 connect_kwargs.password 參數，若用此選項，可要求在執行時再手工輸入密碼）
- --prompt-for-passphrase：令程序在命令行中輸入 SSH 私鑰加密文件的路徑
- -H 或 --hosts：指定要連接的 host 名
- -i 或 --identity：指定 SSH 連接所用的私鑰文件
- -S 或 --ssh-config：指定運行時要加載的 SSH 配置文件
關於 Fabric 的命令行接口，更多內容可查看文檔 [3]。
4、交互式操作
遠程服務器上若有交互式提示，要求輸入密碼或“yes”之類的信息，這就要求 Fabric 能夠監聽並作出回應。
以下是一個簡單示例。引入 invoke 的 Responder，初始化內容是一個正則字符串和回應信息，最後賦值給 watchers 參數：
<code>from invoke import Responder
from fabric import Connection
c = Connection('host')
sudopass = Responder(
pattern=r'\\[sudo\\] password:',
response='mypassword\\n')
c.run('sudo whoami', pty=True, watchers=[sudopass])/<code>
5、傳輸文件
本地與服務器間的文件傳輸是常見用法。Fabric 在這方面做了很好的封裝，Connection 類中有以下兩個方法可用：
- get(*args, **kwargs)：拉取遠端文件到本地文件系統或類文件（file-like）對象
- put(*args, **kwargs)：推送本地文件或類文件對象到遠端文件系統
在已建立連接的情況下，示例：
<code># (略)
con.get('/opt/123.txt', '123.txt')
con.put('test.txt', '/opt/test.txt')/<code>
第一個參數指的是要傳輸的源文件，第二個參數是要傳輸的目的地，可以指定成文件名或者文件夾（為空或 None 時，使用默認路徑）：
<code># (略)
con.get('/opt/123.txt', '') # 為空時，使用默認路徑
con.put('test.txt', '/opt/') # 指定路徑 /opt//<code>
get() 方法的默認存儲路徑是os.getcwd ，而 put() 方法的默認存儲路徑是 home 目錄。
6、服務器批量操作
對於服務器集群的批量操作，最簡單的實現方法是用 for 循環，然後逐一建立 connection 和執行操作，類似這樣：
<code>for host in ('web1', 'web2', 'mac1'):
result = Connection(host).run('uname -s')/<code>但有時候，這樣的方案會存在問題：
- 如果存在多組不同的服務器集群，需要執行不同操作，那麼需要寫很多 for 循環
- 如果想把每組操作的結果聚合起來（例如字典形式，key-主機，value-結果），還得在 for 循環之外添加額外的操作
- for 循環是順序同步執行的，效率太低，而且缺乏異常處理機制（若中間出現異常，會導致跳出後續操作）
對於這些問題，Fabric 提出了 Group 的概念，可將一組主機定義成一個 Group，它的 API 方法跟 Connection 一樣，即一個 Group 可簡化地視為一個 Connection。
然後，開發者只需要簡單地操作這個 Group，最後得到一個結果集即可，減少了自己在異常處理及執行順序上的工作。
Fabric 提供了一個 fabric.group.Group 基類，並由其派生出兩個子類，區別是：
- SerialGroup(*hosts, **kwargs)：按串行方式執行操作
- ThreadingGroup(*hosts, **kwargs)：按併發方式執行操作
Group 的類型決定了主機集群的操作方式，我們只需要做出選擇即可。然後，它們的執行結果是一個fabric.group.GroupResult類，它是 dict 的子類，存儲了每個主機 connection 及其執行結果的對應關係。
<code>>>> from fabric import SerialGroup
>>> results = SerialGroup('web1', 'web2', 'mac1').run('uname -s')
>>> print(results)
<groupresult> <connection>: <commandresult>,
<connection>: <commandresult>,
<connection>: <commandresult>,
}>/<commandresult>/<connection>/<commandresult>/<connection>/<commandresult>/<connection>/<groupresult>/<code>
另外，GroupResult 還提供了 failed 與 succeeded 兩個屬性，可以取出失敗/成功的子集。由此，也可以方便地批量進行二次操作。 原文
三、Fabric 的進階用法
1、身份認證
Fabric 使用 SSH 協議來建立遠程會話，它是一種相對安全的基於應用層的加密傳輸協議。
基本來說，它有兩種級別的安全認證方式：
- 基於口令的身份認證：使用賬號與密碼來登錄遠程主機，安全性較低，容易受到“中間人”攻擊
- 基於密鑰的身份認證：使用密鑰對方式（公鑰放服務端，私鑰放客戶端），不會受到“中間人”攻擊，但登錄耗時較長
前文在舉例時，我們用了第一種方式，即通過指定 connect_kwargs.password 參數，使用口令來登錄。
Fabric 當然也支持採用第二種方式，有三種方法來指定私鑰文件的路徑，優先級如下：
- 優先查找 connect_kwargs.key_filename 參數，找到則用作私鑰
- 其次查找命令行用法的 --identify 選項
- 最後默認使用操作系統的 ssh_config 文件中的IdentityFile 的值
如果私鑰文件本身還被加密過，則需要使用 connect_kwargs.passphrase 參數。
2、配置文件
Fabric 支持把一些參數項與業務代碼分離，即通過配置文件來管理它們，例如前面提到的密碼和私鑰文件，可寫在配置文件中，避免與代碼耦合。
Fabric 基本沿用了 Invoke 的配置文件體系（官方文檔中列出了 9 層），同時增加了一些跟 SSH 相關的配置項。支持的文件格式有 .yaml、.yml、.json 與 .py（按此次序排優先級），推薦使用 yaml 格式（後綴可簡寫成 yml）。
其中，比較常用的配置文件有：
- 系統級的配置文件：/etc/fabric.yml
- 用戶級的配置文件：~/.fabric.yml（Windows 在 C:\\Users\\\\xxx 下）
- 項目級的配置文件：/myproject/fabric.yml
以上文件的優先級遞減，由於我本機是 Windows，為了方便，我在用戶目錄建一個".fabric.yml"文件，內容如下：
<code># filename:.fabric.yml
user: root
connect_kwargs:
password: xxxx
# 若用密鑰，則如下
# key_filename:
# - your_key_file/<code>
我們把用戶名和密碼抽離出來了，所以 fabfile 中就可以刪掉這些內容：
<code># 文件名：fabfile.py
from fabric import Connection
from fabric import task
host_ip = '47.xx.xx.xx' # 服務器地址
cmd = 'date' # shell 命令，查詢服務器上的時間
@task
def test(c):
"""
Get date from remote host.
"""
con = Connection(host_ip)
result = con.run(cmd, hide=True)
print(result.stdout) /<code>
然後，在命令行中執行：
<code>>>> fab test
Tue Feb 18 10:33:38 CST 2020/<code>
配置文件中還可以設置很多參數，詳細可查看文檔 [4]。
3、網絡網關
如果遠程服務是網絡隔離的，無法直接被訪問到（處在不同局域網），這時候需要有網關/代理/隧道，這個中間層的機器通常被稱為跳板機或堡壘機。
Fabric 中有兩種網關解決方案，對應到 OpenSSH 客戶端的兩種選項：
- ProxyJump：簡單，開銷少，可嵌套
- ProxyCommand：開銷大，不可嵌套，更靈活
在創建 Fabric 的 Connection 對象時，可通過指定 gateway 參數來應用這兩種方案：
ProxyJump 方式就是在一個 Connection 中嵌套一個 Connection 作為前者的網關，後者使用 SSH 協議的direct-tcpip 為前者打開與實際遠程主機的連接，而且後者還可以繼續嵌套使用自己的網關。
<code>from fabric import Connection
c = Connection('internalhost', gateway=Connection('gatewayhost'))/<code>
ProxyCommand 方式是客戶端在本地用 ssh 命令（類似“ssh -W %h:%p gatewayhost”），創建一個子進程，該子進程與服務端進行通信，同時它能讀取標準輸入和輸出。
這部分的實現細節分別在paramiko.channel.Channel 和 paramiko.proxy.ProxyCommand，除了在參數中指定，也可以在 Fabric 支持的配置文件中定義。更多細節，請查閱文檔 [5]。
四、小結
Fabric 的非兼容版本造成了一定程度的社區分裂，這無疑跟 Python 3 的推行脫不開關係，但是我們有理由相信，新版本優勝於老版本。
網上關於 Fabric 的文章，很多已過時了。本文針對最新的官方文檔，梳理出了較為全面的知識點，可以帶大家很好地入門 Fabric。
讀完本文，相信讀者們只需要幾分鐘就能輕鬆上手使用。如若有所疑問，歡迎通過以下方式聯繫我。
--------------
知乎：豌豆花下貓
掘金：豌豆花下貓
--------------
相關鏈接：
Invoke教程：https://mp.weixin.qq.com/s/up8lxuRhJQAXRzxkirF3nA
1、http://www.fabfile.org/upgrading.html#upgrading
2、http://www.pyinvoke.org/faq.html#invoke-split-from-fabric
3、http://docs.fabfile.org/en/2.5/cli.html
4、http://docs.fabfile.org/en/2.5/concepts/configuration.html
5、http://docs.fabfile.org/en/2.5/concepts/networking.html
閱讀更多 Python貓 的文章
