為提高代碼的質量、安全性和可維護性,軟件工程師每天會用到無數工具。
我會列出一些自己最喜歡的 python 工具,並從易用性(是否易於安裝、運行和自動化)、質量影響(能否阻止可預見的 bug)、可維護性影響(是否讓工作更輕鬆)和安全性影響(能否發現並阻止安全性問題)對它們進行打分,以供讀者參考。
並且,我還將介紹如何將這些工具全包含進 CI pipeline,從而實現自動化和高效。
1.Pipenv
它是為Python 設計的開發管理和依賴管理的工具,最早由 Requests 的作者 Kenneth Reitz 編寫。
如果你用 python 做過一段時間的開發,那麼管理環境,你可能用過 virtualenv 或 venv ;依賴管理可能用過較可靠的pip freeze > requirements.txt。
大多數情況下,這完全沒問題。但是,我發現 pipenv 更方便,且很強大,加上它通過Pipfile和Pipfile.lock近乎去掉固定依賴的做法,很大程度上替代了requirements.txt,從而帶來更可靠的部署。
不過,我對 pipenv 的未來有點擔憂,因為 Python 基金會已擱置對 pip 的改進。而且,pipenv 在 2019 年缺乏實質性進展。但是,我仍然認為,對大多數 python 用戶來說,pipenv 是絕佳的工具。
官網下載地址
月下載量: 2111976
備選方案: poetry 、 virtualenv 、 venv
2.Ochrona
這裡,我有點私心,因為 Ochrona 是我積極開發並希望 2020 年發佈的工具。不過,我還會介紹這個工具的替代方案。
Ochrona 是一款依賴分析和軟件組成分析的工具,它可以用來檢查你的開源依賴是否存在已知漏洞。這個領域,另一款很流行的開源工具是 pyup.io 的 Safety 。
我認為,Ochrona 比 Safety 更好的地方在於:
- 無論是用於開源項目還是商業項目,它都提供免費方案,而且免費方案始終跟進最新的漏洞信息。
- 磁盤和 IO 使用非常少。不同於需要拉取整個漏洞數據庫的本地工具,它是 SaaS 模式,只需調用一次公開的 API。
- 它提供優秀的漏洞數據並且每天更新,並比其他工具提供更多的漏洞詳細信息,包括免費用戶。
官網下載地址
月下載量: 尚未發佈
備選方案: safety 、 snyk (收費)
3.Bandit
如果必須推薦一個可提高 python 項目安全性的工具,那我推薦 Bandit 。
據悉,Bandit 出自 OpenStack,但現在由 PyCQA 維護。它是一款開源的 SAST(靜態應用安全測試)工具,免費、可配置且快速。從某些方面來講,它就像是關注安全領域的 linter。
Bandit 很適合用來發現問題,比如不安全的配置、已知的不安全模塊使用情況等。
官網下載地址
月下載量: 575101
備選方案: pyre 、 pyt 、 dodgy
4.Black
Black 是一款獨特的代碼格式化工具。它能自動將你的代碼更正為 Black 樣式(一個 Pep-8 的超集)。
傳統的 linter 通常需要你把代碼改為合規代碼,而 Black 可以節省不少時間。並且,Black 只需有限的配置,這意味著你如果用過 Black,其他任何項目你都會覺得眼熟。
官網下載地址
月下載量: 1891711
備選方案:flake8、pylint
5.Mypy
它是python 一個可選的靜態類型檢查器。 PEP 484 引入 python 的類型提示,Mypy 則利用這些類型提示對項目進行靜態類型檢查。
Python 依然有動態的 duck 類型,不過,添加靜態類型檢查能幫你減少測試和調試時間,更早發現錯誤。
目前,大公司也在跟進 python 的靜態類型檢查。在 Guido van Rossum 任職期間,Dropbox 用 Mypy 檢查了 400 多萬行代碼。其他的 python 用戶,比如 Instagram 也開始做靜態類型檢查。
官網下載地址
月下載量: 2487228
備選方案: pyre
全部集成到一起
這個例子種,我會用到 Travis-CI ,配置其他 CI 工具的過程與之類似相似,只是語法上會有差異。這裡,我用一個簡單、不安全且有問題的 flask 應用作為例子。
app.py文件如下:
複製代碼
<code>from flask import Flask \t app = Flask(__name__) \[email protected]('/<name>') def hello_world(name: str) -> str: \treturn hello_name(name)def hello_name(name: str) -> int:\treturn f"hello, {name}"\tif __name__ == '__main__': \tapp.run(debug=True)/<name>/<code>
Pipfile如下:
複製代碼
<code>[[source]]name = "pypi"url = "https://pypi.org/simple"verify_ssl = true[dev-packages]bandit = "*"v = {editable = true,version = "*"}black = "*"mypy = "*"ochrona = "*"[packages]flask = "==0.12.2"[requires]python_version = "3.7"/<code>
最後在根目錄下創建一個.travis.yml文件,內容如下:
複製代碼
<code>language: pythonpython: - 3.7install: - pip install -U pip - pip install pipenv - pipenv install --devscript: - bandit ./* - black --check . - ochrona - mypy ./<code>
如果查看這裡的構建,你會發現每個工具都標出錯誤或指出需修改的地方。那麼,我們來做一些修正,如這個 PR 所示,構建就可以通過。
將 Flask 升級到一個沒有已知漏洞的版本
修復類型註釋,禁用調試模式,規範格式
雖然這個例子只涉及一個 CI 平臺,但其實和集成到其他大多數平臺的方法都很相似。
下面是一個總的評分表:
關注我並轉發此篇文章,私信我“領取資料”,即可免費獲得InfoQ價值4999元迷你書!
閱讀更多 InfoQ 的文章