歡迎來到【好工具】專欄,本次我們給介紹一款可以進行遠程深度學習煉丹的工具 JupyterLab 及其配置流程,幫助讀者在本地進行調試,Max 開發效率。
作者 | Leong
導言
不知道讀者們有沒有發現,如果你用 Anaconda 中的 Notebook 的話,有時想快速調試幾行程序,這時打開 Notebook 每次都得好一會,而且會佔用了不少的本地資源,這時要是有一個遠程的 Notebook,想用的時候隨時打開,而且又不用考慮佔用本地的計算資源,那該有多好。說幹就幹!開始我們的配置之旅吧。
工具:一臺服務器(帶 GPU 的更好,還可以進行遠程訓練)、Xshell 軟件
PS:筆者之前購買了一臺騰訊雲的服務器,所以就用它來進行演示。
文後提供相關工具的下載!
安裝 Anaconda
(1) 下載 Anaconda 安裝包
訪問
https://www.anaconda.com/distribution/#linux
選擇 Linux 3.7 版本的軟件包,複製鏈接地址,使用 wget 命令進行下載。(筆者服務器的系統是 Ubuntu)
wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
這樣就下載了一個 Anaconda3-2020.02-Linux-x86_64.sh 文件
(2) SHA256 驗證
SHA256 驗證,主要是來驗證所下載的軟件包是否完整,防止文件內容被篡改,驗證的方法是運行下面命令,會出現一串字符。
sha256sum Anaconda3-2020.02-Linux-x86_64.sh
https://docs.anaconda.com/anaconda/install/hashes/
找到對應的版本,點擊進去就會看見 sha256 碼,一般是和你終端輸出的字符串是一致的,就說明下載的軟件包沒有問題。
(3) 安裝
運行命令安裝
bash Anaconda3-2020.02-Linux-x86_64.sh
一直回車到底,到最後輸入一個 yes 確認同意協議
安裝位置確認 ,回車默認好啦
開始解壓安裝
出現 “Do you wish the installer to initialize Anaconda3 by running conda init?”,輸入 yes 回車
安裝成功
運行 source ~/.bashrc 生效
安裝 JupyterLab
JupyterLab 是 Jupyter Notebook 的下一代產品,集成了更多功能。如果你租過別人的遠程服務器的話,那麼你會發現,現在很多都是 JupyterLab 居多。所以,我們也使用 JupyterLab 來作為我們的開發界面。
# conda 安裝
conda install -c conda-forge jupyterlab
# 或者 pip 安裝
pip install jupyterlab
等待安裝即可。。
配置遠程訪問
既然要進行遠程訪問開發,那麼就需要進行配置。
(1) 生成驗證字符
終端運行 ipython 並運行以下命令,設置密碼即可(輸入密碼時是看不見的),然後會生成一串字符,待會需要用到。
In [1]: from notebook.auth import passwd In [2]: passwd()
Enter password:
Verify password:Out[2]: 'sha1:2af47044eb4d:f7c917997d5a91bdeeb4a4a1cab7266b844c94bb'
(2) 生成配置文件
jupyter lab --generate-config
(3) 修改配置
修改配置文件的幾處地方(修改的時候記得將前面的 # 刪除),筆者是下載到本地後修改後再上傳到服務器的。
將 ip 設置為 *,意味允許任何 IP 訪問
這裡的密碼就是上邊我們生成的那一串
服務器上並沒有瀏覽器可以供 Jupyter 打開,所以設置成 False
監聽端口設置為 8888 或其他自己喜歡的端口
允許遠程訪問
我們把工作空間設置在 /home/ubuntu/code 下面,所以進入到該路徑下運行 jupyter lab --allow-root 即可使用
為了讓程序在後臺運行,我們可以使用 tmux 工具(可以後臺運行的工具)
# 安裝 tmux 工具
apt install tmux
# 啟動一個窗口,關閉後程序仍然可以在後臺運行
tmux -S jupyterlab # 參數jupyterlab是窗口名隨意
# 運行我們所要的程序
jupyter lab --allow-root
關閉終端窗口,完成!!
在瀏覽器中輸入 ip:8888/lab(換成你服務器的 ip 和端口)輸入密碼即可看到以下的窗口。
遠程可視化
大家在訓練深度學習模型的時候,往往需要對指標進行可視化,其中 Tensorboard 就是一款不錯的工具,下面就給大家演示如何在本地顯示遠程服務器的可視化結果。
首先在 Notebook 運行一個演示程序
在Xshell 進行以下設置
然後運行 tensorboard --logdir runs/
最後在本地的瀏覽器輸入 http://localhost:6006/ 即可看到可視化效果了。
去有三言選公眾號後臺回覆 Notebook 可以獲取相關工具
閱讀更多 有三AI 的文章