【好工具】 深度學習煉丹,你怎麼能少了這款工具!

歡迎來到【好工具】專欄,本次我們給介紹一款可以進行遠程深度學習煉丹的工具 JupyterLab 及其配置流程,幫助讀者在本地進行調試,Max 開發效率。

作者 | Leong

導言

不知道讀者們有沒有發現,如果你用 Anaconda 中的 Notebook 的話,有時想快速調試幾行程序,這時打開 Notebook 每次都得好一會,而且會佔用了不少的本地資源,這時要是有一個遠程的 Notebook,想用的時候隨時打開,而且又不用考慮佔用本地的計算資源,那該有多好。說幹就幹!開始我們的配置之旅吧。

工具:一臺服務器(帶 GPU 的更好,還可以進行遠程訓練)、Xshell 軟件

PS:筆者之前購買了一臺騰訊雲的服務器,所以就用它來進行演示。

文後提供相關工具的下載!

安裝 Anaconda

(1) 下載 Anaconda 安裝包

訪問

https://www.anaconda.com/distribution/#linux

選擇 Linux 3.7 版本的軟件包,複製鏈接地址,使用 wget 命令進行下載。(筆者服務器的系統是 Ubuntu)

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh

這樣就下載了一個 Anaconda3-2020.02-Linux-x86_64.sh 文件

(2) SHA256 驗證

SHA256 驗證,主要是來驗證所下載的軟件包是否完整,防止文件內容被篡改,驗證的方法是運行下面命令,會出現一串字符。

sha256sum Anaconda3-2020.02-Linux-x86_64.sh

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

https://docs.anaconda.com/anaconda/install/hashes/

找到對應的版本,點擊進去就會看見 sha256 碼,一般是和你終端輸出的字符串是一致的,就說明下載的軟件包沒有問題。

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

(3) 安裝

運行命令安裝

bash Anaconda3-2020.02-Linux-x86_64.sh

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

一直回車到底,到最後輸入一個 yes 確認同意協議

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

安裝位置確認 ,回車默認好啦

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

開始解壓安裝

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

出現 “Do you wish the installer to initialize Anaconda3 by running conda init?”,輸入 yes 回車

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

安裝成功

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

運行 source ~/.bashrc 生效

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

安裝 JupyterLab

JupyterLab 是 Jupyter Notebook 的下一代產品,集成了更多功能。如果你租過別人的遠程服務器的話,那麼你會發現,現在很多都是 JupyterLab 居多。所以,我們也使用 JupyterLab 來作為我們的開發界面。

# conda 安裝

conda install -c conda-forge jupyterlab

# 或者 pip 安裝

pip install jupyterlab

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

等待安裝即可。。

配置遠程訪問

既然要進行遠程訪問開發,那麼就需要進行配置。

(1) 生成驗證字符

終端運行 ipython 並運行以下命令,設置密碼即可(輸入密碼時是看不見的),然後會生成一串字符,待會需要用到。

In [1]: from notebook.auth import passwd In [2]: passwd()

Enter password:

Verify password:Out[2]: 'sha1:2af47044eb4d:f7c917997d5a91bdeeb4a4a1cab7266b844c94bb'

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

(2) 生成配置文件

jupyter lab --generate-config

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

(3) 修改配置

修改配置文件的幾處地方(修改的時候記得將前面的 # 刪除),筆者是下載到本地後修改後再上傳到服務器的。

將 ip 設置為 *,意味允許任何 IP 訪問

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

這裡的密碼就是上邊我們生成的那一串

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

服務器上並沒有瀏覽器可以供 Jupyter 打開,所以設置成 False

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

監聽端口設置為 8888 或其他自己喜歡的端口

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

允許遠程訪問

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

我們把工作空間設置在 /home/ubuntu/code 下面,所以進入到該路徑下運行 jupyter lab --allow-root 即可使用

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

為了讓程序在後臺運行,我們可以使用 tmux 工具(可以後臺運行的工具)

# 安裝 tmux 工具

apt install tmux

# 啟動一個窗口,關閉後程序仍然可以在後臺運行

tmux -S jupyterlab # 參數jupyterlab是窗口名隨意

# 運行我們所要的程序

jupyter lab --allow-root

關閉終端窗口,完成!!

在瀏覽器中輸入 ip:8888/lab(換成你服務器的 ip 和端口)輸入密碼即可看到以下的窗口。

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

遠程可視化

大家在訓練深度學習模型的時候,往往需要對指標進行可視化,其中 Tensorboard 就是一款不錯的工具,下面就給大家演示如何在本地顯示遠程服務器的可視化結果。

首先在 Notebook 運行一個演示程序

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

在Xshell 進行以下設置

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

然後運行 tensorboard --logdir runs/

【好工具】 深度學習煉丹,你怎麼能少了這款工具!

最後在本地的瀏覽器輸入 http://localhost:6006/ 即可看到可視化效果了。

【好工具】 深度學習煉丹,你怎麼能少了這款工具!


【好工具】 深度學習煉丹,你怎麼能少了這款工具!

去有三言選公眾號後臺回覆 Notebook 可以獲取相關工具


分享到:


相關文章: