概述
在處理Linux系統上的大文件時, 特別是拷貝/備份/壓縮這些操作, 可能想要了解這些大文件的處理進度, 然而在管道中工作的終端工具可能並沒有提供查看進度信息的功能, 此時就需要稱為'pv'或者Pipe Viewer的工具監控通過管道的數據的進度信息, 已消耗的時間, 進度條顯示的完成百分比, 當前管道的吞吐量, 已傳輸的數據量, 預計完成的時間等.
簡介
語法：
pv [OPTION] [FILE]
pv [-h|-V]
不帶任何選項時, 默認自帶-p --progress(帶進度條的完成比例), -t --timer(已消耗時間), -e --eta(預估剩餘時間), -r --rate(已傳輸總量), -b --bytes(數據量總量)
Pipe Viewer用於監視通過管道的數據進度信息. pv使用戶能夠看到數據通過管道的進度, 並提供例如耗時,完成比例,吞吐量,傳輸量和ETA等這些信息. 為了實現上述功能需要將該命令插入到兩個進程之間的管道中, 並佐以合適的選項. 它的標準輸入經由它到達其標準輸出, 同時進度信息會顯示在標準錯誤上. pv依次拷貝FILE中的數據到其標準輸出( - 表示標準輸入), 如果FILE未提供僅僅拷貝標準輸入. 該命令行的行為與cat類似.
注意:如果輸入數據量無法計算, 並且輸出是一個塊設備, 那麼塊設備的大小會用來作為輸出總量, 即使指定了-S --stop-at-size選項, pv也會停在該位置.
1、監視打開/拷貝文件進度
利用pv打開一個文件, 標準輸出可以重定向到一個新文件或者/dev/null. -L 選項表示限速, 控制通過pv的數據流速, 便於查看進度信息. 默認顯示進度信息包括: 傳輸的數據量, 已消耗時間, 數據傳輸速率, 進度條和完成比率, 預估剩餘時間.
#apt-get install pv
# pv -L 50k BTRobot_v2.2.6.zip 1>/dev/null
2、監視壓縮文件進度
利用pv打開一個數據通道, 並將pv的標準輸出作為zip的標準輸入.
'-' 表示zip命令壓縮當前標準輸入的數據.
為了清除zip程序的標準錯誤輸出, 將其中定向到Null設備, 此時輸出信息就只剩下pv的標準錯誤輸出信息.
# pv -L 50k BTRobot_v2.2.6.zip | zip 1>/dev/null
# pv -L 50k BTRobot_v2.2.6.zip |(zip 1>cups.zip 2>/dev/null)
gzip直接壓縮文件和通過pv顯示進度信息的執行過程比較
root@iZmfgnjkehk13uZ:/opt# gzip -c ftp_down.sh >pvtest.tar.gz
root@iZmfgnjkehk13uZ:/opt# du -sb pvtest.tar.gz
root@iZmfgnjkehk13uZ:/opt# pv -L 10k ftp_down.sh|gzip > pvtest.tar.gz
3、監視數據內容搜索進度
利用wc命令計算文件的行數/詞數/字節數, wc沒有進度信息的功能, 通過pv來監視數據傳輸量就可以很容易得到當前文件的完成比例。
root@iZmfgnjkehk13uZ:/opt# pv -L 5k pvtest.tar.gz |wc
利用grep命令搜索文件內容, -n命令以整數顯示數據量的完成比例, -i設置進度更新間隔時間(可以是小數), 可以很容易看出完成的比例。
root@iZmfgnjkehk13uZ:/opt# pv -n -i 0.5 -L 5k pvtest.tar.gz |grep seconds
利用grep命令搜索文件內容, -N 標記經由pv的管道流名稱。
root@iZmfgnjkehk13uZ:/opt# pv -N GrepRate -i 0.1 -L 5k pvtest.tar.gz| grep seconds
4、監視tar的備份進度
tar命令中的第一個'-'寫備份文件到標準輸出, 備份文件通過管道作為pv的標準輸入, 經由pv後作為標準輸出寫入文件down.tgz.
pv顯示選項中的部分長短選項-t --timer, -r --rate, -b --bytes.
由於數據總量無法後去, 完成比例的進度條顯示就無法明確顯示, 同時-e --eta亦-p --propress也是無法顯示.
root@iZmfgnjkehk13uZ:/opt# tar -czf - ./nginx/ | (pv -L 1000k -p --timer --rate --bytes > nginx.tar.gz)
5、配置dialog顯示進度條
通過-s參數指定數據總量, 進度條的顯示應該就會先正確. dialog只接受標準輸入的數字, 所以pv要使用-n參數輸出數字比例, 同時pv的標準錯誤要重定向到標準輸出中, dialog才能從標準輸入接收到數據. gauge是進度條類型, 後續參數是描述信息, 進度條高度終端比率和長度終端比例.
root@iZmfgnjkehk13uZ:/opt# tar -czf - ./nginx/ | (pv -L 10k -s 69705 -n > nginx.tgz) 2>&1 | dialog --gauge "Progress" 10 70
6、大量數據網絡傳輸
假設有機器A, 地址128.160.171.181; 機器B, 地址128.160.64.115
首先要在機器B上面製造數據, 數據都處於同一個目錄內, 利用tar和pv拷貝/usr/lib中的所有文件到upload目錄, 可以通過這種方式看到進度信息.
root@iZmfgnjkehk13uZ:/opt# cd /tmp/
root@iZmfgnjkehk13uZ:/tmp# mkdir upload
root@iZmfgnjkehk13uZ:/tmp# cd upload/
root@iZmfgnjkehk13uZ:/tmp/upload# tar -C /usr/lib -cf - . | pv | tar -xf -
在機器B上面發佈nc命令並啟動偵聽端口6666, 然後會發現nc開始掛起, 等待連接.
在機器A開始發佈命令時, 機器B也可以顯示進度條, 顯示數據的傳輸.
如果在機器A上面要看到進度條的完成比例, 可以使用du -sb upload計算數據總量.
[root]tar -cf - upload | pv | nc -l -p 6666
1.27GB 0:00:11 [ 110MB/s] [ <=> ]
[root]tar -cf - upload | pv -s $(du -sb upload | awk '{print $1}') | nc -l -p 6666
1.27GiB 0:00:25 [51.3MiB/s] [====================================>] 101%
在機器A上面通過nc命令訪問機器B和指定端口並通過tar解壓縮文件, 可以看到此時數據開始傳輸並顯示進度條.
[root]nc 128.160.171.181 6666 | pv | tar -xf -
1.27GB 0:00:11 [ 110MB/s] [ <=> ]
篇幅有限，關於pv的命令就演示到這了，實際上我還是比較多用來看壓縮或者解壓時的進度，大家也可以根據需要去做對應的參數調整。
後面會分享更多關於運維方面內容，感興趣的朋友可以關注下！
閱讀更多 波波說運維 的文章
