在發表了前文《萬兆NAS模擬測試：是什麼限制了性能？》之後，我收到了讀者朋友們熱情的反饋，其中從知乎上選出一條簡單分享下。
這位朋友的經驗供大家參考，我的測試環境其實還不太一樣，兩端都是Aquantia AQtion AQC107網卡直連。本文繼續沿用這套平臺進行測試。
前面板帶有3.5mm聲卡接口、SD讀卡器，顯然這不是普通的服務器。
仍然是那2臺Dell Precision 3930 Rack 1U機架工作站。該機型定位不同於傳統服務器，本地存儲擴展盤位有限，從機箱前端插拔的驅動器可選2個3.5英寸（上面那臺）或者4個2.5英寸（位於下面的）SATA。另外就是我之前介紹過的，主板上還有2個M.2 NVMe SSD槽位。
這次我測試的SMB文件共享目錄，仍然創建在帶寬超過單個10Gb以太網口的Class 50 SSD上。
Blackmagic和AJA盤速測試工具：參考價值和侷限性
Blackmagic Design在視頻後期製作領域是家知名公司，不過PC平臺上這個測試工具卻比較簡單。從某種程度上來說，Disk Speed Test有點像一個在大文件上單線程順序讀寫的測試。估計是由於NAS共享目錄寫緩存優化的原因，這裡的寫帶寬846MB/s比讀帶寬737MB/s要高，此時單個萬兆網口並沒有完全發揮。
在速度儀表盤顯示下方，還有個不同視頻格式/分辨率下能否實時播放（讀）/輸出（寫）的參考。ProRes 422 HQ、Cinema DNG RAW分別是由蘋果和Adobe發起的視頻格式（多用於攝像機內壓縮），10 Bit YUV 4:2:2則是無壓縮。視頻文件的壓縮比越大，對存儲性能的要求也就越低。右邊綠色的數字代表存儲吞吐可能達到的FPS幀速度參考。
然而，實際的視頻編輯存儲壓力負載遠沒有這麼簡單。我們先來看看另一個工具：
AJA的視頻I/O板卡等產品，定位接近於BMD的DeckLink家族。AJA System Test這個測試工具的功能要相對豐富一點。
首先，默認設置下，文件大小設置為16GB，在Windows 10文件共享目錄測出的讀寫帶寬與前面的工具基本一致。
當我把設置裡的“單文件 ”改為“每幀一個文件”之後，測試過程中生成的臨時文件如下圖：
5,408 KB，應該就是1920x1080（HD）10bit YUV無壓縮視頻一幀的大小。此時NAS的讀寫性能有所變化：
我們看到當NAS上的單個文件拆開變小後，讀寫帶寬都下降到64x MB/s。作為對比，下面給大家看看SSD所在本地NTFS文件系統上測試的數據。
上圖為本地SSD測試，採用默認的Single file單文件設置。
測試用的這款SSD寫帶寬看上去不算太突出，不過正如前文所述，它是一個Class 50標準的NVMe盤，在正常壽命範圍內無論寫多久其速度都是保持恆定的。為了驗證這點，我還特別用Iometer做了一整天的寫入壓力測試：
不難看出，這款SSD順序寫還是相當穩定的，如果用於視頻製作不會出現寫著寫著性能不夠的情況。
注：如果是HDD機械硬盤要考慮內圈速度低於外圈的限制，通常7200轉盤的傳輸率會下降到50%左右）。
上圖為本地SSD測試，採用File per frame每幀一個文件設置。
SSD本地盤的測試結果反映出：由5,408KB文件組成的視頻流，其性能與單一大文件相比，並不像NAS一樣下降那麼明顯，這時已經可以看出網絡文件存儲的效率問題了。當然我用的只是SMB 2.x共享而不是SMB3，操作系統也只是幾乎沒有調優的Win10而不是Windows Server。
細心的朋友可能注意到，AJA System Test的分辨率和Codec Type（編碼類型）都是可調的。這些設置都會影響到單幀視頻的大小，從而可能進一步影響存儲性能的發揮。這點即使是用本地磁盤（HDD/SSD）測試也同樣會有變化。由於本文的重點是看NAS/網絡文件共享的效率，對於該問題先不展開討論了。
另外，以上2個視頻存儲模擬測試工具還有一點限制：只能模擬單一視頻流（單層）的情況，而如今的高清視頻剪輯和後期製作普遍會用到多層，萬兆以太網的帶寬能否進一步發揮？接下來的Adobe Premiere實際操作測試就是為了驗證這一點。
測試素材準備：水銀加速輸出CUDA提速5倍以上
兩年前我寫過《Optane SSD 900P評測(3)：一個非典型8K視頻編輯方案》，不夠專業，希望本文水平能有提高。班門弄斧，還望大家多指正：）
這次手頭的原始視頻素材，應該是SONY攝像機錄製的4K RAW機內壓縮文件。由於測試用的3930 Rack工作站只是配置了一顆6-8核Intel Core CPU，在Premiere等軟件中要想同時播放（解碼）多層這樣的視頻，CPU會吃不消的。所以為了存儲測試的需要，我再次把視頻轉碼成無壓縮格式以避開CPU瓶頸，最終獲得了1920x1080分辨率、200MB/s每層的效果。
一開始我在視頻轉碼輸出時沒有使用NVIDIA GPU，一段2分鐘的視頻CPU或者Intel集成顯卡OpenCL處理要用大約5分鐘的時間，而在設置了Mercury Playcack Engine GPU水銀加速（CUDA）之後只需要45秒左右。此時GeForce RTX 2080 Super的佔用率顯示約為36%。
現在Adobe Premiere等軟件，還有Davinci對N卡的支持都不錯。
這張照片是打開上蓋的3930 Rack 1U工作站，左上方的位置就是全尺寸雙寬的2080S顯卡。
如上圖，除了支持1塊高端NVIDIA Quadro RTX 5000/6000或者GeForce顯卡之外，這2個PCIe擴展槽也可以安裝2塊單寬度板卡（此時切換為2個PCIe3.0 x8模式），總功率不超過300W即可。
由於1U機架式機箱中的40mm系統風扇（上面照片中可以看到PCIe顯卡這一側有3個），該機型實際上也可以配置被動散熱板卡，比如我就測試過一款180W的AI計算卡（非GPU但散熱器與Tesla相似），調整風扇轉速後還是可以輕鬆通過的。
NAS共享目錄上的測試視頻文件生成好之後，就可以開始下面的測試了。
Premiere多層視頻測試：萬兆網絡帶寬線性發揮
前面說過我生成的測試素材碼率大約200MB/s，在只測試1層視頻播放（回放，playback）的時候，10GbE網卡顯示接收速率為1.7Gbps。
上圖為4層200MB/s視頻的播放，剛開始緩衝預讀（原理圖如下）會把10Gb網卡基本用滿，而穩定後網卡接收速率在6.9Gbps左右。繼續增加到5層視頻時，網卡帶寬利用繼續提高到8.5-8.7Gbps，仍然滿足25fps完全流暢播放。
上圖引用自技術白皮書《Dell EMC Isilon: Adobe Premiere ProConfiguration and Optimization | H17334》，介紹了Premiere文件系統訪問中的回放吞吐量激增特徵。
當我增加到6層200MB/s視頻時，單個萬兆網口實際上已經不夠用了，此時視頻播放應該有一些丟幀，網卡跑到了接近上限的9.8 Gbps。可見Premiere多層視頻處理對存儲的優化還不錯，包括NAS網絡存儲。
總結、從單機到集群NAS存儲
本文只是進行了一些基礎測試，驗證了單一客戶端萬兆SMB文件訪問。如果按照常規4K壓縮視頻處理每層50MB/s的標準，10Gb網絡NAS應該說足夠了？但實際上我們還要考慮更多因素，比如：
1、NAS最大的價值時文件共享，那麼多客戶端、多協議併發訪問時的性能？
2、受限於性價比，除了短片製作對容量需求較小適合SSD之外，像電影、電視劇這些素材量較大的應用許多用戶還會選擇HDD硬盤。多少塊機械盤的RAID 5/6能滿足性能？RAID卡或者NAS控制器又能達到什麼水平？
3、單機或Active-Active（雙控）NAS存儲的性能和容量擴展受限，規模較大的應用需要Scale-out擴展的集群NAS，這時數據保護技術通常就是跨節點的EC糾刪碼了。
正好上一篇有讀者朋友留言說希望我寫下集群NAS，今天先簡單談幾句吧。
例如很早就在廣電媒體圈流行的Isilon，就專門提供了針對Premiere的配置和優化文檔。
如上圖，Isilon文件存儲集群內部互連的InfiniBand（後端網絡）在這裡簡化了沒有畫出來，只是為了說明下前端連接。40GbE連接客戶端適合無壓縮4K工作流，比如電影大片的高品質調色等；10GbE客戶端的“CraftEditorial”，我理解對視頻質量的要求沒有那麼嚴格，可以直接使用機內壓縮格式或者H.264等編輯；最後是1GbE客戶端，適合代理文件編輯和預覽，也就是用原始視頻素材生成低分辨率的代理文件，只做基本的時間點剪輯處理。
在音視頻這個領域，除了Windows/Linux工作站之外，蘋果Mac Pro（“垃圾桶”或“搓衣板”）的忠實用戶也不少。上圖應該就是來自macOS，因為水銀GPU加速似乎只有OpenCL而沒有CUDA。
上面這一段描述，是關於新版本macOS推薦使用SMB3協議的說明，特別提到多線程操作超出NFS。
最後再感謝一下我以前的同事小胖和小趙，之前在視頻領域遇到不明白的問題，幸得他們指點迷津：）
參考資料《DellEMC Isilon: Adobe Premiere Pro Configuration and Optimization | H17334》
https://www.dellemc.com/resources/en-us/asset/white-papers/products/storage/h17334-wp-isilon-adobe-premiere-pro-config-optimization-guide.pdf
注：本文只代表作者個人觀點，與任何組織機構無關，如有錯誤和不足之處歡迎在留言中批評指正。進一步交流技術，可以加我的QQ/微信：490834312。如果您想在這個公眾號上分享自己的技術乾貨，也歡迎聯繫我：）
尊重知識，轉載時請保留全文。感謝您的閱讀和支持！
