近日，Colab 全面將 K80 替換為 Tesla T4，新一代圖靈架構、16GB 顯存，免費 GPU 也能這麼強。
想要獲取免費算力？可能最常見的方法就是薅谷歌的羊毛，不論是 Colab 和 Kaggle Kernel，它們都提供免費的 K80 GPU 算力。不過雖然 K80 這種古董級的 GPU 也能提供可觀的算力，但我們發現用於試驗模型越來越不夠用了。尤其最近的 Transformer 或 GPT-2 等複雜模型，不是訓練迭代時間長，就是被警告顯存已滿。
最近，Colab 在 Twitter 官方賬戶上表示，現在已經可以免費用 T4 GPU 了，它不僅能夠提供更多的計算力，同時還提供更大的顯存：
看到這條信息，小編也是挺激動的，終於有了更強大的免費算力，我們馬上在 Colab 上查看 GPU 的使用情況。如下我們看到 Colab 現在確實使用的是 Tesla T4 GPU，而且顯存也達到了 16 GB，比以前 K80 12GB 的顯存又要大了一圈。
圖靈架構下的 Tesla T4
T4 GPU 適用於許多
機器學習
、可視化和其它 GPU 加速工作負載。每個 T4 GPU 具有 16GB 的內存，它還提供最廣泛的精度支持（FP32、FP16、INT8 和 INT4），以及英偉達 Tensor Core 和 RTX 實時可視化技術，能夠執行高達 260 TOPS 的計算性能。
Tesla T4 採用全新的圖靈（Turing）架構，相比過去的架構 Pascal，它在 Shader Compute 的基礎上增加了具備 AI 訓練和推理能力的 Tensor Core 和支持光線跟蹤的 RT Core。
機器學習推理能力
在眾多 GPU 中，T4 是運行推理工作的很好選擇，儘管我們在 Colab 中大多都用於訓練。T4 在 FP16、INT8 和 INT4 的高性能特性讓你能實現靈活的準確率/性能權衡，並運行大規模模型推理過程，而這些在其它 GPU 上很難做到的。T4 的 16GB 顯存支持大型機器學習模型，在圖像生成或機器翻譯等耗顯存的任務中，Colab 能運行地更流暢了。
谷歌計算引擎上的機器學習推理性能高達 4267 張圖像/秒，而延遲低至 1.1 毫秒。但考慮到 T4 的價格、性能、全球可用性和高速的谷歌網絡，在計算引擎上用 T4 GPU 運行產品工作負載也是一個很好的解決方案。
機器學習訓練能力
V100 GPU 憑藉其高性能計算、Tensor Core 技術和 16GB 大顯存，能支持較大的機器學習模型，已成為在雲端訓練機器學習模型的主要 GPU。而 T4 以更低的成本支持所有這些，這使得它成為擴展分佈式訓練或低功率試驗的絕佳選擇。T4 擁有 2560 個 CUDA 核心，對於我們在 Colab 試驗模型已經足夠了。
T4 GPU 可以很好地補充 V100 GPU，它雖然沒有那麼 V100 剽悍，但相比 K80 已經有很多進步了。而且由於 T4 非常節能，替換掉 K80 在能耗上也能降低不少。
如下展示了 T4 和 V100 之間的差別，T4 支持多精度加速，確實非常適合做推理，以後將預訓練模型放在 Colab 上也是極好的。
T4 與 V100 之間的算力對比，其中 T4 在谷歌雲每小時大概需要 0.95 美元，不過目前已經面向 Colab 免費提供了。
K80 與 T4 到底有什麼不同
2014 年發佈的 K80 採用的是 Kepler 架構，而 2018 年發佈的 T4 採用的是 Turing 架構，從時間上來說中間還差著 Volta、Pascal、Maxwell 三大架構。
K80 主要具有以下特性：
- 帶有雙 GPU 設計的 4992 個 NVIDIA CUDA 內核，可顯著加速應用程序性能
- 通過 NVIDIA GPU 加速提升雙精度浮點性能至 2.91 Teraflops
- 通過 NVIDIA GPU 加速提升單精度浮點性能至 8.73 Teraflops
T4 提供革命性的多精度推理性能，以加速現代人工智能的各種應用。T4 封裝在節能的小型 70 瓦 PCIe 中，而 K80 當時的能耗達到了 300W，所以 T4 的效率高了很多。
T4 的性能規格如下：
一路走來的 Colaboratory
現在，快來試試 Colab 吧，這種免費算力不用豈不可惜？其實自從一年多前谷歌發佈 Colab，它就已經吸引了非常多研究者與開發者的目光。剛開始雖然提供免費算力，但並不能稱得上好用，我們總會感覺有一些「反人類」的設計，例如 cd 命令不太能 work、文件管理系統不健全、難以與谷歌雲端硬盤交互、不能使用 TensorBoard 等等。
但造成這些的原因其實是我們不太瞭解 Colab 的特性。很多時候甚至不看文檔與教程，感覺和 Jupyter Notebook 一樣簡單，因此就直接上手了。但是隨著該項目的不斷髮展，很多問題都解決了，很多新特性都完善了，至少現在我們用起來真的很爽。
現在我們看看 Colab 近來的新特性吧～
2018 年 10，Colab 加了一個文檔瀏覽器。這非常便利，我們只需點擊一下就可以上傳和下載文件。
同年 10 月份，Colab 免費提供 TPU 算力了，它提供 8 個核心的免費算力，即 4 塊 TPU 芯片。
到了今年 2 月份，Colab 又提供了一種全新的暗黑系主題，這也是我們現在常用的。
與此同時，Colab 也開始支持 TensorBoard，只需要使用魔術命令符「%」就能可視化訓練過程。
當然這裡只列舉了少量更新，還有很多修正與改進沒有提到。例如與 GitHub 私有庫連接、提供交互式 TF 教程、以及文本圖像預覽等等。再加上現在提供 Tesla T4，Colab 也許會越來越好用，在上面開源的實現、項目、教程也會越來越多。
閱讀更多 機器之心 的文章
