作者：SoonYau
選自：Medium
Edge AI 仍然很新，許多人并不確定他們的項(xiàng)目應(yīng)該選擇哪種硬件平臺。
今天，我們將比較幾個(gè)領(lǐng)先且新興的平臺。
自2012年開始的深度學(xué)習(xí)熱潮以來，英偉達(dá)憑借其 GPU 一直占據(jù)著人工智能芯片的主導(dǎo)地位。盡管它們耗電量大、噪音大、價(jià)格昂貴（因?yàn)楸忍貛盘越馃幔?，但沒有其他選擇，我們不得不容忍。大約3年前，Google 宣布他們設(shè)計(jì)了 Tensor Processing Unit（TPU）來加速數(shù)據(jù)中心的深度學(xué)習(xí)推理速度。這引發(fā)了老牌科技公司和初創(chuàng)企業(yè)紛紛推出專門針對數(shù)據(jù)中心和 edge 的人工智能芯片。
我們今天要談的是 edge AI 的平臺。那么，edge AI 到底是什么？邊緣人工智能（edge AI）這個(gè)術(shù)語是從邊緣計(jì)算（edge computing）中借用的，它指的是在數(shù)據(jù)源附近進(jìn)行的計(jì)算。在人工智能的世界里，它通常意味著數(shù)據(jù)中心或是你龐大的計(jì)算機(jī)中沒有發(fā)生的任何事情。這包括物聯(lián)網(wǎng)、移動電話、無人駕駛飛機(jī)、自動駕駛汽車等。正如你所看到的，它們的實(shí)際尺寸差別很大，而且有許多供應(yīng)商。
因此，我們將把重點(diǎn)放在小型平臺上，這些平臺能夠舒適地裝入口袋，個(gè)人和小型公司可以購買和使用。英偉達(dá)在以下基準(zhǔn)比較中的競爭做得很好，我們有英特爾神經(jīng)電腦棒、谷歌 Edge TPU 和它自己的 Jetson Nano。
在評估實(shí)時(shí)部署的人工智能模型和硬件平臺時(shí)，我首先要看它們的速度。在計(jì)算機(jī)視覺任務(wù)中，基準(zhǔn)通常以每秒幀數(shù)（FPS）為單位進(jìn)行測量。通常來說，數(shù)字越大性能越好，對于實(shí)時(shí)視頻流，您至少需要10 fps的視頻才能看起來平滑。Nvidia 執(zhí)行了一些基準(zhǔn)測試，您可以在 https://developer.Nvidia.com/embedded/jetson-nano-dl-inference-benchmarks 中找到結(jié)果。在基準(zhǔn)測試中有很多應(yīng)用，其中最常見的兩個(gè)是分類和目標(biāo)檢測。在計(jì)算上，分類是最簡單的任務(wù)，因?yàn)樗恍枰獙D像進(jìn)行一次預(yù)測，例如蘋果或桔子。但檢測任務(wù)的要求更高，因?yàn)樗枰獧z測多個(gè)對象及其類的位置，例如多輛車和行人，這正是需要硬件加速的應(yīng)用程序。
在理解了這兩個(gè)應(yīng)用程序的含義之后，我們現(xiàn)在可以查看基準(zhǔn)測試結(jié)果（稍后我將解釋 DNR ）。Jetson Nano 的數(shù)字很適合實(shí)時(shí)推斷，讓我們用它們作為基線。Intel Neural Computer Stick 2（這里我們稱之為 NCS2）可以使用 MobileNet-v2 進(jìn)行每秒30幀的分類，這還是不錯(cuò)的。然而，它真的很難在 11fps 的速度下進(jìn)行目標(biāo)檢測。順便說一下，NCS2 是一個(gè) USB 存儲棒，在這種情況下，它需要與外部主機(jī) Raspberry Pi3 一起使用。如果使用更強(qiáng)大的計(jì)算機(jī)，基準(zhǔn)數(shù)字可能會更高。如果我們不使用 UCS2 來研究 Raspberry Pi3 的數(shù)字，它能夠以 2.5fps 的速度進(jìn)行分類推理，這對愛好者或玩具項(xiàng)目來說都是不錯(cuò)的?；氐?UCS2，我認(rèn)為 10fps 左右的幀速率對于實(shí)時(shí)目標(biāo)跟蹤來說可能不夠快，尤其是對于高速運(yùn)動，它可能會丟失很多目標(biāo)，你需要非常好的跟蹤算法來補(bǔ)償這一點(diǎn)。當(dāng)然，我們并不完全信任基準(zhǔn)測試結(jié)果。通常情況下，該公司會將其手工優(yōu)化的軟件與競爭對手的開箱即用的軟件進(jìn)行比較。
現(xiàn)在讓我們把注意力轉(zhuǎn)向 Google Edge TPU。對于公司來說，將優(yōu)秀競爭對手的業(yè)績納入報(bào)告是很不尋常的。Edge TPU 可以執(zhí)行 130fps 的分類，這是 Nano 的兩倍！對于目標(biāo)檢測，邊緣 TPU 也更快，但僅在 48fps 與 39fps 時(shí)稍快。幾天前我拿到了一個(gè) Edge TPU 板，我運(yùn)行了一個(gè)隨我而來的演示，這就是我得到的 75 FPS！我還沒有進(jìn)入代碼看神經(jīng)網(wǎng)絡(luò)圖像的大小，這對推理速度有很大的影響，但演示肯定看起來非常順利，F(xiàn)PS 令人印象深刻！
物理尺寸是重要的因素，它必須足夠小，以適應(yīng)邊緣設(shè)備。開發(fā)板包含一些可能不會出現(xiàn)在生產(chǎn)模塊中的外圍設(shè)備，例如以太網(wǎng)、USB插座，但開發(fā)板為我們提供了有關(guān)大小的好主意，同時(shí)也指示了功耗。下圖顯示了實(shí)際的開發(fā)板（我只有 NCS1，還沒有收到 Coral USB）。如果我們從中間開始，Coral Edge TPU 開發(fā)板正好是信用卡大小，您可以將其用作衡量大小的參考。
開發(fā)者價(jià)格和生產(chǎn)模塊尺寸
● NCS2 — $99, 72.5mm x 27mm
● Edge TPU USB — $74.99, 65mm x 30mm
● Edge TPU Dev Board — $149.99(開發(fā)), 40 x 48mm
● Jetson Nano — $129 / $99(開發(fā)), 45mm x 70mm
Jetson Nano 和 Edge TPU dev 都使用 5V 電源，前者的電源規(guī)格為 10W。我找不到 Edge TPU 的編號，但從目前 2–3A 處 5A 的規(guī)格來看，我想它應(yīng)該在同一個(gè)電源支架中。但是，Edge TPU 板中的散熱器要小得多，而且在目標(biāo)檢測演示期間它不會一直運(yùn)行。再加上邊緣TPU高效的硬件架構(gòu)，它的功耗應(yīng)該比 Jetson Nano 低很多。我認(rèn)為，由于這一艱巨的挑戰(zhàn)，英偉達(dá)的開發(fā)工具包定價(jià)低至99美元。谷歌還沒有宣布其生產(chǎn)模塊的價(jià)格，但我估計(jì)它將與 Jetson Nano 競爭。
另一方面，兩個(gè) USB3.0 棒有相似的大小，NCS2 雖然盡管性能較低但價(jià)格更高，這是否意味著英特爾是末日？別著急，軟件可以扭轉(zhuǎn)戰(zhàn)局。
WINDOWS 支持
如您所知，U盤將需要連接到主機(jī)系統(tǒng)，如果您的系統(tǒng)運(yùn)行 Windows，那么 NCS2 是您的唯一選擇。故事結(jié)束了，您現(xiàn)在可以停止閱讀了。
TPU 的局限性
雖然 Edge TPU 在性能和規(guī)模方面似乎最具競爭力，但它也是軟件方面的最大限制。它只支持 Ubuntu 作為主機(jī)系統(tǒng)，但最大的挑戰(zhàn)在于機(jī)器學(xué)習(xí)框架。他們只支持一個(gè)ML框架，即 Tensorflow （不必猜測它的正確性，你知道 Tensorflow 是谷歌的嗎？）實(shí)際上，不，技術(shù)上它被稱為 Tensorflow Lite，它是一種支持有限數(shù)量神經(jīng)網(wǎng)絡(luò)層的變體。更糟糕的是，它甚至不支持完整的 Tensorflow Lite，而只支持量化為8位整數(shù)（INT8）的模型！這與 NCS2 不同，NCS2 除了 INT8 還支持 FP16（16位浮點(diǎn)）。
這意味著什么？傳統(tǒng)上，深度學(xué)習(xí)模型是在 FP32 中訓(xùn)練的。一般來說，它們可以很容易地轉(zhuǎn)換成FP16，而不會造成精度的損失。然而，這不是 INT8 的情況，在那里訓(xùn)練后的轉(zhuǎn)換通常會給你災(zāi)難性的準(zhǔn)確性。你必須在訓(xùn)練中加入量化。這意味著你不能使用預(yù)先訓(xùn)練過的 FP32 人工智能模型，必須在模型中添加一些層，然后從頭開始訓(xùn)練。由于增加了訓(xùn)練層，訓(xùn)練時(shí)間也會比平時(shí)長。如果你想了解更多關(guān)于量化的知識，你可以閱讀我的博客。谷歌確實(shí)提供了一些經(jīng)過預(yù)先訓(xùn)練的模型，你可以在其中進(jìn)行微調(diào)并節(jié)省大量時(shí)間，但不幸的是，只有少數(shù)計(jì)算機(jī)視覺模型可以供你選擇。這就是為什么英偉達(dá)的 Edge TPU 基準(zhǔn)中有這么多 DNR 的原因。這是英特爾和英偉達(dá)做得更好的地方。英特爾有很多經(jīng)過預(yù)先培訓(xùn)的型號，您可以從中選擇（https://software.intel.com/en-us/openvino-toolkit/documentation/pretrained-models ）。有趣的是，它包括 resnet50-binary-0001，它使用二進(jìn)制卷積層或通俗地說，1位層。英特爾的 OpenVINO 允許從 Tensorflow、Caffe、MxNet、Kaldi 和 ONNX 轉(zhuǎn)換模型。
開發(fā)者價(jià)格和生產(chǎn)模塊尺寸
作為人工智能硬件的先驅(qū)，Nvidia 的軟件是最通用的，因?yàn)樗?TensorRT 支持包括 MATLAB 在內(nèi)的大多數(shù) ML 框架。EdgeTPU 和 NCS2 設(shè)計(jì)用于支持計(jì)算層的某些子集（主要用于計(jì)算機(jī)視覺任務(wù)），但 Jetson Nano 本質(zhì)上是一個(gè) GPU，它可以完成大多數(shù)計(jì)算，而它的 big brother 桌面 GPU 只能完成較慢的計(jì)算。盡管如此，如果您的應(yīng)用程序涉及到一些非計(jì)算機(jī)視覺模型，例如遞歸網(wǎng)絡(luò)，或者您使用許多自定義層開發(fā)自己的模型，那么在將經(jīng)過訓(xùn)練的模型移植到嵌入式部署時(shí)，使用 Jetson 系列會更安全，以避免令人不快的意外。Nvidia 還提供 DeepStream SDK，允許多個(gè)視頻流和 Isaac 機(jī)器人引擎進(jìn)行路徑規(guī)劃和自主導(dǎo)航。
現(xiàn)在我們已經(jīng)概述了這些平臺的優(yōu)缺點(diǎn)，哪些平臺應(yīng)該用于哪些應(yīng)用程序？它們都有能力運(yùn)行計(jì)算機(jī)視覺人工智能，但以下分別是我認(rèn)為最適合它們的應(yīng)用程序，還將提到它們的一些獨(dú)特的硬件功能。
英特爾 NCS2
優(yōu)點(diǎn)：支持 Windows，部署速度快，機(jī)型選擇好
缺點(diǎn)：推理速度相對較慢，價(jià)格較高
最好的應(yīng)用程序是信息亭、ATM、運(yùn)行 Windows 的銷售點(diǎn)系統(tǒng)。它允許非常容易和快速的 AI 升級到現(xiàn)有系統(tǒng)。這對業(yè)余愛好者和小批量項(xiàng)目也有好處。
Edge TPU
優(yōu)點(diǎn)：性能卓越，配有 Wifi 和加密引擎
缺點(diǎn)：不支持有限的培訓(xùn)資源、人工智能模型和軟件庫，如 OpenCV。
雖然價(jià)格是最高的，但這其中包括完整的系統(tǒng)，如 Wifi 和加密引擎，使其成為消費(fèi)電子和物聯(lián)網(wǎng)設(shè)備，如智能相機(jī)在家的理想選擇。由于它是鎮(zhèn)上最新的孩子，沒有太多的資源（培訓(xùn)材料，人工智能模型，教程）可供使用，這對消費(fèi)電子企業(yè)來說更有意義，因?yàn)樗麄兛梢猿袚?dān)更多的研發(fā)成本。
英偉達(dá) Jetson Nano
優(yōu)點(diǎn)：良好的軟件生態(tài)系統(tǒng)和資源，額外的軟件庫
缺點(diǎn)：體積稍大
這對無人駕駛飛機(jī)、玩具、吸塵器等自主車輛來說是理想的選擇。它是一個(gè)通用的人工智能平臺，因此在其他平臺不擅長的領(lǐng)域，選擇 Nano 是安全的。
Edge AI 已經(jīng)到來，所以我對未來硬件的預(yù)測是什么。一個(gè)明顯的趨勢是使用較低的比特寬度，這種情況將繼續(xù)發(fā)生。目前任何低于8位的都不能給出很好的精度，但這是一個(gè)活躍的研究領(lǐng)域，硬件公司應(yīng)該準(zhǔn)備好迎接算法研究的突破。
計(jì)算機(jī)視覺作為第一個(gè)被深度學(xué)習(xí)徹底改變的領(lǐng)域，我們看到所有上述平臺都非常傾向于用于計(jì)算機(jī)視覺的前向卷積神經(jīng)網(wǎng)絡(luò)。隨著 Alexa 等基于語音的智能系統(tǒng)的興起，我發(fā)現(xiàn) edge 的語音 AI 芯片還有一個(gè)空白。
原文鏈接：https://towardsdatascience.com/battle-of-edge-ai-nvidia-vs-google-vs-intel-8a3b87243028
本文由頭條號「黑胡桃實(shí)驗(yàn)室」敲制，歡迎非商業(yè)轉(zhuǎn)載，轉(zhuǎn)載請帶上頭條號名稱及原文鏈接，并在文章開頭明顯位置注明原文地址、原文作者、譯文地址和譯者，以表示對作者和譯者的感謝。
TensorFlow 學(xué)習(xí)資源
由黑胡桃實(shí)驗(yàn)室和TensorFlow團(tuán)隊(duì)工程師共同開發(fā)的TensorFlow 速成課程已免費(fèi)開放給大家學(xué)習(xí) ！請大家使用電腦版訪問 https://blackwalnut.tech/tfboost/introduce 按個(gè)人中心的任務(wù)一步一步完成學(xué)習(xí)，最終提交TensorFlow案例可獲得學(xué)習(xí)認(rèn)證證書！
