雷鋒網(wǎng) AI 開發(fā)者按：近日，谷歌母公司 Alphabet 旗下的自動駕駛公司 Waymo 宣布開源他們團隊的自動駕駛數(shù)據(jù)庫，以幫助研究界在機器感知與自動駕駛技術(shù)方面實現(xiàn)突破。公開的數(shù)據(jù)集由 Waymo 自駕汽車在各種條件下采集的高度標(biāo)注數(shù)據(jù)組成，包括了覆蓋多個地點的 1000 個駕駛段上收集的數(shù)據(jù)。
Waymo 首席科學(xué)家兼項目負責(zé)人 Drago Anguelov 表示，該數(shù)據(jù)集是有史以來最大、最豐富、最多樣化的自動駕駛數(shù)據(jù)集之一。Waymo 也發(fā)布了相關(guān)博客來介紹該數(shù)據(jù)集，雷鋒網(wǎng) AI 開發(fā)者將其整理編譯如下。
數(shù)據(jù)集簡介
數(shù)據(jù)是機器學(xué)習(xí)的關(guān)鍵要素。我們的車輛在 25 個城市收集了超過 1000 萬英里的自動行駛里程數(shù)據(jù)；這一豐富多樣的實際數(shù)據(jù)幫助我們的工程師和研究人員開發(fā)了 Waymo 的自動駕駛技術(shù)和創(chuàng)新的模型及算法。
現(xiàn)在，我們邀請研究界加入我們的 Waymo 開放數(shù)據(jù)集中，該數(shù)據(jù)集是一個用于自主駕駛的高質(zhì)多模式標(biāo)注數(shù)據(jù)集。它由 Waymo 自駕車輛收集的高度標(biāo)注數(shù)據(jù)組成，數(shù)據(jù)集涵蓋了各種各樣的環(huán)境，從密集的城市中心到郊區(qū)景觀，以及白天和黑夜、黎明和黃昏、晴天和下雨天中收集的數(shù)據(jù)。所有感興趣的研究人員都可以在https://waymo.com/open/ 免費下載。
圖 1 Waymo 開放數(shù)據(jù)集涵蓋了從密集的城市中心到郊區(qū)景觀的各種環(huán)境
數(shù)據(jù)集具體內(nèi)容
我們相信它是有史以來最大、數(shù)據(jù)最豐富、最多樣化的自動駕駛數(shù)據(jù)集之一。數(shù)據(jù)集包含：
尺寸和覆蓋范圍：此版本包含 1,000 個自動駕駛路段的數(shù)據(jù)。每個數(shù)據(jù)片段捕獲 20 秒的連續(xù)駕駛過程，相當(dāng)于每個鏡頭標(biāo)注參數(shù)為 10 Hz 的 200,000 幀。這樣的連續(xù)鏡頭可以使得研究人員易于開發(fā)模型來跟蹤和預(yù)測其它道路使用者的行為。
多樣化的駕駛環(huán)境：該數(shù)據(jù)集涵蓋鳳凰城、亞利桑那州、柯克蘭、華盛頓州、山景城、加利福尼亞州和加利福尼亞州舊金山的密集城市和郊區(qū)環(huán)境，并捕捉了各種駕駛條件下的數(shù)據(jù)（包含：白天和黑夜、黎明和黃昏、晴天和下雨天）。
高分辨率的 360 度視圖：每個分段包含了來自五個高分辨率 Waymo 激光雷達和五個前置與側(cè)面攝像頭的數(shù)據(jù)。
密集標(biāo)注：數(shù)據(jù)集包括激光雷達框架和圖像；車輛、行人、騎自行車者和標(biāo)識牌都經(jīng)過了精心的標(biāo)記，共捕獲了 1200 萬個 3D 標(biāo)注和 120 萬個 2D 標(biāo)注。
圖 2 數(shù)據(jù)集包括 Waymo 高清攝像機的攝像機鏡頭和 120 萬個 2D 標(biāo)簽
相機 - 激光雷達同步：我們一直致力于融合了來自多個攝像頭和激光雷達數(shù)據(jù)的 3D 感知模型。我們設(shè)計了整個自驅(qū)動系統(tǒng)，包括可以無縫地協(xié)同工作的硬件和軟件，也包括了對傳感器位置的選擇和高質(zhì)量時間同步設(shè)置。
圖 3 數(shù)據(jù)集包含了高質(zhì)時間同步的激光雷達與相機拍攝數(shù)據(jù)
數(shù)據(jù)集現(xiàn)狀
Waymo 開發(fā)的數(shù)據(jù)集目前包含來自 1000 個片段（每個數(shù)據(jù)片段大小為 20s）的激光雷達和相機拍攝數(shù)據(jù)，以下是當(dāng)前包含的內(nèi)容：
1000 個片段，每段 20s 錄像，在不同的地理位置和條件下以 10 Hz（200000 幀）參數(shù)進行收集。
傳感器數(shù)據(jù)
1 個中程激光雷達
4 個短程激光雷達
5 個攝像頭（正面和側(cè)面）
時間同步的激光雷達和相機拍攝數(shù)據(jù)
激光雷達到相機的投影數(shù)據(jù)
傳感器校準和車輛姿態(tài)數(shù)據(jù)
標(biāo)記數(shù)據(jù)
4 個對象類別的標(biāo)注，包括：車輛、行人、騎自行車者、標(biāo)志
所有 1000 個區(qū)段的激光雷達數(shù)據(jù)的高質(zhì)量標(biāo)注
帶有激光雷達數(shù)據(jù)跟蹤 ID 的 12M 3D 邊界框標(biāo)注
100 段攝像機數(shù)據(jù)的高質(zhì)量標(biāo)注（之后將添加更多內(nèi)容）
具有攝像機數(shù)據(jù)追蹤 ID 的 1.2M 2D 邊界框標(biāo)注
代碼
可通過 GitHub 進行訪問，https://github.com/waymo-research/waymo-open-dataset。
這些數(shù)據(jù)可用于非商業(yè)用途，但研究的定義相當(dāng)廣泛，其他企業(yè)、學(xué)者和研究人員都可以使用；可通過（https://waymo.com/open/terms/）查看詳細許可協(xié)議。
數(shù)據(jù)集意義及未來計劃
在機器學(xué)習(xí)研究方面，獲得相應(yīng)的數(shù)據(jù)能很好的將想法變成真正的創(chuàng)新。這些數(shù)據(jù)有可能幫助研究人員在 2D 和 3D 感知方面取得進展，并在場景適應(yīng)、場景理解和行為預(yù)測等領(lǐng)域取得進展。我們希望研究界能夠通過我們的數(shù)據(jù)發(fā)現(xiàn)更多令人興奮的研究方向，這不僅有助于使自動駕駛車輛更加安全強大，而且還會影響其他相關(guān)領(lǐng)域和應(yīng)用，例如：計算機視覺和機器人技術(shù)。
雖然這個數(shù)據(jù)集不能反映我們傳感器系統(tǒng)的全部功能，并且它只包含 Waymo 自動駕駛系統(tǒng)訓(xùn)練所依據(jù)數(shù)據(jù)的一小部分，但我們相信出于研究目的，這個大型、多樣化和高質(zhì)量的數(shù)據(jù)集是非常有價值的。
我們計劃將很快擴大這個數(shù)據(jù)集的規(guī)模。除此之外，我們還計劃后續(xù)在此數(shù)據(jù)集上發(fā)布一些基準模型的性能；到時，我們會為使用該數(shù)據(jù)集的人提供相應(yīng)的挑戰(zhàn)賽。
Waymo 官網(wǎng)
https://waymo.com/open/
博客地址
https://medium.com/waymo/waymo-open-dataset-6c6ac227ab1a
GitHub 地址
https://github.com/waymo-research/waymo-open-dataset
雷鋒網(wǎng)(公眾號：雷鋒網(wǎng)) AI 開發(fā)者 雷鋒網(wǎng)
