2023年5月11日，北京市高級別自動駕駛示范區(qū)(以下簡稱示范區(qū))聯(lián)合清華大學智能產(chǎn)業(yè)研究院(AIR)、北京車網(wǎng)科技發(fā)展有限公司、百度Apollo、北京智源人工智能研究院，推出全球首個基于真實道路場景的時序車路協(xié)同數(shù)據(jù)集V2X-Seq，向境內(nèi)用戶提供下載使用。該數(shù)據(jù)集填補了目前業(yè)界真實道路場景車路協(xié)同時序數(shù)據(jù)集的空白，有效加速車路協(xié)同時序感知和車路協(xié)同軌跡預測研究。
2022年2月發(fā)布的第一期車路協(xié)同數(shù)據(jù)集DAIR-V2X，受到了學術界和產(chǎn)業(yè)界的廣泛關注。截至目前，DAIR-V2X數(shù)據(jù)集已經(jīng)在國內(nèi)注冊用戶中積累了超過2000人，下載量近3萬次。基于DAIR-V2X數(shù)據(jù)集的研究已經(jīng)有多項成果發(fā)表在CVPR、NeurIPS、ICLR、ICRA等人工智能領域的頂級會議上。這些成果的發(fā)表，不僅展示了DAIR-V2X數(shù)據(jù)集的研究價值，也充分說明了其在人工智能領域的影響力。
本次發(fā)布的第二期時序車路協(xié)同數(shù)據(jù)集V2X-Seq，由車路協(xié)同時序感知數(shù)據(jù)集和車路協(xié)同軌跡預測數(shù)據(jù)集組成，旨在支撐車路協(xié)同時序感知和車路協(xié)同軌跡預測研究。通過自研的時空軌跡匹配算法，V2X-Seq數(shù)據(jù)集提供了高質(zhì)量的協(xié)同軌跡真值，為車路協(xié)同跟蹤和車路協(xié)同軌跡預測相關研究提供了評測基準。同時，基于V2X-Seq數(shù)據(jù)集，定義了車路協(xié)同3D跟蹤、車路協(xié)同軌跡預測相關的三個研究任務，并提供了豐富的算法基準。該數(shù)據(jù)集及相關算法成果已被CVPR2023正式接受。
車路協(xié)同時序感知
車路協(xié)同時序感知數(shù)據(jù)集，包含超過1.5萬對車端與路端協(xié)同視角下的時序圖像和點云數(shù)據(jù)，并提供了完備的3D目標及Tracking ID標注，用于支持車路協(xié)同3D檢測和跟蹤任務。
車路協(xié)同軌跡預測
車路協(xié)同軌跡預測數(shù)據(jù)集，覆蓋28個真實路口，包含超過20萬個片段(涵蓋目標軌跡、紅綠燈信號等)，其中路端與車端協(xié)同視角片段約5萬個，每個片段時長10秒，按照10HZ提供8類常見障礙物目標的軌跡，用于車路協(xié)同軌跡預測任務研究。
針對目前自動駕駛數(shù)據(jù)采集制作成本過高的問題，示范區(qū)利用現(xiàn)有建設成果，集合“車、路、云、網(wǎng)、圖”五大要素，全方位、多模態(tài)、多視角地收集大量數(shù)據(jù)，為學術界和產(chǎn)業(yè)界的研究者提供了豐富的數(shù)據(jù)資源。這些資源有助于促進車路協(xié)同自動駕駛技術的應用與優(yōu)化，同時相關研究也將有助于城市提升交通運行效率和減少交通事故的發(fā)生。
數(shù)據(jù)采集
A. 場景設置
路側(cè)設備：基于北京市高級別自動駕駛示范區(qū)，選擇若干交通場景復雜路口，路側(cè)部署相機和激光雷達，完成GPS授時同步，并完成相應的內(nèi)參外參標定。
自動駕駛車輛：利用配置好相機和激光雷達的自動駕駛車輛，完成GPS授時同步，并完成相應的內(nèi)參外參標定。
設置路線并采集數(shù)據(jù)：當自動駕駛路線經(jīng)過路側(cè)設備附近區(qū)域時，分別保存該時段路側(cè)傳感器和自動駕駛傳感器數(shù)據(jù)。
截取數(shù)據(jù)：從保存的傳感器數(shù)據(jù)截取20s以上片段作為車路協(xié)同數(shù)據(jù)。
B. 路端采集設備
在每個路口安裝至少一對相機和激光雷達，其中每對相機和激光雷達安裝在相同方位，同時對該相機和激光雷達進行標定，并對圖像去畸變。路側(cè)傳感器型號如下：
300線LiDAR
- 采樣幀率：10Hz
- 水平FOV：100° ，垂直FOV：40°
- 最大探測范圍：280m
- 探測距離精度：<=3cm
Camera
- 傳感器類型：1英寸全局曝光CMOS
- 采樣幀率：25Hz
- 圖像格式：RGB格式，按1920x1080分辨率壓縮保存為JPEG圖像
C. 車端采集設備
自動駕駛車配備1個頂端激光雷達1個前視攝像頭，同時對該激光雷達和前視攝像頭進行標定，并對圖像去畸變。頂端激光雷達和前視攝像頭型號如下：
Hesai Pandar40線LiDAR
- 采樣幀率：10Hz
- 水平FOV：360° ，垂直FOV：40°，-25°~15°
- 最大探測范圍：200m；反射率：10%；最小垂直分辨率：0.33°
Camera
- 采樣幀率：20HZ
- 水平FOV：128° ，垂直FOV：77°
- 圖像格式：1920x1080分辨率
D. 標定和坐標系
為了達到不同傳感器之間的空間同步，車路協(xié)同需要使用傳感器參數(shù)信息進行坐標系轉(zhuǎn)換，其中為方便研究人員使用和數(shù)據(jù)隱私保護，路端LiDAR相關數(shù)據(jù)統(tǒng)一旋轉(zhuǎn)到與地面平行的虛擬LiDAR坐標系，世界坐標系統(tǒng)一旋轉(zhuǎn)平移到虛擬世界坐標系。各坐標系之間的關系如下圖：
-虛擬世界坐標系
虛擬世界坐標系是以地面某一隨機位置為原點，x 軸、y 軸與地面平行，z 軸垂直于地面豎直向上，符合右手坐標系規(guī)則。
-LiDAR坐標系
LiDAR坐標系是以LiDAR傳感器的幾何中心為原點，x 軸水平向前，y 軸水平向左，z軸豎直向上，符合右手坐標系規(guī)則。
-虛擬LiDAR坐標系
虛擬LiDAR坐標系是以LiDAR傳感器的幾何中心為原點，x 軸平行地面向前，y 軸平行地面向左，z 軸垂直于地面豎直向上，符合右手坐標系規(guī)則。由于路端LiDAR與地面存在俯仰角，為方便研究，通過路端LiDAR外參矩陣，統(tǒng)一將路端LiDAR坐標系轉(zhuǎn)到虛擬LiDAR坐標系，同時將路端點云全部轉(zhuǎn)到虛擬LiDAR坐標系。
-相機坐標系
相機坐標系是以相機光心為原點，x 軸和y 軸與圖像平面坐標系的x 軸和y 軸平行，z軸與相機光軸平行向前、與圖像平面垂直。通過LiDAR到相機的外參矩陣，可以將點從LiDAR坐標系轉(zhuǎn)到相機坐標系。
-圖像坐標系
圖像坐標是以相機主點(即相機光軸與圖像平面的交點，一般位于圖像平面中心)為原點，x 軸水平向右，y 軸水平向下的二維坐標系。相機內(nèi)參可以實現(xiàn)從相機坐標到圖像坐標的投影。
-定位系統(tǒng)
利用GPS/IMU等定位和慣性系統(tǒng)，可實時獲取自動駕駛車輛在全球定位系統(tǒng)的位置以及朝向角。為保護數(shù)據(jù)安全和研究方便，將真實世界定位系統(tǒng)得到的定位轉(zhuǎn)換到虛擬世界坐標系下。
E. 時間同步
時間同步是為實現(xiàn)車路協(xié)同針對路端和車端傳感器所做的同步操作。利用GPS授時以同步各傳感器時間，并在采集每幀數(shù)據(jù)時得到相應的時間戳。時間戳可通過時間轉(zhuǎn)換得到相應的標準時間。
數(shù)據(jù)標注
數(shù)據(jù)抽樣
當自動駕駛車輛經(jīng)過路端設備所在路口時，車端路端傳感器同步采集車路協(xié)同序列數(shù)據(jù)，從中抽取約100段時長20s左右的多模態(tài)序列數(shù)據(jù)，按照10HZ頻率分別對車端和路端序列進行抽樣得到離散幀。
單端3D標注
針對采樣得到的路端和車端數(shù)據(jù)，利用2D&3D聯(lián)合標注技術，標注圖像和點云數(shù)據(jù)中的道路障礙物目標的2D和3D框，同時標注障礙物類別、遮擋、截斷、軌跡ID等信息。提供兩套3D標注，分別以Camera和LiDAR時間戳為基準。
- 障礙物類別：一共10類，包括行人、機動車等
-障礙物截斷：從[0, 1, 2]中取值，分別表示不截斷、橫向截斷、縱向截斷
-障礙物遮擋：從[0, 1, 2]中取值，分別表示不遮擋、0%～50%遮擋，50%～100%遮擋
-2D box：圖像中2D bounding box框
-3D box：點云上3D bounding box，車端基于 LiDAR坐標系，路端基于虛擬LiDAR坐標系；包括 (height, width, length, x_loc, y_loc, z_loc, rotation)，其中rotation表示障礙物繞Z軸旋轉(zhuǎn)角度
-軌跡ID：不同的目標賦予不同的軌跡ID。除靜態(tài)目標交通錐筒(Trafficcone)，其它9類檢測框都被標注軌跡ID。遮擋前后的目標共享相同的軌跡ID。
車路協(xié)同3D標注
車路協(xié)同3D標注基于自主研發(fā)的時空同步算法和軌跡匹配算法，對車路數(shù)據(jù)進行協(xié)同檢測、跟蹤標注，并進行人工二次矯正得到高質(zhì)量的車路協(xié)同標注。
數(shù)據(jù)集文件結構
