2026年09月08日
テクノロジー

人手ラベルゼロ・人手コードゼロ:Co-MLOpsのデータが鍛え続ける、カメラのみ・高精度地図なしのL2++向けマルチタスク型リファレンスE2E AIモデルをOSS公開

ティアフォーは、自動運転AI開発の民主化を推進するデータ共有基盤「Co-MLOpsプラットフォーム」で収集した日本全国の走行データと、オートラベリング基盤「CoMET」が生成したラベルを用い、エージェント型AIが自律的に開発を進めるエンドツーエンド(E2E)型自動運転AIモデルでリファレンスE2E AIモデルである「METEOR」を構築しました。同モデルは高精度地図に依存せず、車載カメラの映像のみで周囲環境の俯瞰認識から経路生成までを単一のニューラルネットワークで行います。人手による追加のラベル付けを行わず、学習・評価・改善のループをエージェント型AIが実行して開発した点が特徴です。あわせて、「NVIDIA Cosmos」によるデータ拡張(条件変換・希少ケース生成)を組み合わせ、実データだけでは不足しがちな条件の補完にも取り組んでいます。同モデルはソースコード・学習済みモデル・学習レシピをオープンソースソフトウェア(OSS)として公開します(本稿公開時)。Co-MLOpsプロジェクトに参加する企業は、共有データによりモデルを継続的に改善しながら、自社データや独自機能の拡充を行うことができます。

自動運転AIの開発は、モデルの設計を人手で作り込む段階から、データを集めて学習させ、評価と改善を繰り返す段階へと移りつつあります。ティアフォーは、参加企業が走行データを共有して共に自動運転AIを育てるデータ共有基盤「Co-MLOpsプラットフォーム」を2024年から提供しており、そこで集まった日本全国の走行データを、オートラベリングとエージェント型AIによる開発を通じて、実車で動く自動運転AIへとつなげる取り組みを進めてきました。本記事では、その成果として構築したE2E型自動運転AIモデルでリファレンスE2E AIモデルである「METEOR」を取り上げ、モデルの中身と、エージェント型AIがどのように開発を進めているかを紹介します。同モデルは2026年9月のAutomotive World 2026で車載コンピューター上のデモを行う予定です。

なお、Co-MLOpsのデータ収集、オートラベリング基盤「CoMET」、「NVIDIA Cosmos」との連携の全体像は、テックブログ「NVIDIA Cosmosで築く自動運転データセット基盤」(2026年8月7日)で紹介しています。本記事ではそれらを前提に、リファレンスE2E AIモデルそのものと、その開発の進め方に焦点を当てます。

リファレンスE2E AIモデルとは — Co-MLOpsが生み出す「参照モデル」

ティアフォーは、Co-MLOpsプロジェクトを通じて参加企業の車両から日本全国の走行データを収集・共有し、データの民主化を進めてきました。自動運転AIの性能を左右する重要な資産はデータですが、データ単体では価値を生みません。データへのラベル付けとモデル開発の仕組みがあってはじめて、データはAIの性能向上に寄与します。

リファレンスE2E AIモデルは、この課題に対するCo-MLOpsの取り組みの1つです。ここでいうリファレンスAIモデルとは、Co-MLOps参加企業がCo-MLOps上で共有データにより継続的に学習・更新・改良できる「参照モデル」を指します。ソースコード・学習済みモデル・学習レシピはOSSとして公開し、参加企業はこれを起点に、自社データでの評価・追加学習・独自機能の拡充を行えます。ラベル付けはオートラベリング基盤の「CoMET」が、モデル開発はエージェント型AIが担うため、走行データを起点にE2E型自動運転AIモデルを効率よく開発できます。

図1にCo-MLOpsのコンセプトを示します。参加企業が増えるほど全員の利益が増える共有プラットフォームとしてデータとAI技術を共有し、リファレンスAIモデルはその中で大規模データにより継続的に更新されます。図2はこれをリファレンスE2E AIモデルの視点で描いた循環です。参加企業のデータが「CoMET」でラベル付けされ、エージェント型AIがモデルを開発し、OSS公開・提供を経て参加企業が独自に拡張する。そこで得られた新しいデータと改善が共有されることで、次の循環につながります。

リファレンスE2E AIモデル:Co-MLOpsのコンセプト

図1.Co-MLOpsのコンセプト:参加企業が増えるほど全員の利益が増える共有プラットフォームとして機能し、リファレンスAIが大規模データで継続的に更新される

リファレンスE2E AIモデル:リファレンスE2E AIモデルを生む循環

図2.リファレンスE2E AIモデルを生む循環:データ収集(Co-MLOps)→ラベル付け(CoMET)→開発(エージェント型AI)→OSS公開・提供→参加企業の独自拡張が一巡し、新データ・改善の共有として次のデータ収集につながる

モデルの概要 — カメラのみ・高精度地図に依存しない単一ネットワーク

リファレンスE2E AIモデルの本体は、全周囲の車載カメラ映像のみを入力とし、高精度地図に依存しない単一のニューラルネットワークです。「METEOR」はMulti-task Estimation of Traffic Elements, Objects & Roadsの略で、交通要素・物体・道路をマルチタスクで推定するという設計方針を表しています。

主な機能:俯瞰認識・E2E軌道生成・車載実行

  • 俯瞰(BEV)認識:前方遠方までを対象とした路面セグメンテーション(車線・停止線・横断歩道など)、車両・歩行者の3D物体検出(向き・速度つき)、周囲を格子状に分割し各セルに障害物があるかを判断する占有格子、信号状態といった複数のタスクを同時に出力します。路面セグメンテーションは、地図を用いずにカメラから道路構造を俯瞰空間で推定するオンライン地図生成の問題設定[1][2]にあたります
  • E2E軌道生成:認識と同じネットワークが、走行コマンド(直進・右左折)に条件付けられた自車軌道を直接出力します。ネットワークとは独立したルールベースの安全チェック機構(ガードレール)を併設しています
  • 車載実行:モデルは設計段階からTensorRTと親和性の高い演算のみで構成しており、ONNX経由で「NVIDIA Jetson Orin」に実装できます。実機では「NVIDIA Jetson Orin」単体のGPUで、現実的なレイテンシで動作することを確認しています(性能値は継続的に改善中)

アーキテクチャの全体像

図3にアーキテクチャの全体像を示します。全周囲カメラの画像特徴を深度付きで俯瞰(BEV)空間へ変換し、時系列融合を経て、認識・予測・軌道生成の各タスクを単一ネットワークから同時に出力します。構成要素の詳細は付録Aにまとめました。

要素技術の多くは公知のものです。複数カメラの画像特徴を画素ごとの深度分布で俯瞰空間へ持ち上げる構成はLift, Splat, Shoot[3]に始まる系譜で、LiDARによる深度教師の付与[4]や、過去フレームのBEV特徴を自車移動分だけ位置合わせして融合する時系列処理[5][6]も、既存研究で有効性が示されている手法です。3D物体検出は俯瞰格子上のヒートマップから物体中心を推定する中心点ベースの方式[7]を採用しています。認識と自車軌道生成を単一ネットワークで扱う点は、近年のE2E自動運転研究[8][9][10]の流れに位置づけられます。「METEOR」の特徴は、これらを車載SoCで実行しやすい演算に限定して組み合わせ、オートラベリングとエージェント型AIによる開発ループの上で継続的に更新できるようにした点にあります。

リファレンスE2E AIモデル:「METEOR」のアーキテクチャ全体

図3.リファレンスE2E AIモデル「METEOR」のアーキテクチャ全体:全周囲カメラ→深度付き俯瞰変換→時系列融合→マルチタスク同時出力。軌道出力にはルールベースの安全チェック機構(ガードレール)を併設

図4は学習に使っていない一般道での推論例です。上段が全周囲カメラと2D認識、中段がカメラのみの距離推定、左下が立体占有格子、右が俯瞰図(車線・横断歩道・車両、緑線がE2E走行計画)です。1つのネットワークが、見る・測る・理解する・決めるという処理を同時に行っている様子が分かります。

リファレンスE2E AIモデル:検証用データ(学習に未使用の一般道)での推論

図4.検証用データ(学習に未使用の一般道)での推論:上段は全周囲カメラ+2D認識、中段はカメラのみの距離推定、左下は立体占有格子、右は俯瞰図(緑線=E2E走行計画)

車載実装:エージェント型AIによるINT8最適化とデプロイ

車載実装もエージェント型AIによる開発の一部として進めています。学習済みモデルをONNXに書き出し、実走行フレームで較正したINT8量子化エンジン[11][12]を構築し、層ごとの量子化感度に基づく部分精度設計(影響の大きい層はFP16に維持)[12][13]や、俯瞰変換の専用CUDAプラグイン化といった実装最適化を、実機のレイテンシプロファイルに基づいてエージェント型AIが繰り返し適用します。各エンジンはビルドのたびにレイテンシ・出力の健全性・量子化前後の精度差を自動で検証し、基準を満たしたものだけを車載コンピューターへデプロイします。不合格の場合は前世代へ自動で戻します。

学習データとラベル — Co-MLOpsの全国データとオートラベリング基盤「CoMET」

データセントリック開発と日本全国のデータ

フィジカルAIの性能は、モデルの設計と同じかそれ以上にデータの質と量に左右されます。ティアフォーではこの考えをデータセントリック開発として設計に取り入れており、データ量に加えてQuality(品質)・Diversity(多様性)・Accessibility(アクセス性)の3点を満たすことを開発の前提にしています。「METEOR」の改善サイクルでも、精度が伸び悩むときにはまずデータを見直し、弱点となるシーンの特定と、その条件のデータ・ラベルの手当てを優先しています。

学習に用いたのは、Co-MLOpsで収集した日本全国の走行データです。都市部の交差点、郊外の生活道路、山間のワインディング、夜間や雨天など、地域と条件の多様性は、単一地域のデータでは得にくい汎化性能の源泉になります。開発の過程では、新しい地域のデータを追加すると、その地域に特有の道路構造や構造物への認識が改善する様子が見られており、データの多様性がモデルの対応できる走行環境の広さにつながっていると考えています。

全国データの収集を担うのが、Co-MLOpsのデータ記録システム「DRS(Data Recording System)」を搭載した車両群です(図5)。前後左右をカバーする4台の120° LiDARと8台のマルチFoVカメラを、同期・キャリブレーション管理された状態で記録します。「METEOR」の8カメラ入力は、この「DRS」のカメラ構成に合わせています。LiDARは「CoMET」のラベル生成(3Dバウンディングボックス・深度)にのみ使い、推論はカメラのみで行います。そのため参加企業は、DRSで収集したデータをそのまま追加学習に使え、同じ構成の車両であれば車載評価まで一続きで行えます。 

リファレンスE2E AIモデル:Co-MLOpsのデータ記録システム

図5.Co-MLOpsのデータ記録システム「DRS」:LiDAR4台とカメラ8台のセンサー構成。「METEOR」の8カメラ入力はこの構成に合わせている

汎用ラベルからの学習用ラベルの導出

「METEOR」の学習用ラベルは、すべてオートラベリング基盤「CoMET(Collaborative Multi-stage Ensemble-based Teacher Model)」の自動ラベルから導出しています。「CoMET」は12個の大規模モデルを組み合わせたアンサンブル型教師モデルで、人手のスループットに制約されずに数百万件規模のラベルを一定の品質で生成できます。構成や頑健化の詳細は前述のテックブログを参照してください。

本記事で取り上げたいのは、「CoMET」のラベルがタスク専用ではなく汎用だという点です。3Dバウンディングボックス・パノプティックセグメンテーション・信号認識という再利用しやすい表現で保持しておくことで、「METEOR」の学習では同じラベル資産から次の学習用ラベルをすべて導出しています。

  • 俯瞰路面セグメンテーション(車線・停止線・横断歩道など):パノプティックセグメンテーションを蓄積LiDAR点群へ対応付けて俯瞰空間に変換
  • 3D物体検出(向き・速度):3Dバウンディングボックスに時系列対応付けで速度を付与
  • 画素深度(全8カメラ):LiDAR投影
  • 占有格子・リスクマップ:蓄積点群と3Dバウンディングボックスの合成
  • 将来軌道予測:3Dバウンディングボックスの時系列追跡
  • E2E自車軌道:自車走行ログと上記の走行可能領域
  • 信号状態(青/黄/赤・矢印):信号認識(TLR)ラベル
  • 2Dセグメンテーション・2D検出:パノプティックセグメンテーション/3Dバウンディングボックスの画像面投影

俯瞰路面セグメンテーションや2Dセグメンテーションなど走行環境理解のラベルの多くはパノプティックセグメンテーションを起点に導出しており、高精度地図に依存しない「METEOR」が道路構造を読み取る能力は、この汎用ラベルの上に成り立っています。新しいタスクを追加する際も再アノテーションは不要で、既存資産からの導出処理を1つ実装すれば済みます。ラベルをタスクごとに作るのではなく、表現として一度だけ生成しておく。これがオートラベリングを軸にした開発の要点です(図6)。本プロジェクトでも、新規地域データの取り込みは、データを置いてから学習開始まで人手を介さずに行っています。

リファレンスE2E AIモデル:1つのラベル資産からすべての学習用ラベルへ

図6.1つのラベル資産からすべての学習用ラベルへ:カメラ・LiDAR・GNSSのセンサーデータから「CoMET」が汎用ラベル資産(3Dバウンディングボックス/パノプティックセグメンテーション/信号認識)を生成し、全タスクの学習用ラベルを導出する

ラベルの品質管理

自動ラベルの課題はノイズです。「CoMET」と「METEOR」では、次の仕組みでこれを抑えています(図7)。

  • 2系統のラベルの一致検証:独立に生成した2系統のラベルを突き合わせ、両者が一致した画素のみをラベルとして採用し、不一致の画素は学習から除外します。信頼度の低い領域を機械的に取り除く仕組みです
  • 整合検査:深度ラベルと3Dバウンディングボックスの突き合わせなど、独立に作られたラベル同士の幾何的な整合を定量的に検査し、系統的なずれを検出します
  • ラベル欠損の扱い:「物体が存在しない」と「ラベルが存在しない」を区別し、ラベルの無い領域は損失計算の対象外とします。ラベル欠損をモデルが「物体が無い」と誤って学習することを防ぐためです

リファレンスE2E AIモデル:ラベルの品質管理

図7.ラベルの品質管理:独立に作った2系統のラベルが一致した画素だけをラベルにし、整合検査とラベル欠損の扱いでノイズを学習させない

「NVIDIA Cosmos」によるデータ拡張

実走行データの偏り(希少ケースの不足、悪天候での収集の難しさ)については、「NVIDIA Cosmos」による生成データで補う取り組みを進めています。Cosmos Transferによる条件変換(「CoMET」のラベルを引き継いだまま雨天・夜間・降雪に変換)、Cosmos Predictによる希少ケース生成、Cosmos Reasonによるデータギャップの発見です。「METEOR」の学習では、Cosmos Transferで条件変換した悪天候・夜間データを実データと混合して用い、悪条件下での認識性能への効果を評価しています。ここでも生成データにラベルを付けるのは「CoMET」であり、オートラベリング基盤が実データ・生成データに共通の土台になっています。全体像は前述のテックブログおよびNVIDIA GTC 2026セッションS81897を参照してください。

エージェント型AIによる開発 — 学習・評価・改善のループを自律的に回す

「METEOR」のコンセプトは「自律的に成長する認識エンジン」です。「DRS」による走行データの収集から、「CoMET」によるラベル付け、学習、改善、車載実装までの工程を、人手を介さずに回すことを目指しています(図8)。人手によるラベリングやコード記述を前提としない開発です。

リファレンスE2E AIモデル:「METEOR」のコンセプト図8.「METEOR」のコンセプト:データ収集(RDS)→ラベル付け(CoMET)→学習→改善→車載実装の工程を自動化する


「METEOR」の開発では、モデルの学習だけでなく、評価・不具合解析・改善案の実装・再学習という開発ループそのものをエージェント型AIが実行しています。人手による追加のラベル付けは行わず、モデルや学習コードの記述もエージェント型AIが担いました。改善は事前に登録した判定基準(精度が悪化したら自動で差し戻す、など)の下で行い、複数の計算機にまたがる学習・評価・実機検証が継続的に回っています。「AIがAIを開発する」体制の1つの実例と言えると考えています。

この開発では、人間の役割は「何を作るか」の指示とレビューが中心になります。「◯◯できる機能が欲しい」というコンセプトや機能の指示を受け、モデル開発、自動ラベル付けされた走行データの取り込み、データ変換、クレンジング、実装最適化(量子化・エッジ高速化)、モデル管理(デプロイ・自動復旧)までをエージェント型AIが進め、自己改善のループとして回り続けます(図9)。開発リソースの制約を、データと計算資源の制約に置き換える試みです。

リファレンスE2E AIモデル:開発の進め方

図9.開発の進め方:人間は「指示」、AIが「開発」。モデル開発からデータ処理・実装最適化・運用までエージェント型AIが実行する

エージェント型AIは次のような規律で動いています(図10)。

  • 1変数原則:1ラウンドの学習で変えるのは1つだけとし、効果が出たかは同一データ・同一条件の比較で判定します
  • 事前登録と受け入れ判定:改善施策は、仮説・適用条件・合格基準を事前に登録してから投入します。基準を満たさなかった施策は自動で取り下げ、その記録も台帳に残します
  • ペア比較による測定の規律:検出モデル同士の比較は「両者が検出できた同一物体」に揃えてから行うなど、測定自体の汚染(リコール差・しきい値差)を排除する手順を守ります
  • 失敗マイニング:最新モデルが苦手なシーンを毎ラウンド自動抽出し、次の学習で重点的にサンプリングします
  • 不具合の根本解析:データ拡張の回転方向がラベルラスタだけ逆になっていた不具合を「ラスタと点群の数値突き合わせ」で見つけて修正した例や、量子化後に自車軌道だけが横にずれる現象を層別・要因別に切り分け、学習レシピ側の設計変更で恒久修正した例など、解析から対策・検証までをエージェント型AIが一貫して行っています
  • 評価指標の見直し:単フレームの軌道誤差だけでは実走行の挙動を十分に捉えられない[10][14]ため、自車の計画に追従した場合の誤差の累積、横ずれからの復帰性能、安全チェック機構の介入率といったクローズドループ寄りの指標を併用し、採否判定に組み込んでいます

リファレンスE2E AIモデル:エージェント型AIの開発ループ

図10.エージェント型AIの開発ループ:変更は1変数、合格基準は事前登録。効果のない施策は自動的に取り下げる

車載実装も同じループの中で行います。ONNXからTensorRT INT8への標準的な経路で実装し、量子化の較正には実走行フレームを使います。最適化は実機のレイテンシプロファイルと量子化の感度分析[12]に基づいて進め、精度への影響が大きい層はFP16に維持し、それ以外をINT8化する部分精度設計を採っています。学習後量子化(Post-Training Quantization)の較正では、実走行フレームの活性化分布から量子化スケールを決めており、これは整数演算推論の標準的な手順[11][13]に沿ったものです。各エンジンのビルド時には、レイテンシ・出力の健全性・FP16実行との精度差を自動測定し、個々の最適化の採否は「処理時間あたりの精度寄与」を記録した台帳に基づいて判定します。効果が再現しない項目は不採用として記録に残します。詳細は付録Aを参照してください。

OSS公開とCo-MLOps参加企業にとっての価値

「METEOR」は、ソースコード・学習済みモデル・学習レシピ(データ変換からラベル導出、学習、車載実装までの手順)をOSSとして公開します。公開の狙いは2つあります。1つは、カメラのみ・高精度地図に依存しないE2E型自動運転AIモデルを、再現・検証・改変できる形で提示することです。もう1つは、Co-MLOpsの開発の進め方(「CoMET」とエージェント型AIによる開発)を、実際に動くモデルとコードで示すことです。

Co-MLOpsプロジェクトに参加する企業は、この公開版を起点に次のことができます。

  • 継続的なモデル改善:Co-MLOpsに共有された全国データで「METEOR」は更新され続けます。参加企業はその最新モデルを受け取り、自社データでの評価・追加学習・蒸留の起点として使えます
  • 独自機能の拡充:公開レシピの上に、自社の車両構成・地域・タスクに合わせた機能を追加できます。「DRS」と同じ8カメラ構成であれば、収集データをそのまま追加学習に使い、車載評価まで一続きで行えます
  • 開発プロセスの共有:「CoMET」によるラベル生成とエージェント型AIによる開発ループという進め方そのものも、参加企業に共有されます

ゼロからE2E開発を始める場合に比べて、立ち上げの負担を小さくできることが、リファレンスE2E AIモデルの提供価値だと考えています。

結論 — 走行データからE2E型自動運転AIモデルへ

本記事では、Co-MLOpsで集めた日本全国の走行データと、「CoMET」によるオートラベリング、そしてエージェント型AIによる開発ループを組み合わせて構築した、カメラのみ・高精度地図に依存しないE2E型自動運転AIモデル「リファレンスE2E AIモデル」を紹介しました。

  • データとラベル:「DRS」で収集した全国データに、「CoMET」の汎用ラベル資産から導出した学習用ラベルを付与し、2系統の一致検証などでノイズを抑える
  • モデル:深度付き俯瞰変換を核にした単一ネットワークで、俯瞰認識からE2E軌道生成までを同時に出力し、「NVIDIA Jetson Orin」上で現実的なレイテンシで動作する
  • 開発:エージェント型AIが1変数原則と事前登録の判定基準の下で学習・評価・改善・車載実装のループを回す

E2E AIの性能は、データの量と多様性に大きく左右されます。リファレンスE2E AIモデルは完成品ではなく、データが増えるたびに更新されていくモデルであり、新しい地域や条件のデータがCo-MLOpsに加わるほど、参加企業が受け取るモデルも改善していきます。ティアフォーは、Co-MLOpsとリファレンスE2E AIモデルを通じて、自動運転AIの開発をコミュニティ全体で進めることを目指しています。ご興味をお持ちいただけましたら、公開リポジトリでのご利用や議論にぜひご参加ください。Co-MLOpsへの参加やデータ共有についてのご相談もお待ちしています。

付録

技術詳解:リファレンスE2E AIモデル(METEOR)の中身

アーキテクチャ:深度付き俯瞰変換を核にした単一ネットワーク

METEORは車載SoCでの量子化・高速化を前提に、効率の良い演算で構成した単一ネットワークです。TensorRTとの親和性を研究後の移植項目ではなく設計上の制約として扱い、使用する演算をConv/GridSample/GatherなどTensorRTが効率よく実行できる集合に限定しています。時系列の記憶も再帰構造ではなく、「前フレームのBEV特徴を通常の入出力テンソルとして受け渡す」静的グラフとして表現しています。このため学習済みモデルはONNXを経由してほぼそのままTensorRTエンジン化でき、NVIDIA Jetson Orinへの実装に特別な移植作業を必要としません。

  1. 画像特徴抽出:8カメラに共有重みのバックボーン(ResNet系+FPN)を適用
  2. 深度付き俯瞰変換(リフト):画素ごとに距離の確率分布を推定し、その分布で重み付けながら画像特徴をBEV格子へ投影。地図に頼らず、見えているものだけで俯瞰空間を組み立てる中核となる機構
  3. 時系列メモリ融合:0.4/1.2/2.8秒前のBEV特徴を自車移動分だけワープして重ね、動く物体の速度や一時的な遮蔽への頑健性を得る
  4. マルチタスクヘッド:共有BEV特徴から、路面セグメンテーション(車線・停止線・横断歩道など9クラス)、車両・歩行者の3D物体検出(向き・速度つき)、占有格子、将来軌道予測、信号状態、2Dセグメンテーション・2D検出などを同時出力
  5. E2E軌道ヘッド:自車軌道を3本の仮説(直進・左折・右折に構造的に対応)として生成し、走行コマンドが与えられればその仮説を選択、なければ選択器が推定。軌道が走行可能領域を外れないよう、路面からの距離場を用いた罰則で学習時から拘束。学習時には自車位置を横方向にずらし、車線へ復帰する軌道を教師とする摂動学習[14]を併用
  6. ルールベースの安全チェック機構(ガードレール):ネットワーク出力とは独立に、占有格子・リスクマップと生成軌道を突き合わせ、障害物への接近や路外逸脱を検知した場合は介入判定を返す

さらにMETEORは、2Dセグメンテーションの確率を俯瞰変換の入力特徴に付加する、PointPainting[15]型の特徴融合を備えています。遠方の歩行者は俯瞰格子では1セルに潰れて消えやすい一方、画像上では縦に細長い形で残ります。この画像上の2D認識結果をリフト経由でBEVセルへ引き継ぐことで、遠方歩行者の検出再現率の改善を確認しています。注入はゼロ初期化の1×1射影で行い、組み込み時点でモデル出力が変わらない(機能保存)ことを数値で確認したうえで学習しています(図11)。

リファレンスE2E AIモデル:PointPainting

図11.PointPainting:2Dセグメンテーションの確率をゼロ初期化の1×1射影で俯瞰変換前に注入する。BEV幅・リフトプラグイン・配布構成は不変

ラベルデータの作り方

  • 俯瞰路面ラベル:走行全体で蓄積したLiDAR点群に2Dセグメンテーションの結果を対応付け、俯瞰(BEV)空間へ投影して統合します。さらに、独立に生成した2系統のラベルが一致した画素のみをラベルとし(不一致の画素は学習から除外)、ラベルノイズがモデルに転写されるのを防ぎます
  • 3Dバウンディングボックス/深度ラベル:LiDAR由来の3Dバウンディングボックスと、LiDAR投影による画素深度。深度ラベルは望遠カメラ分も含めて3Dバウンディングボックスとの整合検査を行っています
  • ホールドアウトの強制:評価専用データは、誤って学習に混ざらないようコードレベルで拒否する仕組みにしています

エッジ最適化

俯瞰変換の投影処理は専用のCUDAプラグインとして実装し、演算効率を確保しています。現行構成ではINT8化による俯瞰セグメンテーションの劣化は誤差の範囲に収まっており(量子化前後の精度差の測り方は[12]の評価手順に準じています)、レイテンシも現実的な車載SoC上で現実的な水準に収まっています。ただし、これで十分と考えているわけではなく、モデル構造と実装の両面から継続的に改善を模索していく予定です。参加企業が自社のJetson Orin搭載車両へ展開する場合も、同じ経路をそのまま利用できます。

参考文献

[1] Q. Li et al., “HDMapNet: An Online HD Map Construction and Evaluation Framework,” ICRA 2022.
[2] B. Liao et al., “MapTR: Structured Modeling and Learning for Online Vectorized HD Map Construction,” ICLR 2023.
[3] J. Philion, S. Fidler, “Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D,” ECCV 2020.
[4] Y. Li et al., “BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection,” AAAI 2023.
[5] Z. Li et al., “BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers,” ECCV 2022.
[6] A. Hu et al., “FIERY: Future Instance Prediction in Bird's-Eye View from Surround Monocular Cameras,” ICCV 2021.
[7] T. Yin, X. Zhou, P. Krähenbühl, “Center-based 3D Object Detection and Tracking,” CVPR 2021.
[8] Y. Hu et al., “Planning-oriented Autonomous Driving,” CVPR 2023.
[9] B. Jiang et al., “VAD: Vectorized Scene Representation for Efficient Autonomous Driving,” ICCV 2023.
[10] L. Chen et al., “End-to-end Autonomous Driving: Challenges and Frontiers,” IEEE TPAMI, 2024.
[11] B. Jacob et al., “Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference,” CVPR 2018.
[12] H. Wu et al., “Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation,” arXiv:2004.09602, 2020.
[13] M. Nagel et al., “A White Paper on Neural Network Quantization,” arXiv:2106.08295, 2021.
[14] M. Bansal, A. Krizhevsky, A. Ogale, “ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst,” RSS 2019.
[15] S. Vora et al., “PointPainting: Sequential Fusion for 3D Object Detection,” CVPR 2020.


梅田 弾 | データスケーリング部

2023年入社。現在はプリンシパルAIエンジニアおよびチームリードとして、Co-MLOpsの開発を牽引。


ティアフォーでは、「自動運転の民主化」というビジョンに共感を持ち、自らそれを実現する意欲に満ち溢れた新しい仲間を募集しています。

今回のチームで募集中の職種

その他にも多くの職種で採用をしています。詳細は、ティアフォーの「求人ページ」をご覧ください。

「どの職種で自分の経験を活かせるかが分からない」「希望する職種が見つからない」などの場合は、ぜひ「キャリア登録」をお願いします。

お問い合わせ先

ソーシャルメディア

X (Japan/Global) | LinkedIn | Facebook | Instagram | YouTube

関連リンク

  • TOP
  • 最新情報
  • テクノロジー
  • 人手ラベルゼロ・人手コードゼロ:Co-MLOpsのデータが鍛え続ける、カメラのみ・高精度地図なしのL2++向けマルチタスク型リファレンスE2E AIモデルをOSS公開