ティアフォーは、自動運転AI開発の民主化を推進するデータ共有基盤「Co-MLOpsプラットフォーム」で収集した日本全国の走行データと、オートラベリング基盤「CoMET」が生成したラベルを用い、エージェント型AIが自律的に開発を進めるエンドツーエンド（E2E）型自動運転AIモデルでリファレンスE2E AIモデルである「METEOR」を構築しました。同モデルは高精度地図に依存せず、車載カメラの映像のみで周囲環境の俯瞰認識から経路生成までを単一のニューラルネットワークで行います。人手による追加のラベル付けを行わず、学習・評価・改善のループをエージェント型AIが実行して開発した点が特徴です。あわせて、「NVIDIA Cosmos」によるデータ拡張（条件変換・希少ケース生成）を組み合わせ、実データだけでは不足しがちな条件の補完にも取り組んでいます。同モデルはソースコード・学習済みモデル・学習レシピをオープンソースソフトウェア（OSS）として公開します（本稿公開時）。Co-MLOpsプロジェクトに参加する企業は、共有データによりモデルを継続的に改善しながら、自社データや独自機能の拡充を行うことができます。
自動運転AIの開発は、モデルの設計を人手で作り込む段階から、データを集めて学習させ、評価と改善を繰り返す段階へと移りつつあります。ティアフォーは、参加企業が走行データを共有して共に自動運転AIを育てるデータ共有基盤「Co-MLOpsプラットフォーム」を2024年から提供しており、そこで集まった日本全国の走行データを、オートラベリングとエージェント型AIによる開発を通じて、実車で動く自動運転AIへとつなげる取り組みを進めてきました。本記事では、その成果として構築したE2E型自動運転AIモデルでリファレンスE2E AIモデルである「METEOR」を取り上げ、モデルの中身と、エージェント型AIがどのように開発を進めているかを紹介します。同モデルは2026年9月のAutomotive World 2026で車載コンピューター上のデモを行う予定です。
なお、Co-MLOpsのデータ収集、オートラベリング基盤「CoMET」、「NVIDIA Cosmos」との連携の全体像は、テックブログ「NVIDIA Cosmosで築く自動運転データセット基盤」（2026年8月7日）で紹介しています。本記事ではそれらを前提に、リファレンスE2E AIモデルそのものと、その開発の進め方に焦点を当てます。
ティアフォーは、Co-MLOpsプロジェクトを通じて参加企業の車両から日本全国の走行データを収集・共有し、データの民主化を進めてきました。自動運転AIの性能を左右する重要な資産はデータですが、データ単体では価値を生みません。データへのラベル付けとモデル開発の仕組みがあってはじめて、データはAIの性能向上に寄与します。
リファレンスE2E AIモデルは、この課題に対するCo-MLOpsの取り組みの1つです。ここでいうリファレンスAIモデルとは、Co-MLOps参加企業がCo-MLOps上で共有データにより継続的に学習・更新・改良できる「参照モデル」を指します。ソースコード・学習済みモデル・学習レシピはOSSとして公開し、参加企業はこれを起点に、自社データでの評価・追加学習・独自機能の拡充を行えます。ラベル付けはオートラベリング基盤の「CoMET」が、モデル開発はエージェント型AIが担うため、走行データを起点にE2E型自動運転AIモデルを効率よく開発できます。
図1にCo-MLOpsのコンセプトを示します。参加企業が増えるほど全員の利益が増える共有プラットフォームとしてデータとAI技術を共有し、リファレンスAIモデルはその中で大規模データにより継続的に更新されます。図2はこれをリファレンスE2E AIモデルの視点で描いた循環です。参加企業のデータが「CoMET」でラベル付けされ、エージェント型AIがモデルを開発し、OSS公開・提供を経て参加企業が独自に拡張する。そこで得られた新しいデータと改善が共有されることで、次の循環につながります。
図1．Co-MLOpsのコンセプト：参加企業が増えるほど全員の利益が増える共有プラットフォームとして機能し、リファレンスAIが大規模データで継続的に更新される
図2．リファレンスE2E AIモデルを生む循環：データ収集（Co-MLOps）→ラベル付け（CoMET）→開発（エージェント型AI）→OSS公開・提供→参加企業の独自拡張が一巡し、新データ・改善の共有として次のデータ収集につながる
リファレンスE2E AIモデルの本体は、全周囲の車載カメラ映像のみを入力とし、高精度地図に依存しない単一のニューラルネットワークです。「METEOR」はMulti-task Estimation of Traffic Elements, Objects & Roadsの略で、交通要素・物体・道路をマルチタスクで推定するという設計方針を表しています。
図3にアーキテクチャの全体像を示します。全周囲カメラの画像特徴を深度付きで俯瞰（BEV）空間へ変換し、時系列融合を経て、認識・予測・軌道生成の各タスクを単一ネットワークから同時に出力します。構成要素の詳細は付録Aにまとめました。
要素技術の多くは公知のものです。複数カメラの画像特徴を画素ごとの深度分布で俯瞰空間へ持ち上げる構成はLift, Splat, Shoot[3]に始まる系譜で、LiDARによる深度教師の付与[4]や、過去フレームのBEV特徴を自車移動分だけ位置合わせして融合する時系列処理[5][6]も、既存研究で有効性が示されている手法です。3D物体検出は俯瞰格子上のヒートマップから物体中心を推定する中心点ベースの方式[7]を採用しています。認識と自車軌道生成を単一ネットワークで扱う点は、近年のE2E自動運転研究[8][9][10]の流れに位置づけられます。「METEOR」の特徴は、これらを車載SoCで実行しやすい演算に限定して組み合わせ、オートラベリングとエージェント型AIによる開発ループの上で継続的に更新できるようにした点にあります。
図3．リファレンスE2E AIモデル「METEOR」のアーキテクチャ全体：全周囲カメラ→深度付き俯瞰変換→時系列融合→マルチタスク同時出力。軌道出力にはルールベースの安全チェック機構（ガードレール）を併設
図4は学習に使っていない一般道での推論例です。上段が全周囲カメラと2D認識、中段がカメラのみの距離推定、左下が立体占有格子、右が俯瞰図（車線・横断歩道・車両、緑線がE2E走行計画）です。1つのネットワークが、見る・測る・理解する・決めるという処理を同時に行っている様子が分かります。
図4．検証用データ（学習に未使用の一般道）での推論：上段は全周囲カメラ＋2D認識、中段はカメラのみの距離推定、左下は立体占有格子、右は俯瞰図（緑線＝E2E走行計画）
車載実装もエージェント型AIによる開発の一部として進めています。学習済みモデルをONNXに書き出し、実走行フレームで較正したINT8量子化エンジン[11][12]を構築し、層ごとの量子化感度に基づく部分精度設計（影響の大きい層はFP16に維持）[12][13]や、俯瞰変換の専用CUDAプラグイン化といった実装最適化を、実機のレイテンシプロファイルに基づいてエージェント型AIが繰り返し適用します。各エンジンはビルドのたびにレイテンシ・出力の健全性・量子化前後の精度差を自動で検証し、基準を満たしたものだけを車載コンピューターへデプロイします。不合格の場合は前世代へ自動で戻します。
フィジカルAIの性能は、モデルの設計と同じかそれ以上にデータの質と量に左右されます。ティアフォーではこの考えをデータセントリック開発として設計に取り入れており、データ量に加えてQuality（品質）・Diversity（多様性）・Accessibility（アクセス性）の3点を満たすことを開発の前提にしています。「METEOR」の改善サイクルでも、精度が伸び悩むときにはまずデータを見直し、弱点となるシーンの特定と、その条件のデータ・ラベルの手当てを優先しています。
学習に用いたのは、Co-MLOpsで収集した日本全国の走行データです。都市部の交差点、郊外の生活道路、山間のワインディング、夜間や雨天など、地域と条件の多様性は、単一地域のデータでは得にくい汎化性能の源泉になります。開発の過程では、新しい地域のデータを追加すると、その地域に特有の道路構造や構造物への認識が改善する様子が見られており、データの多様性がモデルの対応できる走行環境の広さにつながっていると考えています。
全国データの収集を担うのが、Co-MLOpsのデータ記録システム「DRS（Data Recording System）」を搭載した車両群です（図5）。前後左右をカバーする4台の120° LiDARと8台のマルチFoVカメラを、同期・キャリブレーション管理された状態で記録します。「METEOR」の8カメラ入力は、この「DRS」のカメラ構成に合わせています。LiDARは「CoMET」のラベル生成（3Dバウンディングボックス・深度）にのみ使い、推論はカメラのみで行います。そのため参加企業は、DRSで収集したデータをそのまま追加学習に使え、同じ構成の車両であれば車載評価まで一続きで行えます。
図5．Co-MLOpsのデータ記録システム「DRS」：LiDAR4台とカメラ8台のセンサー構成。「METEOR」の8カメラ入力はこの構成に合わせている
「METEOR」の学習用ラベルは、すべてオートラベリング基盤「CoMET（Collaborative Multi-stage Ensemble-based Teacher Model）」の自動ラベルから導出しています。「CoMET」は12個の大規模モデルを組み合わせたアンサンブル型教師モデルで、人手のスループットに制約されずに数百万件規模のラベルを一定の品質で生成できます。構成や頑健化の詳細は前述のテックブログを参照してください。
本記事で取り上げたいのは、「CoMET」のラベルがタスク専用ではなく汎用だという点です。3Dバウンディングボックス・パノプティックセグメンテーション・信号認識という再利用しやすい表現で保持しておくことで、「METEOR」の学習では同じラベル資産から次の学習用ラベルをすべて導出しています。
俯瞰路面セグメンテーションや2Dセグメンテーションなど走行環境理解のラベルの多くはパノプティックセグメンテーションを起点に導出しており、高精度地図に依存しない「METEOR」が道路構造を読み取る能力は、この汎用ラベルの上に成り立っています。新しいタスクを追加する際も再アノテーションは不要で、既存資産からの導出処理を1つ実装すれば済みます。ラベルをタスクごとに作るのではなく、表現として一度だけ生成しておく。これがオートラベリングを軸にした開発の要点です（図6）。本プロジェクトでも、新規地域データの取り込みは、データを置いてから学習開始まで人手を介さずに行っています。
図6．1つのラベル資産からすべての学習用ラベルへ：カメラ・LiDAR・GNSSのセンサーデータから「CoMET」が汎用ラベル資産（3Dバウンディングボックス／パノプティックセグメンテーション／信号認識）を生成し、全タスクの学習用ラベルを導出する
自動ラベルの課題はノイズです。「CoMET」と「METEOR」では、次の仕組みでこれを抑えています（図7）。
図7．ラベルの品質管理：独立に作った2系統のラベルが一致した画素だけをラベルにし、整合検査とラベル欠損の扱いでノイズを学習させない
実走行データの偏り（希少ケースの不足、悪天候での収集の難しさ）については、「NVIDIA Cosmos」による生成データで補う取り組みを進めています。Cosmos Transferによる条件変換（「CoMET」のラベルを引き継いだまま雨天・夜間・降雪に変換）、Cosmos Predictによる希少ケース生成、Cosmos Reasonによるデータギャップの発見です。「METEOR」の学習では、Cosmos Transferで条件変換した悪天候・夜間データを実データと混合して用い、悪条件下での認識性能への効果を評価しています。ここでも生成データにラベルを付けるのは「CoMET」であり、オートラベリング基盤が実データ・生成データに共通の土台になっています。全体像は前述のテックブログおよびNVIDIA GTC 2026セッションS81897を参照してください。
「METEOR」のコンセプトは「自律的に成長する認識エンジン」です。「DRS」による走行データの収集から、「CoMET」によるラベル付け、学習、改善、車載実装までの工程を、人手を介さずに回すことを目指しています（図8）。人手によるラベリングやコード記述を前提としない開発です。
「METEOR」の開発では、モデルの学習だけでなく、評価・不具合解析・改善案の実装・再学習という開発ループそのものをエージェント型AIが実行しています。人手による追加のラベル付けは行わず、モデルや学習コードの記述もエージェント型AIが担いました。改善は事前に登録した判定基準（精度が悪化したら自動で差し戻す、など）の下で行い、複数の計算機にまたがる学習・評価・実機検証が継続的に回っています。「AIがAIを開発する」体制の1つの実例と言えると考えています。
この開発では、人間の役割は「何を作るか」の指示とレビューが中心になります。「◯◯できる機能が欲しい」というコンセプトや機能の指示を受け、モデル開発、自動ラベル付けされた走行データの取り込み、データ変換、クレンジング、実装最適化（量子化・エッジ高速化）、モデル管理（デプロイ・自動復旧）までをエージェント型AIが進め、自己改善のループとして回り続けます（図9）。開発リソースの制約を、データと計算資源の制約に置き換える試みです。
図9．開発の進め方：人間は「指示」、AIが「開発」。モデル開発からデータ処理・実装最適化・運用までエージェント型AIが実行する
エージェント型AIは次のような規律で動いています（図10）。
図10．エージェント型AIの開発ループ：変更は1変数、合格基準は事前登録。効果のない施策は自動的に取り下げる
車載実装も同じループの中で行います。ONNXからTensorRT INT8への標準的な経路で実装し、量子化の較正には実走行フレームを使います。最適化は実機のレイテンシプロファイルと量子化の感度分析[12]に基づいて進め、精度への影響が大きい層はFP16に維持し、それ以外をINT8化する部分精度設計を採っています。学習後量子化（Post-Training Quantization）の較正では、実走行フレームの活性化分布から量子化スケールを決めており、これは整数演算推論の標準的な手順[11][13]に沿ったものです。各エンジンのビルド時には、レイテンシ・出力の健全性・FP16実行との精度差を自動測定し、個々の最適化の採否は「処理時間あたりの精度寄与」を記録した台帳に基づいて判定します。効果が再現しない項目は不採用として記録に残します。詳細は付録Aを参照してください。
「METEOR」は、ソースコード・学習済みモデル・学習レシピ（データ変換からラベル導出、学習、車載実装までの手順）をOSSとして公開します。公開の狙いは2つあります。1つは、カメラのみ・高精度地図に依存しないE2E型自動運転AIモデルを、再現・検証・改変できる形で提示することです。もう1つは、Co-MLOpsの開発の進め方（「CoMET」とエージェント型AIによる開発）を、実際に動くモデルとコードで示すことです。
Co-MLOpsプロジェクトに参加する企業は、この公開版を起点に次のことができます。
ゼロからE2E開発を始める場合に比べて、立ち上げの負担を小さくできることが、リファレンスE2E AIモデルの提供価値だと考えています。
本記事では、Co-MLOpsで集めた日本全国の走行データと、「CoMET」によるオートラベリング、そしてエージェント型AIによる開発ループを組み合わせて構築した、カメラのみ・高精度地図に依存しないE2E型自動運転AIモデル「リファレンスE2E AIモデル」を紹介しました。
E2E AIの性能は、データの量と多様性に大きく左右されます。リファレンスE2E AIモデルは完成品ではなく、データが増えるたびに更新されていくモデルであり、新しい地域や条件のデータがCo-MLOpsに加わるほど、参加企業が受け取るモデルも改善していきます。ティアフォーは、Co-MLOpsとリファレンスE2E AIモデルを通じて、自動運転AIの開発をコミュニティ全体で進めることを目指しています。ご興味をお持ちいただけましたら、公開リポジトリでのご利用や議論にぜひご参加ください。Co-MLOpsへの参加やデータ共有についてのご相談もお待ちしています。
アーキテクチャ：深度付き俯瞰変換を核にした単一ネットワーク
METEORは車載SoCでの量子化・高速化を前提に、効率の良い演算で構成した単一ネットワークです。TensorRTとの親和性を研究後の移植項目ではなく設計上の制約として扱い、使用する演算をConv／GridSample／GatherなどTensorRTが効率よく実行できる集合に限定しています。時系列の記憶も再帰構造ではなく、「前フレームのBEV特徴を通常の入出力テンソルとして受け渡す」静的グラフとして表現しています。このため学習済みモデルはONNXを経由してほぼそのままTensorRTエンジン化でき、NVIDIA Jetson Orinへの実装に特別な移植作業を必要としません。
さらにMETEORは、2Dセグメンテーションの確率を俯瞰変換の入力特徴に付加する、PointPainting[15]型の特徴融合を備えています。遠方の歩行者は俯瞰格子では1セルに潰れて消えやすい一方、画像上では縦に細長い形で残ります。この画像上の2D認識結果をリフト経由でBEVセルへ引き継ぐことで、遠方歩行者の検出再現率の改善を確認しています。注入はゼロ初期化の1×1射影で行い、組み込み時点でモデル出力が変わらない（機能保存）ことを数値で確認したうえで学習しています（図11）。
図11．PointPainting：2Dセグメンテーションの確率をゼロ初期化の1×1射影で俯瞰変換前に注入する。BEV幅・リフトプラグイン・配布構成は不変
ラベルデータの作り方
エッジ最適化
俯瞰変換の投影処理は専用のCUDAプラグインとして実装し、演算効率を確保しています。現行構成ではINT8化による俯瞰セグメンテーションの劣化は誤差の範囲に収まっており（量子化前後の精度差の測り方は[12]の評価手順に準じています）、レイテンシも現実的な車載SoC上で現実的な水準に収まっています。ただし、これで十分と考えているわけではなく、モデル構造と実装の両面から継続的に改善を模索していく予定です。参加企業が自社のJetson Orin搭載車両へ展開する場合も、同じ経路をそのまま利用できます。
[1] Q. Li et al., “HDMapNet: An Online HD Map Construction and Evaluation Framework,” ICRA 2022.
[2] B. Liao et al., “MapTR: Structured Modeling and Learning for Online Vectorized HD Map Construction,” ICLR 2023.
[3] J. Philion, S. Fidler, “Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D,” ECCV 2020.
[4] Y. Li et al., “BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection,” AAAI 2023.
[5] Z. Li et al., “BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers,” ECCV 2022.
[6] A. Hu et al., “FIERY: Future Instance Prediction in Bird's-Eye View from Surround Monocular Cameras,” ICCV 2021.
[7] T. Yin, X. Zhou, P. Krähenbühl, “Center-based 3D Object Detection and Tracking,” CVPR 2021.
[8] Y. Hu et al., “Planning-oriented Autonomous Driving,” CVPR 2023.
[9] B. Jiang et al., “VAD: Vectorized Scene Representation for Efficient Autonomous Driving,” ICCV 2023.
[10] L. Chen et al., “End-to-end Autonomous Driving: Challenges and Frontiers,” IEEE TPAMI, 2024.
[11] B. Jacob et al., “Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference,” CVPR 2018.
[12] H. Wu et al., “Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation,” arXiv:2004.09602, 2020.
[13] M. Nagel et al., “A White Paper on Neural Network Quantization,” arXiv:2106.08295, 2021.
[14] M. Bansal, A. Krizhevsky, A. Ogale, “ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst,” RSS 2019.
[15] S. Vora et al., “PointPainting: Sequential Fusion for 3D Object Detection,” CVPR 2020.
梅田 弾 | データスケーリング部
2023年入社。現在はプリンシパルAIエンジニアおよびチームリードとして、Co-MLOpsの開発を牽引。
ティアフォーでは、「自動運転の民主化」というビジョンに共感を持ち、自らそれを実現する意欲に満ち溢れた新しい仲間を募集しています。
今回のチームで募集中の職種
その他にも多くの職種で採用をしています。詳細は、ティアフォーの「求人ページ」をご覧ください。
「どの職種で自分の経験を活かせるかが分からない」「希望する職種が見つからない」などの場合は、ぜひ「キャリア登録」をお願いします。
お問い合わせ先
ソーシャルメディア
X (Japan/Global) | LinkedIn | Facebook | Instagram | YouTube
関連リンク