自動運転AIの性能を決めるのは、もはやモデルアーキテクチャだけではありません。多様で高品質なデータをどれだけ供給できるかが鍵となっています。本記事では、ティアフォーがNVIDIAのワールド基盤モデル（World Foundation Model：WFM）プラットフォーム「NVIDIA Cosmos」を、ティアフォーが開発するデータ共有・機械学習運用基盤「Co-MLOps」に統合し、データ検索・エッジケース生成・データ拡張を自動化した取り組みを、公開情報や技術文献を交えて紹介します。
自動運転システムを安全に社会実装するうえで最大の課題が、いわゆるロングテール問題です。実走行データの大半は平穏な通常走行であり、衝突リスクに直結する希少なシーンであるエッジケースはほとんど含まれません。しかし、システムの安全性・機能目標・実装の成否を最も左右するのは、まさにこの未発見のエッジケースです。実車での走行試験は時間もコストもかかり、現実世界のほぼ無限の可能性を網羅することはできません。
そこでティアフォーは、世界をシミュレートする生成AIのWFMを活用し、「探す・作る・拡張する」の3つのアプローチでデータギャップを埋めています。本記事で主に取り上げるNVIDIA Cosmosは、まさにこの目的のために設計されたフィジカルAI向けモデル群です。
ティアフォーは、自動運転向け世界最大級のオープンソースソフトウェア「Autoware」の開発を主導するディープテック企業です。2016年以降、日本全国39都道府県・127地域以上で自動運転の実証実験を行ってきました。
また、Autowareによる自動運転の民主化に加えて、ADAS/ADシステムのためのAIをスケーラブルに開発するためにデータ共有とMLOpsを統合した協調フレームワーク「Co-MLOps」を2024年より提供開始しています。参加企業が増えるほど共有データが豊かになり、大規模データの上でリファレンスAIが継続的に向上していく好循環（アクティブラーニングループ）が設計思想です。
Co-MLOpsの中心には、収集を目的化せず、データを学習と改善に流し続けるアクティブラーニングループがあります。多様な車種から集めたデータを起点に、以下のステージを循環させ、次の改善サイクルへフィードバックします。
これらを1つのループとして連結することで、「不足データを見つける→生成・収集する→ラベル付けと品質保証を行う→学習に投入する」という改善サイクルが自律的に回ります。NVIDIA Cosmosは、このループのうち特にデータ検索・生成・拡張のステージを強力に加速する役割を担います。
ループの全体像を図1に示します。多様な車種から収集したデータを起点に、オートラベリング・データタギング・データギャップレポート・データ生成・品質検証・類似度ランキング・不確実性推定・プライバシー匿名化の8ステージを循環させ、データとAIを継続的に改善します。
図1． Co-MLOpsアクティブラーニングループ: 8つのステージが循環しデータとAIを継続改善
データ収集機器の全体像を図2に示します。前後左右をカバーする4台の120° LiDARと8台のマルチFoVカメラを組み合わせ、車両周囲を死角なく捉えるセンサー構成です。
図2．Co-MLOpsデータ記録システム（DRS）：LiDAR4台とカメラ8台のセンサー構成
実際に収集されたデータの例を図3に示します。夕暮れや夜間の市街地、トンネル、工事区間、雨や雪、踏切、農道など、日本全国の継続走行で集めた、学習価値の高い多様かつ希少なシーンです。
図3．日本全国の継続走行で収集した多様かつ希少なシーンの例
大量のデータを集めても、学習に使うにはラベル（正解データ）が必要です。人手アノテーションには、スループットの限界・線形に増大するコスト・品質保証のボトルネックという三重の制約があります。これを乗り越えるため、Co-MLOpsは高性能かつ汎用的なオートラベリング基盤を備えています。
その中核が、12個の大規模モデルを組み合わせたアンサンブル型教師モデル「CoMET（Collaborative Multi-stage Ensemble-based Teacher Model）」です。カメラとLiDARの両方を入力とし、以下の高度なアノテーションを自動生成します。
対応アノテーション種別を図4に示します。パノプティックセグメンテーション・信号認識・LiDAR 3D BBoxなど、2D画像から3D点群までの多様なセンサーデータを、統一されたインターフェースで効率的に処理できることを示しています。
図4．オートラベリング基盤のサポート範囲：多次元アノテーション（パノプティック・信号・LiDAR 3D BBox）
オートラベリング基盤の構成を図5に示します。カメラとLiDARを入力に、12個の大規模モデルをマルチステージのアンサンブルとして統合し、パノプティックセグメンテーション・信号認識・3D物体検出などを一括生成するCoMETの処理フローです。
図5．CoMET：12個の大規模モデルを統合したアンサンブル型オートラベリング基盤
その結果、人手のスループット限界を超える数百万件規模のラベル生成が可能となり、ラベル品質や信頼度の自動判定まで含めて、一貫したパイプラインで処理できます。
CoMETが本番運用に耐えるには、多様なセンサー・車種・データに対する堅牢性と、大規模処理を支える効率性の両立が必要です。
入力面では、汎化精度を高めるためにあえて「多様な混合データセット」を用います。具体的には、乗用車・タクシー・小型バス・大型バスといった異なる車種、狭角・広角・魚眼のカメラ、回転式からMEMSまで方式の異なるLiDARにまたがるデータで学習します。車両・カメラ・LiDARの構成が変わっても安定して動作させるためであり、加えて後述の生成AIが作るエッジケースデータも活用しています。
学習面の中核は、物体検出・各種セグメンテーション・信号検出・各種分類などタスクごとに特化して学習した個別モデルの混合／アンサンブルです（CoMETの名が示すアンサンブル型設計）。これらを高解像度の第1段・低解像度の第2段からなる2段パイプラインで走らせ、タスクごとに精度を最適化します。各エキスパートモデルを独立・並列に学習できるため、新しい変更を柔軟に取り込めるのが大きな利点で、タスクを追加したければそのサブタスクを解くDNNを1つ足すだけで済みます。
推論面では、バッチ最適化・TensorRT最適化・並列実行・CPU／GPU自動アフィニティにより高スループットを実現しています。多数のモデルを組み合わせながら、コンシューマ向けGPUからハイエンドGPUまで幅広いハードウェアで動作する点も特長です。
この技術スタックを図6に示します。多様な混合データセットを入力した後、タスク特化エキスパートの混合／アンサンブルによる2段学習で頑健性を確保し、TensorRT最適化や並列実行などの推論最適化で効率を高めています。
図6．堅牢・効率的なオートラベリングの基盤技術：タスク特化エキスパートの混合／アンサンブルと2段パイプライン
具体的な出力例として、複雑な都市環境における3D物体検出とパノプティックセグメンテーションのデモを示します。前方カメラ・サラウンドカメラ・LiDAR点群にわたり、車両・歩行者・道路構造物が高精度かつ一貫してラベリングされています。このオートラベリング基盤が、後述するCosmos統合の「受け皿」として決定的な役割を果たします。
オートラベリングの実例を以下の動画に示します。複雑な都市環境で、複数カメラとLiDARにまたがり3D物体検出とパノプティックセグメンテーションが一貫して適用されています。
NVIDIA Cosmosは、物理世界のシミュレーションと推論のために設計されたWFMのプラットフォームです。2025年10月にはCosmos Predict 2.5とCosmos Transfer 2.5が公開され、自動運転・ロボティクス向け合成データ生成が大きく進化しました。Cosmosは役割の異なる3つのモデルファミリーで構成されます。
ティアフォーはこの3モデルをCo-MLOpsの自動化パイプラインに直結し、「探す（Reason）→作る（Predict）→拡張する（Transfer）→自動ラベリング（CoMET）」という継続的な改善・検証ループを実現しました。
これは、前述のアクティブラーニングループの検索（Reason）・生成（Predict）・拡張（Transfer）ステージを、NVIDIA Cosmosで完全に駆動する形へ進化させたものと言えます。
3モデルの役割分担を図7に示します。Cosmos Reason（検索）・Predict（生成）・Transfer（拡張）がそれぞれエッジケース・拡張データ・検索結果をCo-MLOps自動化パイプラインへ供給し、モデルの継続的な改善と検証に寄与する構図です。
図7．Cosmos Reason・Predict・TransferのCo-MLOpsパイプラインへの統合
ペタバイト級の映像アーカイブから「使いたいシーン」を見つけること自体が大きな課題です。Cosmos Reasonは走行映像を入力した後、シーン記述・時間帯・天候・場所（市街地・郊外・高速・山間部）・自車挙動（レーン走行・右左折・踏切横断など）を、厳密に構造化されたJSONとして出力します。
生成されたタグとキャプションはCo-MLOpsコンソールに取り込まれ、自然言語テキスト検索・不確実性ベース検索・国際標準ISO 34504準拠のタグ検索が可能になります。ISO 34504:2024は、自動運転システム（SAEレベル3〜5）のテストシナリオを動的要素や環境条件などの「タグ」で分類する国際標準で、シナリオ分類の統一的アプローチを定めています。
デモでは、「交差点で傘を差す歩行者」のような不確実性の高いシーンを自然言語クエリで即座に検索できることを示し、学習価値の高い希少データへ瞬時にアクセスできることを実証しました。
キャプショニングとタギングの流れを図8に示します。走行映像をCosmos Reasonに入力し、シーン記述・時間帯・天候・場所・自車挙動を厳密な構造化JSONとして出力するフローです。
図8．Cosmos Reasonによるキャプショニングとタギング（構造化JSON出力）
検索デモの流れは次のとおりです。まず自然言語で「umbrella」と入力し、次にUncertaintyスコアを10%〜0.1%の範囲（高不確実性サンプル）に絞り込みます。さらにISO 34504ベースのタグを「pedestrian」「intersection」に設定。言語・不確実性・タグの3条件を組み合わせることで、「交差点で傘を差す歩行者」という希少かつ高不確実性のシーンをピンポイントで抽出できます。
検索デモの例を以下の動画に示します。自然言語クエリ「umbrella」に高Uncertainty、ISOタグ（pedestrian・intersection）を組み合わせ、「交差点で傘を差す歩行者」という高不確実性シーンを検索。学習価値の高い希少データへの即時アクセスを実証しています。
実データに存在しない、あるいは収集が極めて困難な危険シーンは、作るしかありません。Cosmos Predict 2.5はテキスト・画像・アクションのプロンプトから、物理的に整合した高忠実度の合成データを生成し、データギャップを埋めます。
Cosmos Predict 2.5はText2World・Image2World・Video2Worldを単一モデルに統合したフローベースモデルで、テキストエンコーダーにCosmos Reason 1を組み込み、2億本の高品質クリップで学習されています。空間的・時間的に一貫した映像を最長30秒生成でき、2Bと14Bの2サイズで提供されます。
Co-MLOpsでは、低位置物体の検出性能を向上させるためのエッジケースも生成します。まずPredict 2.5-2BとGemini Flash Image（Nano Banana）を用い、合成画像からimage2worldで合成映像を生成します。生成データはCoMETオートラベリングで即座にアノテーション（セミアノテーション）され、学習パイプラインへ投入されます。エッジケース生成の流れを図09に示します。Predict2.5-2BとGemini Flash Image（Nano Banana）を用い、合成画像からimage2worldで合成映像を生成し、CoMETオートラベリングで学習データ化するパイプラインです。
図9．Cosmos Predictエッジケース生成パイプライン（image2world）
生成された合成データの例を以下の動画に示します。イノシシや鹿などの動物、犬を連れてしゃがむ人、路上に横たわる人、タイヤやはしごなどの落下物といった、現実には収集が難しい希少シーンに自動アノテーションを適用したものです。
この生成と学習の結果、実データでの検出性能が実際に向上しました。具体的には、従来困難だった路上に横たわる人や小動物の検出が、実走行データ上でも改善することを確認しています。希少シーンを合成データで補うことが、実世界シーンの検出能力向上に直結することを示す結果です。
性能向上の様子を以下の動画に示します。オートラベリング付き実データにおいて、路上に横たわる人（左）と小動物（右）の検出が改善しており、Cosmos Predict 2.5による合成データの追加が実データでの検出性能向上に寄与したことを示しています。
信頼できるAIは、あらゆる条件で学習されていなければなりません。しかし吹雪のような条件のデータを物理的に収集するのは困難で、コストも高く、スケールしません。Cosmos Transferは「集められないなら合成する」という思想で、データギャップをアルゴリズミックに埋めるWorld-to-World変換モデルです。
既存データに天候（雨・雪・霧）や時間帯（夜・夕暮れ）を物理的にリアルに付加し、データの多様性を高めます。Cosmos Transfer 2.5は先代比3.5分の1の2Bパラメータでありながら、自動運転の3Dレーン・直方体検出タスクで最大60%の性能向上を達成しています。
課題は、事前学習済みのTransfer-multiviewモデルがHDマップデータで学習されている一方、Co-MLOpsはセンサー構成もカメラFoVも異なること（ドメインギャップ）でした。ティアフォーはCo-MLOpsオートラベリングが生成するパノプティックセグメンテーションマスクを用いてポストトレーニングを行い、HDマップ系データセットとCo-MLOpsデータセット間のドメインシフトを解消。マルチビューマスクから一貫したマルチビュー画像を生成できる「Co-MLOps Transfer2.5-2B-multiview」を実現しました。
データ拡張の流れを図10に示します。カメラ・LiDARとオートラベリング結果（3Dバウンディングボックス・パノプティックセグメンテーション・信号認識）を制御入力に、Cosmos Transfer 2.5がキャプションを反映した多様な環境の映像を生成するフローです。
図10．Cosmos Transferデータ拡張パイプライン（オートラベリング連携）
ポストトレーニングの結果を図11に示します。ドメインギャップ解消後のCo-MLOps Transfer2.5-2B-multiviewによる、入力マルチビューセグメンテーションマスクから視点間で一貫したマルチビュー画像を生成した例です。つまり元のRGB画像が一切なくても、オートラベリングが生成するマスクデータだけから任意シーンのデータを生成できるようになりました。
図11．Co-MLOps × Cosmos Transfer 2.5：マルチビューマスクからの画像生成
さらにこのマルチビュー生成は、同一シーンの環境条件を逆光・雨・雪・夜間へ自在に変換できます。1つの走行シーンから昼夜・天候バリエーションを複数視点で一貫して合成できるため、現実には同時取得できない多様な環境条件のデータを効率的に拡張できます。
マルチビュー生成のデモを以下の動画に示します。1つの走行シーンを逆光・雨・雪・夜間という多様な環境条件へ自在に変換し、複数視点で一貫した映像として生成した例です。
最後に、こうして生成した合成データが本当にモデル性能を向上させるのかを定量検証しました。シミュレータ（Unity）で希少シーンを構築し、Cosmos Transfer 2.5とCosmos Reason 2-Bでリアルな映像に変換して合成データを生成。これを学習データに加え、犬の検出の精度（Intersection over Union：IoU）がどれだけ向上するかを比較しました。
検証に用いたデータ生成の流れを以下の動画に示します。Unityシミュレータの出力をCosmos Transfer 2.5でリアル映像に変換し、Cosmos Reason 2-Bでキャプションを付与して合成データを生成するパイプラインです。
|
Training Data |
IoU (Dog) |
|
Real data only (baseline) |
0.671 |
|
Real + Cosmos synthetic data |
0.893 (+0.222) |
実データのみで学習したベースラインのIoU 0.671に対し、Cosmos合成データを追加するとIoU 0.893（+0.222）へ大幅に向上しました。合成データの活用が検出性能を確実に高めること、すなわち収集困難な希少シーンを合成データで補うことが実タスク性能の向上に直結することを定量的に確認できました。
ここまでの取り組みはCosmos Predict 2.5・Transfer 2.5・Reason 2の上に構築されていますが、ティアフォーはすでに次世代のCosmos 3への移行を進めています。方針は一貫しており、各機能をまず日本の走行ドメインへファインチューニング（ポストトレーニング）してから運用します。現在進行中の取り組みと今後の計画は以下のとおりです。
現在、Cosmos 3 Nanoのフルファインチューニングを行い、日本特有の道路環境に適したエッジケースデータの生成に注力しています。生成パイプラインでは、Cosmos-Reason2-32Bがキャプションを生成し、Gemma4-31Bがそれをプロンプトへ変換、フルファインチューニング済みのCosmos3-FT-NanoがText-to-Video・Video-to-Video・Image-to-Videoの3経路で映像を生成します。画像インペインティングにはGemini（Image Inpaintor）も活用しています。
Cosmos 3ベースの生成パイプライン全体像を図12に示します。Cosmos-Reason2-32Bによるキャプション生成、Gemma4-31Bによるプロンプト変換を経て、フルファインチューニング済みCosmos3-FT-Nanoが3経路で映像を生成し、CoMETオートラベリングへ接続します。
図12．Cosmos 3によるデータ生成パイプライン（キャプション→プロンプト→映像生成→オートラベリング）
キャプションは生成と検索の品質を大きく左右します。Cosmos-Reason2-32Bが出力するキャプションを、ファインチューニングしたGemma4-31Bが生成に適した形へ自動変換する「Caption Creator・Prompt Creator」機能を実装中です。人手を介さず高品質なプロンプトを量産し、生成パイプラインを自律化することが狙いです。
Cosmos 3が生成したエッジケースデータを学習にそのまま使うには、生成データを高精度にオートラベリングする必要があります。そこでCoMETオートラベリングを学習用途とセミアノテーション用途の両方に対応できるよう強化しています。また、オートラベリング結果を自動で点検・修正するAutoQA・データクレンジングAIも開発中です。重要度の低い項目は自動修正し、重要度の高いものは人のレビューに回すことで、品質と効率の両立を目指します。いずれも開発進行中のため、本記事では詳細を割愛します。
図13．ポストトレーニング済みCosmos 3による7カメラサラウンドマルチビュー生成（Text2Video）
単一視点の生成にとどまらず、ポストトレーニング済みCosmos 3を、データ記録車両のカメラ構成に合わせた7台のカメラのサラウンドマルチビュー映像生成へも拡張しています。図13にマルチビュー向けにポストトレーニング済みのCosmos 3でText2Videoで雪シーンを生成した例を示します。冬の時期にDRSにて習得した日本の雪シーンデータの知識をCosmos3に与えることで、テキストプロンプトから直接任意の雪シーンの映像を生成することができます。また、並行して、CoMET生成のPanoptic Segmentationのオートラベルを活用したマルチビューCosmos Transferも同様に進めています。図14にポストトレーニング済みのCosmos3のTransferでSegmentationマスクから生成された映像を示します。両取り組みの詳細は、別の機会にご紹介する予定です。
図14. デモ：セグメンテーションオートラベルを活用したマルチビューCosmos Transfer（全カメラ視点で一貫した夜間・雨・雪への変換）
今後は、Predict（エッジケース生成）・Transfer（データ拡張）・Reason（推論・タギング）のすべての機能をCosmos 3へ完全移行する計画です。それぞれ日本の走行ドメインにファインチューニングしたうえで運用し、検索・生成・拡張・品質保証のワークフロー全体を一貫したCosmos 3ベースのパイプラインに統合します。エッジケース生成からオートラベリング、AutoQAによる品質保証までの全サイクルが完全自律で回る、次世代データ基盤の実現が目標です。
本事例では、NVIDIA Cosmosの3モデルとCo-MLOpsオートラベリング基盤を統合し、自動運転データのライフサイクル（検索・生成・拡張・ラベリング）をエンドツーエンドで自動化しました。
ティアフォーはこれらの機能の次世代Cosmos 3への移行にも着手しています。日本特化エッジケース生成に向けてCosmos 3 Nanoをフルファインチューニングし、その拡張として7台のカメラサラウンドマルチビュー生成にも着手。マルチビューTransferも並行して拡張用に運用しています。あわせてキャプション自動変換の実装、Cosmos 3生成データに対応するオートラベリング強化、AutoQA・データクレンジングAIの開発を進めています。最終的にはPredict・Transfer・ReasonのすべてをCosmos 3へ完全移行し、各コンポーネントを日本の走行ドメインにファインチューニングしたうえで運用します。
「集める」だけでは到達できない領域を「探す・作る・拡張する」という生成AIの力で補い、さらにAutoQAで品質を担保する。これらを一貫したCosmos 3ベースのパイプラインに統合することで、エッジケース生成からオートラベリング、品質保証までが完全自律で回る次世代データ基盤を目指します。CosmosとCo-MLOpsが描くビジョンは、すでに次の世代へ進み始めています。
本記事は、ティアフォーのプリンシパルエンジニアの梅田弾によるNVIDIA GTC 2026セッションS81897での講演「Building a Dataset Foundation for Autonomous Driving with NVIDIA Cosmos」の内容を、公開情報・技術文献で補いながら再構成したものです。
ティアフォーでは、「自動運転の民主化」というビジョンに共感を持ち、自らそれを実現する意欲に満ち溢れた新しい仲間を募集しています。
今回のチームで募集中の職種
その他にも多くの職種で採用をしています。詳細は、ティアフォーの「求人ページ」をご覧ください。
「どの職種で自分の経験を活かせるかが分からない」「希望する職種が見つからない」などの場合は、ぜひ「キャリア登録」をお願いします。
お問い合わせ先
ソーシャルメディア
X (Japan/Global) | LinkedIn | Facebook | Instagram | YouTube
関連リンク