ティアフォーのData/MLチームの太田です。MLOpsエンジニアとして、MLOpsワークフローを支えるサービスの開発と運用を担当しています。Data/MLチームでは、データや機械学習（Machine Learning：ML）に関わる課題解決のため、クラウド上で動作するサービス群の開発と運用を行っています。自動運転を実施する拠点が年々増加する中、機械学習モデル改善におけるリードタイム短縮のためのチームの取り組みや課題を紹介します。
ティアフォーの開発する自動運転ソフトウェアを利用し、自動運転を実施する拠点が増加する中、運行地域も拡大しています。それに伴い機械学習モデルに対する改善要望が増加し、リードタイムの短縮が求められています。自動運転のMLOpsの課題は一般的なMLOpsと共通するものも含め、以下があげられます。
自動運転ソフトウェアを開発中の走行環境では、毎日膨大な量のデータがカメラやLiDARから収集されます。一方、その中から興味や関心のある適切なデータを人手で抽出することは困難です。また、取り扱うデータの特徴と必要なデータ量から、アノテーションや学習にかかるコスト、およびそれに伴う管理コストも高くなります。加えて、自動運転ソフトウェアに機械学習モデルを組み込んだ上での評価も必須になるため、モデル改善のためのリードタイムの増加にも影響を与えます。また、自動運転には高い安全性が求められるため、リリースされている自動運転ソフトウェア上で動作しているモデルの適切な管理と事故発生時の説明責任も踏まえた実験の追跡や再現性の担保が求められます。上記の課題を踏まえ、今後拡大する拠点において、効率的にモデル改善を行うためのMLOpsワークフローの構築を推進しています。
上の図は、現在のMLOpsのワークフローになります。Data/MLチームでは、Data CollectionからTrainingまでのステップを担当しています。主なMLOpsの開発領域は非構造データの解析、アノテーションと学習のパイプラインの開発になります。データ検索サービスでは収集してきたrosbagを解析し、メタデータを元にユーザーの興味や関心のあるデータを抽出できる検索機能を提供しています。また、ウェブ上でrosbagの概要を確認できる簡易な可視化機能も提供しています。アノテーションパイプラインでは、アノテーションされたデータセットを管理し、検索機能や可視化機能を提供しています。そして、サードパーティのアノテーションツールと連携し、収集したrosbagからシームレスにアノテーションに進めるフローを構築しています。MLパイプラインでは、実験とモデルの管理機能を提供しています。こちらに関しては、次のセクションで詳細に説明します。最後にCI/CDパイプラインで自動運転ソフトウェアにモデルを組み込んで評価し、車両に配信されます。上記のような構成でMLOpsワークフローを構築し、アノテーションや学習のサイクルを効率化しています。また、MLモデル開発以外の自動運転ソフトウェアの評価データの作成にも上記のワークフローの一部が利用され、自動運転ソフトウェア開発の効率化に貢献しています。
学習基盤であるMLパイプラインは現在ベータ版がリリースされ、社内だけでなく一部の社外の方も利用可能な状態になっています。公開されているドキュメントはこちらです。提供している機能には、大きく分けて実験管理とモデル管理の2つがあります。MLパイプラインのWEBアプリケーションまたはコマンドラインインターフェース（Command Line Interface：CLI）から簡単に学習の実行とモデルのリリースをすることができ、それらが「Web.Auto」のサービス群とシームレスに連携する点が特徴です。
実験管理（ML Experiments）では、クラウド上で学習を実行できるパイプラインと実験条件や成果物の管理機能を提供しています。
学習を実行するパイプラインは上記の図のように、Build、Process、Trainの3つのステージに分かれています。Build StageではWeb.Auto CLIからアップロードされたコードまたはGitHub上で管理されている任意のコードからDockerイメージを作成します。続くProcess Stageでは、指定されたデータセットの配置とBuild Stageで作成したイメージを利用し、データセットの前処理を実施します。最後のTrain Stageでは、Build Stageで作成したイメージを利用して学習を実行し、ログやチェックポイント、機械学習モデルが出力として管理されます。各ステージの結果は再利用でき、同じコードで学習設定を変更して再度実行したい場合や、特定のチェックポイントから学習を再開したい場合などで、各ステージ結果を再利用して効率的に学習を回すことが可能です。
一般的な学習基盤に求められることの1つに、実験の再現性があります。特に自動運転では、事故が発生した際にソフトウェアの説明責任を果たせるよう、機械学習モデルの実験の追跡と再現性が重要になります。MLパイプラインでは、実験の再現性を担保するために実行時の学習設定を特定のフォーマットに従って管理しています。YAMLで記述された学習設定を元に実行されるタスクが決まり、学習のための計算リソースが確保されます。また、実験のログと成果物である出力されたモデルが紐付けられるため、自動運転車両へのモデルの配信後には、稼働しているモデルの実験条件や学習に利用したデータセットのトラッキングが容易に行えます。
モデル管理（ML Packages）では、任意の機械学習モデルのファイルの管理と「Web.Auto」のCI/CDパイプラインの連携機能を提供しています。
機械学習モデルのファイル群をまとめたパッケージを作成し、バージョンを割り振りリリースします。バージョンは任意の名前を設定可能です。また、パッケージのユーザーの閲覧権限も細かく制御することができます。「Web.Auto」ではプロジェクトの単位で分離されたデータを管理していますが、ML Packagesでは機械学習モデルのプロジェクト間の共有をサポートしており、別プロジェクトへの機械学習資産の共有も可能です。この機能を用いることで、他の場所で稼働している自動運転ソフトウェアに対して、機械学習モデルのみを共有して共同で利用することが可能になります。
ML PackagesはCI/CDパイプラインと連携しており、リリースした機械学習モデルを自動運転ソフトウェアのシミュレーションに組み込んで評価したり、ファームウェアイメージに組み込んで車両に配信可能です。CI/CDパイプラインと連携した機械学習モデルは、ファームウェアイメージと紐付けて管理されているため、特定の機械学習モデルのリリースに対してシミュレーションでどのような評価がされたのか、どの車両に配信され、現在どのような環境を走行しているのかを容易に追跡することができます。機械学習モデルのトラッキングは、事故発生時の調査対応だけでなく、リリース後の機械学習モデルの継続的な改善に活用されます。
Data/MLチームで取り組んでいるMLOpsワークフローとその中の学習基盤に焦点を当てた取り組みを紹介しました。機械学習の一連のワークフローを「Web.Auto」の機能でサポートすることにより、実験の追跡や再現性を担保しながら、システム管理されたMLOpsのワークフローを実現しています。まだ課題はありますが、機械学習モデル改善のリードタイムを更に短縮できるよう、MLOpsワークフローの構築を進めていきます。
今回の記事では触れませんでしたが、アノテーションパイプラインでは自動ラベリングの取り組み、データ検索サービスでは大規模言語モデル（Large Language Models：LLM）を活用した検索の取り組みにも取り組んでいます。Data/MLチームでは一緒に自動運転のMLOpsを推進してくれる方を募集しています。カジュアル面談も実施しているのでお気軽にご連絡ください。以下に興味を持ってくださった方の応募をお待ちしています。
データ基盤とMLOpsをテーマにしたミートアップイベントを2025年2月20日に開催予定です！ご興味ある方はティアフォーのconnpassをチェックしてください。また、ティアフォーの最新情報をニュースレターでもお届けしていますので、ぜひご登録ください。
Riki Ota｜太田 力
Data/MLチーム
2022年10月入社。東北大学大学院・工学研究科卒業。前職ではMaaSアプリや自動運転の運用ツールの開発に従事。現在はMLOpsの開発と運用を担当。
ティアフォーでは、「自動運転の民主化」というビジョンに共感を持ち、自らそれを実現する意欲に満ち溢れた新しい仲間を募集しています。
多くの職種で採用をしています。詳細は、ティアフォーの「求人ページ」をご覧ください。カジュアル面談をご希望の方は、応募する際に「カジュアル面談希望」と記載してください。
「どの職種で自分の経験を活かせるかが分からない」「希望する職種が見つからない」などの場合は、ぜひ「キャリア登録」をお願いします。
お問い合わせ先
ソーシャルメディア
X (Japan/Global) | LinkedIn | Facebook | Instagram | YouTube
関連リンク