本ブログでは、カメラシステムの概要とティアフォーが開発する車載カメラについてシリーズで解説します。第2回では、CMOSイメージセンサーの進化と構造について解説しました。第3回となる今回は、イメージセンサーの機能概要、グローバルシャッターとローリングシャッターの違いについて解説します。
イメージセンサー（カメラシステム）の機能概要
現代のCMOSイメージセンサーは、ほとんどの製品がRAW画像を出力します。RAW画像はその名の通り、未処理のデータです。デジタルカメラの世界でいうRAW画像は、前回のブログで説明した通り、RGBカラーフィルターを通したRedやGreen、Blueなど特定の色のみの情報を持つ画素データの集合です。CMOSイメージセンサーから出力されたRAWデータは、画像処理プロセッサ（Image Signal Processor：ISP）で処理された後、ディスプレイに表示されるなど、コンピュータ・ビジョン・システムの入力となります。
RAW画像のイメージ
一方、車載向けCMOSイメージセンサーは、第1回のブログで概要を説明したISPをCMOSイメージセンサーと同一のチップに集積し、RAW信号を処理してからYUV（YCbCr）信号として出力するタイプのイメージセンサーにも広い需要があります。これはリアビューカメラなどの特定用途では、カメラを直接ディスプレイに接続するようなアーキテクチャにすることで、システムの部品コストの最小化や、開発コストの低減といった需要があるためです。このように、ISPを内蔵したCMOSイメージセンサーは、そのチップだけで一通りのカメラ機能を備えているため、Image Sensor System on Chipと呼ばれることもあります。
ティアフォーの車載カメラでは、C1カメラで採用しているISX021はYUV出力の製品、C2カメラで採用しているIMX490はRAW出力の製品になります。C2カメラでは外付けISPを搭載しているので、カメラとしての出力はYUV形式になります。
機能ブロックと信号処理のフロー
上の図は、一般的な機能ブロックの例と信号処理のフローを示しています。実際の製品には、この他にも様々な機能が実装されていますが、ここでは一般的な機能をいくつか紹介します。信号処理は、RAW領域での信号処理とRGB／YUV領域での信号処理に分類することができます。
以下に、各機能ブロックの概要を説明します。
画素
画素回路はイメージセンサーの機能の中核であり、マイクロレンズ、カラーフィルター、フォトダイオード、複数の読み出しトランジスターといった要素で構成されています。マイクロレンズで集光した光に対してカラーフィルターで波長（色）を選択し、フォトダイオードで電荷に変換します。さらに、読み出しトランジスターによって電荷から電圧への変換と増幅が行われ、信号が読み出されます。
A／D変換
画素から読み出された電圧信号は、A／D変換器によりデジタル値に変換されます。変換後のデジタル値は10 bit（1024階調）または12 bit（4096階調）が一般的です。早期にアナログ信号からデジタル信号への変換を行うことで、外来ノイズによる信号の劣化を抑えることができ、信号を高速に転送することができます。
欠陥補正
カメラシステム内で行われる画像処理は多岐にわたりますが、一般的なものをいくつか紹介します。最初の例は欠陥補正機能です。
画素の中には、製造工程で発生するランダムな欠陥が、ある一定の割合で存在します。そのような欠陥を後述する信号処理で補正するのが欠陥補正機能です。欠陥補正には、大きく分けて2つの方式があります。
- スタティック補正
- ダイナミック補正
スタティック補正では、あらかじめ補正すべき欠陥の場所であるアドレスを、検査工程などで、カメラシステム内の不揮発性メモリに記録しておきます。そして、その情報を用いて対象のアドレスを補正する方式です。一方、ダイナミック補正は対象画素の出力を周辺の出力と比較することで、ある画素が欠陥であるかどうかをダイナミックに判定して補正を行う方式です。
スタティック補正では検査工程で欠陥を記録するため、安定して欠陥を補正することができますが、補正できる欠陥の点数は、搭載できる不揮発性メモリの容量により制限されます。一方、ダイナミック補正方式では補正できる欠陥の点数に制限はありませんが、その時撮像しているシーンやパターンによっては、誤補正や補正漏れが発生する可能性があります。
HDR合成
車載向けイメージセンサーでは、ハイダイナミックレンジ（High Dynamic Range：HDR）特性が重要です。HDRは複数の信号を画素から取り出し、合成することで実現します。典型的なHDR合成では、3枚または4枚の画像を合成し、1枚のHDR画像を生成します。合成のアルゴリズムは各企業ごとに異なり、差別化の要素となります。
デモザイク
デモザイクはデベイヤリング（De-bayering）とも呼ばれています。デモザイク前の状態では、1つの画素の信号は1つの色の情報（Red、GreenまたはBlue）しか保持していないため、各画素に対してすべての色情報を付加する処理がデモザイクです。
典型的なアルゴリズムは、対象画素の周辺5×5や7x7の画素から画素値を集めて補間するようなものになります。以下に、非常に簡単な例を示します。中央の画素であるGreenに対し、RedとBlueの情報を補間するには、以下の計算が成り立ちます。
実際の製品では、被写体のエッジを考慮して係数の重み付けをしたり、フィルターの係数を工夫するなど、アルゴリズムは企業により異なります。
カメラの3A
基本的なカメラの制御には「3A」と呼ばれる以下の3つがあります。
- オートフォーカス
- オートホワイトバランス
- オートエクスポージャー
車載カメラは固定焦点式のレンズを搭載するため、オートフォーカスについては対象外となるので、オートホワイトバランスとオートエクスポージャーについて説明します。
オートホワイトバランス（Auto White Balance：AWB)
人間の目には、電灯や蛍光灯、太陽光など、環境光の違いがあっても被写体が持つ本来の色に近づけることができる、色恒常性とよばれる性質があります。しかし、カメラシステムから出力される色は、これら環境光の違いによる影響を受けます。これを補正するため、RedやBlue、Greenに対して、ある係数をかけることで、人間から見て「白い」物体を「白く」表現する機能がホワイトバランスです。ほとんどのカメラシステムは、ホワイトバランスを自動的に行うオートホワイトバランス機能を持っていますが、環境光をユーザーが指定してホワイトバランスを設定することも可能です。オートホワイトバランスのアルゴリズムはとても奥が深いので、ここでは概要についてのみ触れます。
オートホワイトバランスにおける最も基本的な考え方は「グレーワールド仮説」と呼ばれます。この考え方では、画面全体の画素値を積算するとグレー、すなわちRed／Greenと Blue／Greenが等しくなっているという経験的・統計的事実を用います。これにより、画像のホワイトバランスを調整し、白いものを白く撮像することが可能になりますが、青空などの特定のシーンではうまくいかないこともあります。近年では機械学習を用いた色温度の推定も行われるようになり、実際のカメラに実装されるようになってきました。
オートエクスポージャー
オートエクスポージャーはカメラの露光、すなわちレンズの絞りとシャッター速度または蓄積時間を調整する機能です。車載カメラでは、レンズの絞りが固定されており、機械式シャッターも搭載されていないため、実際にはイメージセンサーの露光時間とゲインを調整する機能になります。画面内の特定の領域内の画素値から輝度を算出し、平均値を取ってターゲット値と比較することにより、その時の露光時間が適切かどうかを評価します。過剰露光であればシャッター時間を短く、ゲインを小さく、露光不足であればシャッター時間を長く、ゲインを大きく設定します。
ここまで、カメラシステムの各機能ブロックの概要をいくつか説明しましたが、ここで説明した機能以外にも、カメラシステムには様々な機能が実装されています。カメラシステムの性能を正しく引き出すには、カメラシステムに搭載された機能の特徴と限界を正しく理解し、適切に使用することが重要です。
グローバルシャッターとローリングシャッター
ここからは話題を変え、ティアフォーのお客様からの問い合わせの多い、イメージセンサーの2つの電子シャッター形式である、グローバルシャッターとローリングシャッターについて説明します。
ローリングシャッター
イメージセンサーにおける電子シャッターとは、読み出しを行う一定時間前に電荷の放出を行い、蓄積時間を制御することを指します。
第2回のブログでも説明した通り、CMOSイメージセンサーでは画素アレイをXY方式で選択し、シャッターと読み出しを行います。したがって、各画素の画素アレイ上の位置により、シャッターまたは読み出しが行われる時間は異なります。
以下に、8x8画素の画素アレイを用いた例を示します。
ローリングシャッターの例
この場合、先頭行（一番上の行）のシャッターは time=0 のタイミングで行われています。 time=1 から time=4 までの間、フォトダイオードでは光電変換による電荷蓄積が行われ、time=5 で読み出しが行われます。
一方、最終行（一番下の行）では、time=7 でシャッター、time=12 で読み出しが行われます。このため、高速で動く物体を撮像した場合、ローリングシャッター歪が発生する可能性があります。しかしながら、近年のイメージセンサーでは1行あたりの読み出しにかかる時間が短くなってきたため、ローリングシャッター歪はそれほど目立たなくなってきています。
ローリングシャッター歪の例（出典：Dicklyon CC BY-SA 4.0 Wikimedia Commons）
グローバルシャッター
一方、CMOSイメージセンサーにおいても、全面一括のシャッター動作であるグローバルシャッター動作を実現した製品があります。そのような製品は、画素回路の工夫により、全面一括のシャッターと全面一括の読み出しを実現しています。これがグローバルシャッター方式のCMOSイメージセンサーです。
すでに商品化されている製品では、全面一括の読み出しといっても全画素からの出力を一度にA／D変換して読み出せるわけではなく、画素内に設けたメモリ部に一度画素から出力される信号を貯めて（グローバル転送）、順次読み出していく方式が一般的です。
グローバルシャッターの例
この例では、time=0でグローバルシャッター動作、time=2でグローバル転送を行い、time=3から1行ずつ信号を読み出していきます。
各シャッター方式の利点と欠点
それぞれのシャッター方式の主な利点と欠点、そしてそれぞれに適したアプリケーションは以下のように考えられます。
- ローリングシャッター方式
- 利点：画素回路を小さくすることができ、HDRやLEDフリッカー（LED Flicker Mitigation：LFM）の低減といった機能を実現することが比較的容易
- 欠点：ローリングシャッター歪が原理的に発生してしまう
- アプリケーション：モバイル、車載、アクションカメラ、デジタルカメラ（メカニカルシャッターと組み合わせる場合もあり）
- グローバルシャッター方式
- 利点：ローリングシャッター歪が発生しない
- 欠点：HDRやLFMの実現や、画素の縮小が困難
- アプリケーション：交通監視、ファクトリーオートメーション、画像検査装置
上記のような利点と欠点を考慮し、使用するアプリケーションによってそれぞれのシャッター方式の製品を正しく選択することが重要です。車載カメラにおいてはHDRやLFMの実現が極めて重要になるため、ティアフォーの車載カメラのイメージセンサーはすべてローリングシャッター方式を採用しています。
今回はイメージセンサーの動作の概略とグローバルシャッターとローリングシャッターについて解説しました。最終回となる次回は、車載カメラのインターフェースについて解説します。
ティアフォーの車載カメラは、最高レベルの性能と信頼性を備え、様々な分野で活用することができます。120 dBのハイダイナミックレンジを実現し、屋外または屋内の環境においても、明るい部分の鮮明さを維持しながら、暗い部分の細部までキャプチャします。「C1カメラ」は、2.5 MPの解像度を持ち、国内外100以上の企業で採用され、様々な用途で高い信頼性を発揮しています。「C2カメラ」は、「C1カメラ」と同じハイダイナミックレンジ機能とLEDフリッカー抑制機能を維持しながら、解像度を2倍の5.4 MPに向上させ、より遠距離での物体認識かつ、広い範囲の画像撮影を可能にしました。これらの車載カメラは、Amazonのティアフォーストアでご購入いただけます。
ティアフォーでは、「自動運転の民主化」というビジョンに共感を持ち、自らそれを実現する意欲に満ち溢れた新しい仲間を募集しています。
多くの職種で採用をしています。詳細は、ティアフォーの「求人ページ」をご覧ください。カジュアル面談をご希望の方は、応募する際に「カジュアル面談希望」と記載してください。
「どの職種で自分の経験を活かせるかが分からない」「希望する職種が見つからない」などの場合は、ぜひ「キャリア登録」をお願いします。
お問い合わせ先
- メディア取材やイベント登壇のご依頼：pr@tier4.jp
- ビジネスや協業のご相談：sales@tier4.jp
ソーシャルメディア
X (Japan/Global) | LinkedIn | Facebook | Instagram | YouTube
関連リンク