レンズを使わない革新的カメラでIoTの進化を支える
IoT（Internet of Things）の普及に伴い、場所を選ばず設置できる、これまでにないカメラが求められています。そこで日立は、レンズを使用せずに写真や動画を撮影できる「レンズレスカメラ」を開発しました。
レンズをなくすことで、薄型化・小型化を実現。さらに独自の撮影技術により、処理の高速化と撮影後のピント調整を可能にしました。薄型・小型・高機能を兼ね備えたレンズレスカメラが、これからのIoTの進化を支えます。
田島 和幸（たじま かずゆき）
研究員
佐尾 真侑（さお まゆ）
（2017年10月12日 公開）
田島皆さんが普段お使いのカメラには必ずレンズが付いていますから、不思議に思いますよね。
従来のカメラは、レンズと画像センサーがセットになっていて、レンズで光を集めて被写体の像を結び、画像センサーに投影するという仕組みです。
レンズレスカメラは、レンズの代わりに、縞模様など、特定のパターンが印刷された透過フィルムを使用します。フィルムはレンズのように像を結ぶわけではなく、光がフィルムを通ってできた影を画像センサーに投影するだけ。投影された影はただの縞模様なので、人間の目では何が写っているのかよくわかりません。そのため、影を人間が見える画像に変換する信号処理を行って、撮影画像を復元します。影を投影するという光学の技術と、影を撮影画像に復元するという信号処理の技術を組み合わせている点が、レンズレスカメラの特徴です。
図1 レンズレスカメラの構造
田島IoTが急速に普及する中、日立でもIoT技術の開発に力を入れています。IoT技術の開発では、どうやって物理的な「モノ」の情報を集めるか、という課題があります。例えば「配管の隙間にカメラを置いて細部を調べたい」といった、「これまでカメラを使用できなかった場所でもカメラを使いたい」というニーズが出てきた。カメラを隙間に置くためには、これまで以上に薄くて小さいカメラが必要になる。さまざまな場所に置くためには、生産コストを抑えたい。しかしそれには、分厚くて高価なレンズが邪魔になってしまいます。
時代とともにカメラは高機能化・高画質化されましたが、レンズを使うコンセプト自体は長い間変わっていません。従来とは違う、新しいカメラを開発するためには、レンズへの革新が必要だと考えました。
佐尾レンズの代わりに透過フィルムを使うという、レンズレスカメラの撮影原理そのものは、他社でも研究されています。でも、これまでのレンズレスカメラは、撮影画像を復元する信号処理が複雑で、計算にとても時間が掛かっていました。
IoTで活用するための情報を収集するカメラは、撮影した画像や動画をできるだけ早く届ける必要があります。ですから、レンズをなくして薄型化・小型化を実現するだけでなく、信号処理を簡素化し、高速化する必要もありました。
田島大きく二つの特長があります。一つは、透過フィルムに印刷するパターンを工夫して、信号処理を軽量化・高速化したことです。
処理を軽量・高速にするため、わたしたちは「モアレ縞」というものに着目しました。規則正しい繰り返し模様が重なると、縞模様が現れます。これをモアレ縞といいます。画像や映像などの処理でよく発生する現象です。このモアレ縞を解析すれば、光の方向や角度がわかることに気づきました。
そこで、レンズレスカメラに使用する透過フィルムに、同心円のパターンを印刷することにしました。同心円のパターンを重ね合わせてモアレ縞を発生させ、そのモアレ縞を解析して画像を復元するという仕組みです。
佐尾モアレ縞の解析には、画像や映像などの処理でよく使われている「フーリエ変換」を利用します。すでに普及している解析手法を使うことで、処理に必要な計算量を少なくできました。これまでに開発されたレンズレスカメラより、計算量が1桁、2桁変わるほどです。処理が軽いので、静止画だけでなく、動画も撮影できます。
図2 日立のレンズカメラの撮影原理
田島もう一つの特長は、モアレ縞をデジタル処理で発生させることで、撮影後でも好きな位置にピント調整できる機能を実現したことです。
画像センサーの前に透過フィルムを2枚置けば、モアレ縞のある画像を取得できます。しかしそれでは、特定のピントにおける光の方向や角度しかわからない。そこで、2枚目のフィルムに相当する同心円のパターンを、デジタル処理で重ね合わせることにしました。デジタル処理でパターンの重ね方を変えることで、ピントを自由に変えられるようになりました。しかも計算量が少ないので、リアルタイムで処理できる。動画を撮影しながらでもピントを調整できます。
佐尾どちらも、よく知られた現象や手法を活用したところがポイントです。計算で画像を復元する技術は、コンピュテーショナルフォトグラフィという、いま注目されている技術。コンピュテーショナルフォトグラフィは、とにかく演算が複雑、というイメージが強い。日立の技術は、そのイメージを払拭するものです。
田島それはちょっと、怪しいところがありまして…。まずは1本の線を撮影してみようと、検証機を作って試してみたところ、線がまったく写らなかったんです。
いまなら原因がわかります。例えば原因の一つに、画像センサーと透過フィルムの距離がありました。レンズレスカメラではこの距離が重要で、最適な距離は数ミリメートル。そうでなければまったく写らない。ですが、検証を始めたときはそれがわからず、2センチメートルも離していました。検証機を作っては画像が撮れない…の繰り返し。本当にできるのか…と不安になりました。
ようやく1本の線を撮影できたときは、「おお！」と感動しました。そのときやっと、「できる」と確信できました。
佐尾線を撮影できたあとも、きれいに撮影できるようになるまでは大変そうでしたね。
田島さんたちが撮影原理を検証されているころ、わたしはまだプロジェクトに参加していませんでしたが、撮影された画像を見て、内心、「大丈夫かな」と思っていました。計算で画像を復元することは難しいと知っていましたが、画像があまりにもひどくて…（笑）
田島1本の線を撮影できたので、次に絵画の撮影を試してみたんです。すると、画像がすごく汚い。幽霊みたいな、ぼろぼろの絵になってしまいました。
どうすればきれいに撮影できるのか、ほかのプロジェクトのメンバーとも結果を共有して、何がおかしいのか、みんなで議論を重ねました。みんなの努力で、検討を始めてから約2か月という短期間で社内に研究成果を発表し、1年後にはニュースリリースを出すことができました。
佐尾今回の撮影技術を広く活用できるよう、技術の売り込みにも力を入れました。技術検討を進める一方で、日立グループのいろんな方に「こういうレンズレスカメラの技術があるんですけど、何かに使えませんか」とお話に伺いました。お話する際には、実機でデモンストレーションしました。実際にカメラや撮影結果を見てもらうと、「面白いね」と、より興味を抱いていただけるようでした。
ですから、お客さまに見ていただくデモンストレーション用の実機の作り込みは、とても頑張りました。レンズレスカメラの見た目のポイントは、薄型、小型にできるという点。実験室で撮影する際には、とても大きな画像センサーを使った検証機を使っていたのですが、それをそのままお見せしては、「どこが小型なんだ」と思われてしまう。薄さや小ささをアピールできるカメラになるように、ニュースリリースで公開する実機の製作に注力しました。
図3 ニュースリリースで公開されたレンズレスカメラ
田島予想以上に反響が大きくて驚きました。ニュースリリースを出す前は、見に来ていただけるかな…と思っていたのですが、いざニュースリリースを出してみると、新聞社の方のほかにも、社外のカメラ関係の方、レンズレスカメラに使うフィルムを作っているメーカーの方など、いろんな方から問い合わせがありました。ニュースリリース後の学会発表では、遠方から来てくださる方もたくさんいらっしゃいました。いままで経験したことがないほど大きな反響でした。
佐尾カメラって身近なものなので、興味を持ってくださる方が多かったです。特に、一般の方に興味を持っていただけたというのが、すごくうれしかったです。
田島まずは、レンズレスカメラの技術を製品として皆さんの元へお届けしたい。自分が開発したものが街の電気屋さんに並んでいる、というのが入社前からの夢だったので、その夢を実現したいです。従来のカメラと同じくらいに、このレンズレスカメラを世の中に普及できるようにしていきたいですね。薄型や小型という特長が生かせる用途で、幅広く使われるものになればうれしいです。
コンピュテーショナルフォトグラフィはとても興味深い技術分野で、いままさに伸びているテーマでもあります。レンズレスカメラの経験を生かして、新たな技術を開発していきたいとも思っています。
佐尾レンズレスカメラは、技術的にユニークですごく面白いし、研究していてとても楽しい技術です。わたしも、まずは製品化、サービス化に向けての議論を続けながら、レンズレスカメラの技術自体をレベルアップさせていく研究をしていきたいと思っています。
わたしが入社した年に、今回の研究が始まりました。入社当時は別の研究を担当していたのですが、田島さんたちが研究されている姿を見て、わたしもレンズレスカメラの研究がしたい！と思っていました。幸運にも2年目からプロジェクトに参加でき、そのうえ、こんなに大きな反響をいただける研究成果が出せたことは感動です。
今回の研究は、本当にいろんな方たちから助言をいただいて、みんなで作り上げていったものです。たくさんの方に協力をいただいているプロジェクトなので、皆さんのためにも、頑張っていきたいと思います。
