工学院大学 情報学部情報デザイン学科 合志清一教授の研究グループは、ハイビジョンの映像コンテンツを4Kフォーマットのテレビに出力する際の拡大変換に適用可能で、「従来の理論的限界を超える」（合志教授）という超解像技術を開発し、2012年12月12日、報道機関向け説明会でデモを披露した。

　合志教授によれば、旧来の超解像技術は、映像を構成する画像のナイキスト周波数を超える高精細成分は再生できず、それが高精細化の理論的な限界だとされてきた。これに対し工学院大学が提案する独自方式は、簡単な非線形信号処理を施すことでナイキスト周波数を超える高精細成分を作り出す（本稿では以下、この方式を「非線形超解像」と呼ぶ）。既存方式では実現できなかったレベルの高精細化が可能になり、ボケ感のない、くっきりと鮮明な高解像度映像が再生できるのが特徴だという。

対応コンテンツ不在の4Kテレビ、超解像技術に注目

　家電市場では既に薄型テレビの最上位機種として4K対応モデルが登場している。ディスプレイの画素数が約4000×2000と多く、フルハイビジョン（フルHD、約2000×1000画素）の約4倍に相当するモデルである。

　その一方で、4Kフォーマットの映像コンテンツの流通は非常に限られているのが実情だ。テレビ放送も、現時点ではハイビジョンやフルハイビジョンのフォーマットに対応がとどまっており、4K化にはまだ時間がかかる。これが、フルハイビジョンの映像信号を4Kテレビで再生する際の拡大変換で画質を高める超解像技術が注目される理由だ。

従来技術は限界と課題を抱える

　合志教授によると、従来、デジタルハイビジョンテレビなどに用いられてきた高精細化技術には大きく2種類の方法がある。

　1つは、超解像技術が導入される以前に採用されていた手法で、映像を構成する画像中のエッジを検出して強調し、くっきり感を出すというものだ。「エンハンサー」や「アンシャープマスク」として知られる技術である。ただしこれには、エッジを強調し過ぎると粒状のノイズが目立ってしまったり、エッジの周辺にリンギングと呼ばれる波紋状のノイズが生じやすかったりする問題点があった。

　もう1つが旧来の超解像技術で、「再構成型超解像」と呼ばれる手法をとる。消費者向けに現在市販されている4Kテレビでは、例えば東芝の「REGZA（レグザ）」シリーズがこの再構成型超解像技術を採用している。映像を構成する数多くの画像（フレーム）のうち、時間的に近い複数のフレームから解像度の最も高い部分を抜き出して組み合わせ、精細度を高めた1枚のフレームを“再構成”するという方式だ。精細感は高まるものの、元の画像の解像度を超えるような画像は原理的に作り出せない。「元の画像のナイキスト周波数を超える高精細成分は再現していない。従って、処理後の画像が持つ情報の量は、元の画像のままだ。単に、元の画像を大きく引き延ばしたにすぎない」（合志教授）。

　加えて再構成型超解像は、処理を担う回路やソフトウェアが複雑になる課題や、静止画では再構成の材料になる元の画像が1枚しか存在しないので原理的に適用できないという制約もあった。

全ての課題を解決できる

　工学院大学が提案する非線形超解像は、これらの従来方式が抱えていた課題を全て解決できるという。具体的には、ナイキスト周波数を超える、元の画像に存在しない高精細成分を再生することが可能だとする。つまり解像度が向上するという。しかも画像のエッジにノイズが発生しにくく、簡単な回路やソフトウェアで処理可能な上、静止画にも適用できるとした。

　一体、「ナイキスト周波数を超える高精細成分を再生する」とは、どういうことだろうか？

　ナイキスト周波数とは、アナログ画像をデジタル画像に変換する工程で標本化を施す際、サンプリング周波数（標本化間隔の逆数で、解像度に相当する）の1/2に相当する周波数である。元のアナログ画像の周波数成分のうち、ナイキスト周波数を超える成分は、再生時に元の信号として忠実に再現できない。これは標本化定理としてよく知られている。逆に、もしナイキスト周波数を超える成分を何らかの手法で再生できれば、サンプリング周波数を高めたのと同じ効果が得られるわけだ。

　合志教授の研究グループは、拡大後の映像信号に簡単な非線形信号処理を施すことで、ナイキスト周波数を超える成分を再生できることを確認した。具体的には、映像信号を2系統に分割し、一方の低域成分をカットした上で3乗し、さらに強度を調整した後、一定値以下に収まるようにリミッタをかける。その上で、分割したもう一方と足し合わせるという処理だ。この処理の出力信号には、入力の映像信号には含まれないナイキスト周波数を超える成分が含まれる。映像の被写体をカメラで捉えた元々のアナログ画像に無い情報を作り出せるわけではないが、デジタル映像の拡大後の解像度を高める効果が得られるという。なお、この非線形信号処理の詳細については、論文で既に発表済みである（関連論文）。