明治から昭和にかけて撮影されたモノクロ映像を入念な考証を経てカラー化する作業をAIによって自動化し、当時の人々や生活の様子を生き生きと再現する――そんな試みが日本放送協会（NHK）の美術制作を担うNHKアートとRidge-i（リッジアイ）によって進められている。すでに番組制作でも利用され、視聴者から大きな反響が寄せられている。プロジェクトの狙いと成果について、NHKアートの伊佐早さつき氏、Ridge-i 代表取締役社長の柳原尚史氏に聞いた。
短期間でカラー化技術を開発し、映像制作に活用
――お二人は、これまで専門家が膨大な手間と時間をかけて1枚1枚の静止画を彩色することによって実現していた「モノクロ映像のカラー化」を、AIによって自動化するプロジェクトを推進されています。この取り組みを始めたきっかけを教えてください。
NHKアート 総合美術センター
デジタルデザイン部 CG映像 CGデザイナー
NHKアート 伊佐早さつき氏（以下、敬称略） 当社は、NHKが制作する番組のセットなどのリアルなものからCGなどのデジタルなものまで、総合的な美術制作を行っています。その中で、明治から昭和にかけて撮影されたモノクロ映像をより分かりやすくお伝えするためにカラー化するという作業が多く発生します。人手と時間のかかる大変な作業ですが、これをどうにかして効率化／自動化できないかと思案していたところ、Ridge-iさんの取り組みを知りました。
Ridge-i 柳原尚史氏（以下、敬称略） Ridge-iでは、企業のさまざまなビジネスにおけるAIの活用をご支援しています。ただ、AIがどのように皆様のお役に立つのかをご説明するのは意外と難しいのです。日頃から「AIにしかできない処理を、どうすればわかりやすくプレゼンテーションできるか」を考えていたのですが、その中でモノクロ映像のカラー化を思いつきました。そして2016年1月に、映画『ローマの休日』の一部を個人的にカラー化して公開したところ、それをご覧になったNHKアートさんより「モノクロ映像を彩色する工程をAI／ディープラーニングなどの先端技術を使って効率化／自動化できないかと」とご相談を受けたのがきっかけです。
――柳原さんは、なぜモノクロ映像のカラー化をテーマに選ばれたのですか。
Ridge-i 代表取締役社長
柳原 モノクロ映像では、人の肌の色や空の色は、白黒の値としてはほとんど同じ色になります。したがって、「この値の色は、この色に変換する」という単純なルールに基づく変換（ルールベース変換）では、人肌と空の色は塗り分けられません。しかし、ディープラーニング技術を使うと、それぞれの白黒の値がどういった特徴を持つ領域かをAIに学ばせ、両者を違う色に塗り分けられます。これはAIならではの処理のデモンストレーションに最適だと考えチャレンジしました。
ただし、当時作った映像は、番組などで使う商用レベルにはほど遠いものでした。例えば、服はさまざまな色がありうるため、何色を付けても正解になってしまいます。そうすると、AIは服と認識したもの全てにセピア色を付けてしまうのです。そこで、これを商用映像などビジネスの世界で実用化するにはどういう工夫が必要かを考えている際にNHKアートさんよりお声掛けいただき、現場のプロフェッショナルがどういう機能を必要としており、私たちがどんな技術を提供できるかといった相談を始めました。
伊佐早 相談を始めたのは2016年10月頃で、翌年1月より「どういう手法で実現できるか」「何枚くらいのサンプルをAIに与えればディープラーニングによって自動的に彩色できるか」「どのくらいの手間で、どのくらい自動化できれば採算が得られるか」など、実用化も見据えた具体的な検討を開始しました。その途中で急遽、大相撲の取り組みのモノクロ映像をカラー化して放映するという企画が舞い込んできました。この企画に私たちが練っていたAIによる彩色を使ってみようと4月から本格的な技術開発に着手し、2017年5月21日放送のNHK大相撲中継の中でAIを用いたカラー化映像を初放映しました。これには大きな反響をいただき、もっと本格的に使ってみようということになり、2017年8月20日放送のNHKスペシャル『戦後ゼロ年 東京ブラックホール 1945-1946』では、終戦当時のさまざまなモノクロ映像をカラー化して放映しています。
――技術開発から映像制作まで、非常に短期間で行われたのですね。
柳原 検討期間が約3ヵ月、実際の開発期間は約1ヵ月ですから、確かに急ピッチです。大変でしたが、やはりいつまでに完成させるというタイムラインが明確になったほうが一気に密度濃く開発に当たれるので、良いタイミングだったと思います。
