かつては1時間の番組を25名体制により3ヵ月で彩色
――AIによって自動化するまで、モノクロ映像のカラー化は全て手作業で行っていたのですよね。1枚1枚の静止画に彩色していくわけですから、膨大な作業量です。
伊佐早 AIを使うまでは全て人手で彩色していました。カラー化の際に使用したモノクロ映像はほとんどが1秒間24枚の静止画で構成されていました。その1枚1枚について、画像を構成する1つ1つのパーツごとに色を付ける範囲を指定し、そこに彩色するといった具合に進めていました。1人の人物を彩色する場合でも、顔や服、靴などそれぞれの部位によって色が異なります。また、静止画なら1枚で済みますが、動画はこれが連なることによって成り立つので、1枚ずつ再生して不自然なところはないかを繰り返し確認しながらカラー化していきます。全体的に何となく色を付けることは簡単なのですが、当時を知る方も映像をご覧になるので、色の付け方に間違いがあってはいけません。正確な色を付けるための考証にも多くの時間をかけます。
――そもそも、モノクロ映像しかない状況で、実際の色をどうやって知るのですか。
伊佐早 モノクロ映像からは、元の色の情報は得られません。しかし、当時の雑誌や絵ハガキに色のヒントがあったり、大相撲なら両国国技館のスタッフの方が資料をお持ちだったりします。そのほか、専門家の意見に基づいた考証から最初に色の設計を行って彩色作業に入ります。リアリティを突き詰めようとすれば色の正確性が非常に重要となるため、「説得力のある色をどう作るか」がモノクロ映像のカラー化では最も重要なテーマだと考えています。
――考証と色設計が終わると、ようやく彩色に入るわけですが、この作業は何名くらいのスタッフで行われていたのですか。
伊佐早 映像の長さによって異なりますが、1時間の番組を作るために25名体制で3ヵ月作業したこともあります。1枚1枚の静止画をカラー化する際には、どこにどう彩色すれば適度なカラー画に見えるかといった絵心が必要です。そうした心得のあるデザイナーに作業をお願いしています。
――高い専門性と大変な手間、時間がかかるのですね。
伊佐早 はい。多くの手間と時間がかかるため、番組を企画する側からは、もっと期間と制作費を抑えられないかという相談を常々受けていました。また、戦争の映像などはショッキングなものが多く、それを彩色のために同じ担当者が何日間も見続けるのは精神的に大きな負担がかかります。そうした負担や期間、コストを減らすためにも、コンピュータを使った自動化ができないかと考えていたのです。
ともに試行錯誤して「映像の彩色に特化したAI」を開発
――そのようにして大変な手間と時間をかけて行っていた作業をAIによって自動化されたわけですが、彩色のやり方はどう変わりましたか。
柳原 考証を行って色の設計を行い、専門家が初めの1枚～数枚を彩色するところまではこれまでと同じですが、その後に連続する静止画を彩色していく作業をAIが行います。具体的には、彩色した最初の1枚～数枚の静止画をAIに読み込んで学習させ、さらに人が映っている映像ならば、人がどう動作するのかも映像によってある程度学習させておきます。そのうえで、後続の静止画を読み込ませると、最初の色を参考にしながらAIが自ら判断して彩色していくのです。
――『ローマの休日』をカラー化した際は全てがセピア調に彩色されてしまったとのことですが、考証を行って彩色した静止画を与えることで、彩色も正しく行われるようになったということですか。
柳原 実は当時とは大きく手法を変えました。AIによるディープラーニングの手法は日々進化しており、最適なやり方はどんどん変わっています。『ローマの休日』をカラー化した際は、汎用的なAIを使って大量の静止画をいったんモノクロに変換し、それを再びカラーに戻すという手法を使いましたが、その結果、映像のほとんどがセピア調に彩色されてしまいました。今回は、数枚の静止画から短時間で4K品質の放送で使える映像を作るために、インプットからアウトプットまで、全てのやり方を変えています。
伊佐早 番組制作側としては、モノクロ画像をカラー化する際、人の髪や服、肌、頭巾などの色がきちんと塗り分けられているだけでは不十分で、「この頭巾は赤色」など、私たちが考証を行ったうえで決めた色を確実に付けられることが必要です。汎用的なAIではそれができず、赤色にしたい頭巾が紫色に塗られてしまったりします。あるいは、制作ディレクターから「この時代の長官が乗っていたクルマは艶のある黒色だったので、その色を付けたい」と注文を受けても、クルマはさまざまな色がありうるため、汎用的なAIで試してみるとグレーに彩色されてしまったりします。これでは、当時を知る方々が観てリアリティを感じられませんし、だからといってAIが付けた色を人が手作業で直していたのではAIを使う意義が薄れてしまいます。そのため、意図した色を各部分に確実に彩色するための手法を新たに開発していただきました。
