スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
--年--月--日 | スポンサー広告 | コメント(-)

白黒にしたエロゲ画像をディープラーニングでカラー化するとこうなる

白黒(グレースケール)にしたエロゲの画像を、
ディープラーニングでカラー化してみました。


colorization_01_marge3.jpg



 まずはこちらの記事をご覧ください




一昨日配信された、最近何かと耳にするディープラーニングを使用して、
昔の白黒アニメをカラー化するという試みを紹介した記事です。

これには、Richard Zhangらによって先々月に公開されたシステムが使用されており、
Zhangらが公開している実験結果の画像は、個人的にはかなり驚きのカラー具合です。

・ Colorful Image Colorization
  http://richzhang.github.io/colorization/


さて、アニメのカラー化ができるのであれば、
エロゲの画像でも使えるのかどうか気になるのが人間の性(?)

だったら実際にグレースケールにしたエロゲの画像をカラー化してみようじゃないか

というのが今回の目的です。



 環境構築の際に参考にしたもの


VMware上のUbuntuにCaffeを入れて、システムをJupyterで動かすという感じです。
ほぼ1からの構築だったので、色々とエラーに出くわして大変でした。
エラーを回避できれば、書いてある通りにやれば誰でも使えます。

・ Caffe | Deep Learning Framework
  http://caffe.berkeleyvision.org/

・ Ubuntu 14.04 上での Caffe の導入手順メモ
  http://www.nal.ics.es.osaka-u.ac.jp/personal/k-yamanishi/CaffeUbuntu.html

・ Ubuntu14.04にCaffeをインストール(CPUモード) - Qiita
  http://qiita.com/TD72/items/1bab76e395243defcc06

・ GitHub - richzhang/colorization: Demo code for Colorful Image Colorization.
  https://github.com/richzhang/colorization

・ Jupyter Notebook(IPython)のインストールと始め方 - TASK NOTES
  http://www.task-notes.com/entry/20151129/1448794509



 まず写真で試してみよう


まずは前座にとして、
サキガケ⇒ジェネレーション!聖地巡礼の旅』の際に撮影した写真をカラー化してみます。

左が入力のグレースケールの写真、
中央がディープラーニングによってカラー化された写真、
右が元の写真です。



野尻湖
colorization_02g.jpgcolorization_02p.jpgcolorization_02t.jpg


菅川神社
colorization_03g.jpgcolorization_03p.jpgcolorization_03t.jpg


斑尾山の標識
colorization_05g.jpgcolorization_05p.jpgcolorization_05t.jpg


斑尾山からの眺め
colorization_06g.jpgcolorization_06p.jpgcolorization_06t.jpg


ポストとバス停
colorization_07g.jpgcolorization_07p.jpgcolorization_07t.jpg


いかがでしたでしょうか。

風景に関しては非常に高いクオリティでカラー化できることがわかると思います。
特に空なんか、元の写真より綺麗なんじゃないかと思ってしまう程です。

ダメだったところを指摘するのであれば、標識の写真が緑に溢れすぎているところや、
バス停の色が緑から赤に変わっているところが少し気になるところでしょうか。



 いよいよエロゲの画像でやります・・・が?


さて、本題のエロゲの画像をカラー化してみたなんですが、

最初に言っておきます!
あんまり上手くいきませんでした!orz


正直、最初に載せた『千恋*万花』の画像が一番上手くいってます。
とはいえ、これで終わるわけにはいかないので、カラー化の成果を発表します。


銀色、遥か (tone work's) ベスリー
金髪キャラのはずが銀髪キャラに。服の青色は上手くいっています。
colorization_08g.jpgcolorization_08p.jpgcolorization_08t.jpg



アマツツミ (Purple software) こころ
全体的にかなり上手くいっている方です。
この絵のような暖色系の照明で照らされていたり、夕日が差し込んでいたりする絵は得意らしいです。
colorization_10g.jpgcolorization_10p.jpgcolorization_10t.jpg



アマツツミ (Purple software) 蛍
暖色にカラー化されてしまいました。
全く違った趣きになりましたが、これはこれで・・・あり?
colorization_14g.jpgcolorization_14p.jpgcolorization_14t.jpg



千恋*万花 (ゆずソフト) 芳乃
SD絵でもやってみました。
リボンは良い感じです。壁はなぜか青色に。
colorization_11g.jpgcolorization_11p.jpgcolorization_11t.jpg



花咲ワークスプリング! (SAGA PLANETS) 若葉・柑南
赤チェックのスカートが黒チェックに。黒髪や黒の髪飾りが赤に・・・。逆です。
colorization_12g.jpgcolorization_12p.jpgcolorization_12t.jpg



花咲ワークスプリング! (SAGA PLANETS) ヒカリ
カラー化後の右側は黄色がかってしまいましたが、中央の方はちゃんと肌色になっています。
そして乳首もちゃんとピンクです。
colorization_13g.jpgcolorization_13p.jpgcolorization_13t.jpg



銀色、遥か (tone work's) ベスリー
おちんちんが脅威の再現度だ!
colorization_09g.jpgcolorization_09p.jpgcolorization_09t.jpg



見上げてごらん、夜空の星を FINE DAYS (PULLTOP) ほのか
これまではそこそこ見られるものをピックアップしたのですが、
それ以外の大半はこのように全体が赤や黄色がかってしまいました。
colorization_15g.jpgcolorization_15p.jpgcolorization_15t.jpg




 まとめ


三次元の写真を教師データとして使用したモデルを、二次元に適用することの難しさを実感。
これは三次元の写真に比べて、二次元の画像は特徴点が無さ過ぎるためでしょう。

冒頭に紹介したアニメのカラー化を行っている方は、
最初の作品以外、アニメを教師データとして自作したモデルを使用されているようですし、
こちらもエロゲ画像を教師データとして使用したモデルを自作しろってことですね。
まぁ今後やるかどうかは、乞うご期待というところです。

それから今回一番の驚きだったのは、
二次元の陰部(モザイク有り)や乳首がまともにカラー化できたことです。
教師データにエロ画像も含まれているのでしょうか。


・・・後でちゃんと論文読むか。(完)


関連記事
2016年05月12日 | 未分類 | コメント(0)
コメントの投稿






上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。