[2023年3月版] Stable Diffusionで物体の自動除去

1. Stable Diffusionと物体除去について

これまで、弊社では機械学習による画像加工の自動化について各種検討をしてきました。そんな折に昨年、Stable Diffusionのモデルが一般に公開され、その精度の高さが大いに注目されて話題となりました。最も注目される使い方としては、text-to-imageと呼ばれる「テキストを与えて、それに合う画像を生成する」というもので、この機能を利用したサービスがいくつも誕生したとされています。

また上記とは少し異なりますが、Stable Diffusionにはimage-to-imageと呼ばれる「画像とテキストを与えて、それに合う新しい画像を生成する」機能も備えられています。テキストにより画像のテイストを変えたり、画像の一部を差し替えたりと活用の自由度が高く、こちらも同様に大変優れた機能です。この技術を応用すると、自社にて過去に検討した「画像内の物体を除去する」操作も可能となります。そこで今回、2023年3月現在において最も評価の高いモデルの一つであるStable Diffusionを物体の自動除去に使うことで、過去の検討時点と比較してどのくらいの精度向上が見られるのかを確認しました。なお、自社での当時の検討内容については下記をご参照ください。

2. 検討内容と結果について

処理の対象として、フリー素材であるこちらのインテリア画像を利用しました。この画像に含まれる物体のうち、壁に掛けられた写真、天井から吊り下げられた照明器具、棚に置かれた容器や照明、ソファ上のクッション、テーブルに置かれた花と花瓶をそれぞれ除去してみます。

除去処理を施したものが下の画像です。壁面の影のでき方に少し違和感があるかもしれませんが、比較的自然な仕上がりとなっています。特に、花瓶やクッションで隠れて見えなかった部分については、人間の想像する形に近い補完がなされており驚かされました。この点は、過去の検討時点よりも大きく上回る品質だと言えます。

3. まとめ

今回は、2023年3月時点で最も注目される画像処理の機械学習モデル Stable Diffusion について、画像内の自動物体除去を試してその品質を調査しました。その結果、数年前に自社で作成したモデルよりも精度良く画像が処理され、その品質の高さが確認できました。さらなる精度向上が見込める壁面などの補完については、モデルのFine Tuningが有効であるためこちらの検討結果も随時公開する予定です。