HR-VITON用于高分辨率的虚拟装配。
今回ご紹介するのは、高解像度の仮想試着を実現するHR-VITONという技術です。試着条件ジェネレータ(Try-on Condition Generator)を設けることで、従来からあるワーピングとセグメンテーションマップの不整合による歪みを減少させています。
这里介绍的技术是HR-VITON,它能实现高分辨率的虚拟试戴。通过提供一个试戴条件生成器(Try-on Condition Generator),减少了由传统翘曲图和分割图之间的不一致造成的失真。
*この論文は、2022.6に提出されました。
*本论文于2022.6提交。
2.HR-VITONとは?
2.什么是HR-VITON?
従来、仮想試着は衣服の画像を人の体に合わせるワーピングと最終的な画像をガイドするセグメンテーションマップの生成2つによって構成されています。このとき、ワーピングモジュールとセグメンテーションマップは独立して動くため不整合が発生する場合があり、特に体の一部分が衣服を塞ぐとアーティファクト(歪み)が発生していました。
传统上,虚拟试衣由两部分组成:对服装图像进行扭曲以适应人体,并生成一个分割图来指导最终的图像。由于翘曲模块和分割图的工作是相互独立的,因此可能会出现不一致的情况,特别是当身体的某些部分挡住了服装,造成伪影(扭曲)。
そこで、HR-VITONは、人の画像(I)と衣服の画像(c)を前処理(Pre-Process)した上で、試着条件ジェネレータ(Try-on Condition Generator)でワーピングとセグメンテーションマップの生成を融合して行うことでアーティファクトを減少させ、高解像度での仮想試着を実現しています。
因此,HR-VITON对人体图像(I)和服装图像(c)进行预处理,然后使用试穿条件生成器来融合翘曲和分割图的生成,以减少假象,并在此基础上实现虚拟试穿。这就减少了伪影,并能在高分辨率下进行虚拟试穿。
3.コード
3.代码。
コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンク」をクリックし表示されたノートブックの先頭にある**「Colab on Web」**ボタンをクリックすると動かせます。
代码已经以在谷歌Colab上运行的形式上传到Github,所以我将对它进行相应的解释。如果你想自己尝试,点击这个"链接",然后点击出现的笔记本顶部的**'Colab on Web'**按钮。
まず、セットアップを行います。
首先,设置。
#@title #**セットアップ** # githubからコードをコピー ! git clone https://github.com/cedro3/HR-VITON.git %cd HR-VITON # ライブラリーのインストール ! pip install tensorboardX ! pip install torchgeometry # 学習済みパラメータのダウンロード import gdown gdown.download('https://drive.google.com/uc?id=1XJTCdRBOPVgVTmqzhVGFAgMm2NLkw5uQ', 'mtviton_step_100000.pth', quiet=False) gdown.download('https://drive.google.com/uc?id=1BkSA8UJo-6eOkKcXTFOHK80Esc4vBmVC', 'gen_step_110000.pth', quiet=False) # テストデータのダウンロード gdown.download('https://drive.google.com/uc?id=1CcgCubhLc9iF6jGACdUgGhTDWMC7Gjzr', 'test.zip', quiet=False) ! unzip test.zip # 関数のインポート from function import * # warning非表示 import warnings warnings.filterwarnings("ignore") # ダウンロードフォルダ作成 ! mkdir download
#@title #**setup** # copy code from github ! git clone https://github.com/cedro3/HR-VITON.git %cd HR-VITON # 安装库 ! pip install tensorboardX ! pip install torchgeometry # Download learned parameters import gdown gdown.download('https://drive....