【ComfyUI】Qwen Image Edit Style Transfer LoRAで手描きのスケッチを3Dレンダリング風に変換する。

3Dでオリジナルのキャラクターなどをモデリングをする場合、大体はスケッチをまず描いてそれをもとに3Dに起こしていくんですが、やはりどうしても3Dに造形する過程で元のスケッチの自由な線などは失われてしまいます。当たり前ですが絵というのは3次元的には不正確なものだからその誤差が生まれてしまうんですね。そこで元のスケッチの見た目を極力保ったまま３Dレンダリング風に変換する方法がないか調べていました。いろいろ試してはいたんですが、結果的に以下のLoRAを使うことでうまくいきました。

https://huggingface.co/dx8152/Qwen-Image-Edit-2511-Style-Transfer

以下の記事で必要なモデルやワークフローなどは詳しく解説されてます。

https://note.com/kongo_jun/n/nc0476c0807e1

ワークフローはこんな感じになっていて、インプットの左側に元のスケッチを、右側にスタイルのリファレンスを入れる構造になっています。トリガーワードがあるので使用する場合は忘れずに。

"style transfer," and the prompt word is "Change the style of Figure 1 to the style of Figure 2." https://huggingface.co/dx8152/Qwen-Image-Edit-2511-Style-Transfer

使用したスケッチと、リファレンスの3Dレンダリングは過去に自身で制作したものです。このスケッチも「いずれ３Dでしっかり作りたいなー」と思っていたので、自分のスタイルを維持したまま手軽に完成イメージを見ることができるのはありがたいです。

元のスケッチについては色はつけない方がいいかもしれないです。どのみち元の色は維持されないし、色に関しては右側に入力したリファレンスを強く反映するので、白黒の線画のようなものがいいでしょう。多少ガチャ要素があるのでシード値を変えて何回かトライする必要はありますが、概ね求めていたものが出力できました。

ここで出力したものをさらにQwen Image Editを使ってディティールを足したり、アップスケールしたりするのが１つのツール内でできるのがComfyUIの良い所ですね。上の画像は特に色調整などをしていないですが、色を調整するのはPhotoshopなど他のツールを使用した方が簡単かもしれないです。