【Stable Diffusion】SDXL系・Pony系って何?使い方をわかりやすく解説
「Stable Diffusion」でSDXL系やPony系という言葉が最近よく聞かれるようになりました。
これらのモデルを使うと、プロンプトがこちらの指定通りに動いてくれやすかったり、通常より高画質できれいな画像が作れたりと、いろいろメリットがあります。1段上の画像生成をしたい方は学んでおいたほうがいいでしょう。
まあ、その通りですね。VRAM12G以上が推奨されていますが、Xformatを書き込むところに「–medvram」をつけておけば3060を積んだノートPCでも動きました。
今回の記事は、Stable Diffusionがすでにローカル環境にインストールされており、ある程度使いこなせることを前提で話していきます。
Stable Diffusionのインストール自体がわからんとか、使い方がわからんという人はこちらから学んでいってください。
それでは見ていきましょう。
SDXL系・Pony系とは?導入準備
そもそもSDXL系やPony系ってなんぞやという話ですが、いまStable Diffusion(以下「SD」)をつかっている方は、SD1.5系です。
そのSD1.5の上位がSDXL系で、そのSDXL系から派生したのがPony系と考えてください。そのためPony系もSDXL系のモデルです。
導入方法
インストールとかはありません。他のモデル(チェックポイント)と同じように、SDをインストールしたフォルダの
stable-diffusion-webui\models\Stable-diffusion
に使いたいSDXL系やPony系のモデルを放り込むだけです。SDXL系やPony系のモデルはいろいろ種類があるので、あとで紹介します。
それでSDを起動させてモデル(チェックポイント)の種類を変更するだけです。
そういうことですが、ただちょっと注意があって、VAEには専用のものを使わなくてはなりません。
そうですね。それをSDXL系・Pony系用に変更するということです。
モデルは人によって使いたいものが違いますが、VAEは共通なのでまずダウンロードしておきましょう。
https://huggingface.co/stabilityai/sdxl-vae/blob/main/sdxl_vae.safetensors
上のサイトに「download」のボタンがあるので、それを押してダウンロードします。
それからダウンロードしたものをVAE置き場である
stable-diffusion-webui\models\VAE
に放り込んでおきます。
あとはSDを起動したあとに、VAEを「sdxl-vae」に変更しておくだけです。
画質を上げる
導入に際して、さらに画質を上げるために「Refinerモデル」を導入します(面倒だったらとばしてもいいです)。
からダウンロードして、モデルをおいている
stable-diffusion-webui\models\Stable-diffusion
に入れてください。
あとはSD起動後に、「Refiner」にチェックを入れて、「sd_xl_refiner_1.0」を選択すればOKです。
モデルを導入
ここからはモデルの導入です。「CIVITAI」のサイトで好きなのを選べばいいでしょう。
今回は人気のあるSDXL系のアニメモデル「Animagine XL」を紹介しておきます。とりあえずここからはじめるのがいいでしょう。
Animagine XL V3.1
https://civitai.com/models/260267
Pony系のほうも人気のアニメモデル「Pony Diffusion V6 XL」を使います。
Pony Diffusion V6 XL
https://civitai.com/models/257749
とりあえずよくつかわれているこの2つのモデルを落としておきましょう。記事後半に他のモデルも紹介します。
そうですね。SDXL系のモデルは容量が6G 以上あるのがほとんどです。気長にダウンロードを待ちましょう。
落としたあとは、いつものごとくモデル収納庫の
stable-diffusion-webui\models\Stable-diffusion
に入れてください。
negativeXL_Dの導入
SDXL系ではEasyNegativeが使えないので、専用の「negativeXL_D」を導入します(EasyNegativeって何?という人はこちらの記事を参照)。必要がなければとばしてもいいです。
https://civitai.com/models/118418/negativexl
ここからファイルを落として、EasyNegativeを入れている
stable-diffusion-webui\embeddings
のフォルダに放り込んでおきます。
使い方はEasyNegativeと同じで、ネガティブプロンプトに「negativeXL_D」と記入しておくだけです。
SDXL系用ControllNETモデルの導入
これまでのControllNETモデルは使っても効きませんので、専用のControll NETモデルを導入します(必要がなければとばしてください)。
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
ここから必要なものだけを落としてください。ControllNETがなにかわからない人はこちらの記事から。
LoRAについて
これまでのSD1.5環境で使っていたLoRAは使えないと思ってください。
SDXL系やPony系専用のLoRAをさがして、以前とおなじようにLoRAフォルダに放り込んでおけばいいでしょう。「CIVITAI」なら何用のLoRAなのか書いています。逆にSDXL系やPony系のLoRAは、それらのモデル以外では使えないということですね。
ここまでで準備は完了です。
SDXL系・Pony系の使い方
SDXL系の使い方
SDを起動したら、まずは画面上部の「Stable Diffusion checkpoint」を先ほどダウンロードした「Animagine XL V3.1」に変更します。
それからその右側にあるVAEを「sdxl-vae」に変更します。(以前まで使っていたモデルを使う場合は、VAEをもとに戻すのを忘れずに!画像が変になります)
あとは「Refiner」にチェックを入れて、Checkpointに「sd_xl_refiner_1.0」を選んでください。
プロンプトのテンプレートですが、
masterpiece, best quality,
をとりあえず入れておけばいいでしょう。
ネガティブプロンプトのほうは、
negativeXL_D,nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, artist name
をそのまま張り付けてください。
あとサンプラーですが「Euler a」にしてください(モデルによっては「DPM++ SDE Karras」が推奨の場合もあります)。
それと解像度は「1024×1024」がデフォルトです。この解像度でトレーニングしています。
ほかの推奨解像度は以下のとおりです。
1024 x 1024 (1:1)
1152 x 896 (9:7)
896 x 1152 (7:9)
1216 x 832 (19:13)
832 x 1216 (13:19)
1344 x 768 (7:4)
768 x 1344 (4:7)
1536 x 640 (12:5)
640 x 1536 (5:12)
「Sampling steps」は30以下でお願いします。25ぐらいでいいでしょう。
これで準備OKです。
あとはプロンプトに「1 girl」とか「 1 cat」とかいつものように書いていけばいいです。
LoRAを使いたい場合は、前述のようにこれまでのものは使えませんので、「CIVITAI」でSDXL用のLoRAをさがしてください。使い方(プロンプトの記述の仕方)はおなじです。
Pony系の使い方
ちょっと特殊なのが、このPony系です。
まずモデルを先ほどダウンロードした「Pony Diffusion V6 XL」に変更してください。
そしてプロンプトの記述ですが、テンプレートとしてはポジティブプロンプトに
score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up,
を入れてください。それから好きなものを記述してください。
いわゆるこれまで「masterpiece, best quality」とか書いてきたものが、Pony系だとこういう記述になってしまうのですね。
「score_9」とか「score_8」いうのは品質90%,80%という意味で、ようするにbest qualityを指定する記述です。
品質の高い物だけにしたければ、「score_9, score_8_up, score_7_up」だけにしておくという手もあります。そして他のものをネガティブプロンプトに放り込むといった感じですね。
他にも必要であれば、以下のものを書き加えるといいでしょう。
source_pony 「マイリトルポニー」の画像
source_furry ケモノ系の画像
source_cartoon カトゥーン系画像
source_anime アニメ系画像
rating_safe 安全な画像
rating_questionable ちょっとどうかという画像
rating_explicit どうなのかという画像
もともとPony系は「マイリトルポニー」の画像を生成するために開発された経緯があります。逆にこれを「ネガティブプロンプト」に入れて、影響を小さくするということもできます。
アニメ系画像を作りたいなら「source_anime」を加えておけばいいでしょう。
ネガティブプロンプトのほうですが、とくになにも記述しなくていいようです。不安な方は、先ほどのSDXL用のネガティブプロンプトを貼り付けておけばいいでしょう。
解像度は先ほどのSDXL系とおなじく1024×1024がデフォです。先ほどの解像度一覧から選んでください。
VAEはさっきとおなじで「sdxl-vae」、Refinerも「sd_xl_refiner_1.0」、サンプラーも「Euler a」です。
あとは「Sampling steps」は25、「Clip skip」は2を設定してください。
無い場合は「Settings」のタブから、左側の「User interface」を選択し、「Quicksettings list」に「CLIP」と打ち込めば一覧から「CLIP_stop_last_layer」が出てくるのでそれを選択。あとは上の「Apply Settings」ボタンを押してからその右の「Reload UI」ボタンを押して再起動すればOKです。VAE選択の右側に「Clip skip」が出てきますので、それを2にすればよいでしょう。
ここまでで準備完了です。あとはプロンプトにいろいろ書き込んで、いつものように生成すればよいかと。
LoRAを使いたい場合は、これまでのものは使えませんので、「CIVITAI」でPony用のLoRAをさがしてください。使い方(プロンプトの記述の仕方)はおなじです。
まとめとおすすめモデル
とりあえずここまででSDXL系・Pony系は使えるようになったと思います。
あとは自分で必要なモデルを探してくればよいでしょう。
今回紹介したのはアニメ系なので、実写系モデルをいくつか紹介します。商用利用などについては規則があるので、それぞれのモデルの説明に従ってください。ただ実写系モデルはなんか絵画的になってしまうので、扱いが難しいですね。
SDXLモデル
Juggernaut XL(人・動物・風景など汎用性が高い)
https://civitai.com/models/133005
(おすすめ設定)
解像度: 832*1216
サンプラー: DPM++ 2M SDE
Sampling step: 30~40
CFG Scale: 3~6
VAEは組み込まれています。
AfterRealXL(グラビア系向き)
https://civitai.com/models/150212/afterrealxl
(おすすめ設定)
サンプラー: DPM++ 2M SDE
Sampling step:30~60
CFG Scale:5を基本とし、2~7
DreamShaper XL(ファンタジー系)
https://civitai.com/models/112902/dreamshaper-xl
(おすすめ設定)
Sampler: DPM++ SDE Karras
Sampling step:30~60
CFG Scale:5を基本とし、2~7
VAEは組み込まれています。
SDXL 1.0 ArienMixXL(アジア系)
https://civitai.com/models/118913
(おすすめ設定)
解像度:1200×900,1024×768,1280×768,1356×1024,1536×1024
Sampler: DPM++ 3M SDE Karras
Sampling step:50~150
VAEは組み込まれています。
Pony系モデル
real pony
https://civitai.com/models/365041/real-pony
MinkiePie pony mix(グラビア系?)
https://civitai.com/models/457669
(おすすめ設定)
CFG scale:10
mimic cfg scale:3~7
XXMix_9realisticSDXL(アジア系)
https://civitai.com/models/124421
(おすすめ設定)
解像度: 1024*1024(これ以外だとエラーが起こりやすいらしい)
Sampling step:30
CFG scale:8~10
WAI-REAL_CN(中華系)
https://civitai.com/models/469902/wai-realcn
(おすすめ設定)
Sampling step:30
CFG scale:7
YaminabePony(グラビア系)
https://civitai.com/models/409856/yaminabepony
材料に何が含まれているかわからないので商用利用不可。
SEMImergeij(実写とCGの中間)
https://civitai.com/models/736323
Speciosa 2.5D(実写とCGの中間)
https://civitai.com/models/560402
Speciosa Realistica(上記の実写系)
https://civitai.com/models/488361
こういうのはどんどんデータが大きくなっていきますね。
しかしSDXLやPony系にしたからといって、つくりたい画像がつくれるかというのはまた別の話なので、自分自身がつかいやすい環境でやるのがいいとは思います。