Stable Diffusionをubuntuで試しました

1.概要

Stable Diffusionの記事をネットで見つけて、ubuntu-22.04で試しました。Stable Diffusionはテキストからの入力で画像やイラストを自動生成するAIモデルです。Deep Learning環境でpytorchになれた方ならばスムーズに実行できると思います。どの程度のことがPCで実現できるか試すために、GPU版とCPU版を試験しました。また、日本語テキスト入力による操作性も確認しました。その内容を記述します。

注意事項

権利侵害の禁止：

他人のイラストや写真を読み込ませたり、有名人の偽画像を作らないこと。

ライセンス確認：

商用利用や配布をする場合は、使用したモデルの規約を必ず確認すること。

禁止表現：

成人向け（NSFW）、暴力、差別、他人が不快になる画像の生成は厳禁。
※ 生成した画像によるトラブルはすべて自己責任となります。

2.詳細

(1) GPU版の検証

環境は以下のとおりです
HW環境は、core i3-7100, nvidia-1050Ti, memory 16GB, SSD 250GBです。
SW環境は、ubuntu-22.04です。当初、ubuntu-20.04で始めたのですが、python3 3.10が必要なため変更しました。

導入手順は以下のとおりです。

(a) nvidia driverインストール
標準のnouveauをdisableにして、下記ドライバーをインストール
$ nvidia-driver-550 - distro non-free recommended

(b) cudaインストール
準備として下記モジュールをインストールします
$ sudo apt -y install curl
$ sudo apt-get -y install git
$ sudo apt -y install python3-pip python3-venv python3-packaging

nvidia-toolkitを導入します
$ sudo apt -y install nvidia-cuda-toolkit

cudaのチェックをするときに、nvccの保存場所が異なるため、copyをします
$ nvcc --version
$ sudo mkdir -p /usr/local/cuda/bin
$ sudo cp -p /usr/bin/nvcc /usr/local/cuda/bin

$ git clone https://github.com/NVIDIA/cuda-samples.git
$ cd ~/cuda-samples/Samples/1_Utilities/deviceQuery
$ SMS=70 make
$ ./deviceQuery
$ cd ~/cuda-samples/Samples/1_Utilities/bandwidthTest
$ SMS=70 make
$ ./bandwidthTest

SMS=70 makeは、GPUの世代に合わせるためのオプション設定です。
設定がないと下記エラーになります。

$ make
/usr/local/cuda/bin/nvcc -ccbin g++ -I../../../Common -m64 --threads 0 --std=c++11 -gencode arch=compute_50,code=sm_50 -gencode arch=compute_52,code=sm_52 -gencode arch=compute_60,code=sm_60 -gencode arch=compute_61,code=sm_61 -gencode arch=compute_70,code=sm_70 -gencode arch=compute_75,code=sm_75 -gencode arch=compute_80,code=sm_80 -gencode arch=compute_86,code=sm_86 -gencode arch=compute_89,code=sm_89 -gencode arch=compute_90,code=sm_90 -gencode arch=compute_90,code=compute_90 -o matrixMul.o -c matrixMul.cu

(c) Stable Diffusionのインストールと起動
$ git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
$ cd ~/stable-diffusion-webui
$ python3 launch.py --lowvram --xformers --listen

何故かstable-diffusion-webui/launch.pyでエラーになります。
Traceback (most recent call last):
  File "/home/nakasima/stable-diffusion-webui/launch.py", line 48, in <module>
    main()
  File "/home/nakasima/stable-diffusion-webui/launch.py", line 44, in main
    start()
  File "/home/nakasima/stable-diffusion-webui/modules/launch_utils.py", line 465, in start
    import webui
  File "/home/nakasima/stable-diffusion-webui/webui.py", line 13, in <module>
    initialize.imports()
  File "/home/nakasima/stable-diffusion-webui/modules/initialize.py", line 15, in imports
    import torch  # noqa: F401
ModuleNotFoundError: No module named 'torch'

下記コマンドを再実行すると処理が再開されます。
$ python3 launch.py --lowvram --xformers --listen

ダウンロードが実行されて、起動します。

(d) GUI利用
Running on local URL:  http://0.0.0.0:7860
の表示が出ているので、ブラウザ(Firefox)から
http://localhost:7860/
でGUIに接続します。

(e) モデルの入手
StableDiffusionはモデルと呼ばれる基本的な画像情報を元に、テキストを入力から画像やイラストを自動生成するAなので、モデルを入手する必要があります。

(2) CPU版の検証

GPUがなくてもCPUだけで実行できます。ただし、速度はかなり落ちます。
(1) GPU版の検証の導入手順からCPU版の場合に必要な手順を記載します。

(c) Stable Diffusionのインストールと起動
(d) GUI利用
(e) モデルの入手

(3)日本語化

テキスト入力のユーザーインターフェイスは英語です。日本語に変えることができます。
Extensionsの設定をします。

stable Diffusionを起動します。
「Extensions」のタブを開き、「Available」のタブを開くと、拡張機能の一覧が表示されます
「ja_JP Localization」という拡張機能があり、右側にある「install」をクリックして、インストールします。

しかし、stable-diffusion-webui-localization-ja_JPのLoadができません。
起動コマンドのオプション設定に問題があると気が付きました

<before>
python3 launch.py --lowvram --xformers --listen
<after>
python3 launch.py --lowvram --xformers

一度、Stable Diffusionを再起動します。
python3のlaunch.pyをctrl-cで終了して、再度起動です。

3.所見

GPU稼働率をnvidia-smiで参照するとGPUは98%の高稼働率でした。nvidia-1050Tiを利用しているので性能は期待できないと思っていたのですが、案外スムーズに動作します。Stable Diffusionは容量が必要な大きなアプリケーションです。nvidiaのdriver、cudaとStableDiffusionで約20GB必要でした。
日本語化をしたのですが、英語によるコマンドの方が沢山存在しているのであまりメリットは無い気がしました。

参考

[本ブログ内参照]
・囲碁AIのlizzieとleela_zeroの組合せをGPUを利用して動作確認しました
・３目並べを利用したAlphaGoの学習 tensorflow-2編

コメント

コメントを投稿

過去30日間に良く読まれた記事

miniPCのBMAXでWindows11のsecure boot設定漏れでトラブル発生

0.推奨 Windows11をプリインストールモデルの状態で利用されている場合は問題になることはありません。Windows11のUSB bootメディアを作成して自分で新規導入したり、Windows10からWindows11へupgradeをした場合。Windows11への移行条件確認が十分でない状態があったのではないかと思います。Windows11で必須要件を満たさずに移行されたWindows11環境がありました。 今回のトラブルでBitLockerの48桁の回復キーがないことが痛手でした。Windows11を利用する上でBitLockerの回復キーは大切に保管が必要です。secure bootを設定するとディスクは暗号化されてしまいます。障害復旧に回復キーは必須です。６月の証明書期限切れで問題が発生して、思わぬ事態にならぬように早めにチェックすること、回復キーを保管することを推奨します。 1.概要 始まりは、参考資料の「6月からパソコンが動かなくなる？」です。miniPCのsecure boot設定をmsinfo32で確認すると「無効」でした。そこで、BIOSの設定でsecure bootをenableに設定して、msinfo32は「有効」になりました。これが暗号化設定と認識不足でした。Windows Updateを実行して証明書の更新を実行すると、Windows Updateのボタンが赤色に変わりました。ここからトラブルです。理解不足で複数のミスが重なり、データを消失。復旧も時間を必要としました。その内容を記述します。 2.詳細 (1) トラブルの始まり ネット記事で、secure boot設定が必要で、６月にPCが動かなくなると思って、BIOS設定を変更したことが始まりです。この変更は、BIOSでSecurityのsecure bootをdisableからenableに変更だけです。Windows11を起動してmsinfo32で有効をチェックして完了。追加としてWindows Updateで証明書の導入をしてからハマりました。 障害の状況は、Windows11自体は普通に使えるのですが、Windows Updateのボタンが赤色。文字も赤字に変わりました。今後、発生するupdate適用ができなくなると認識しました。 (2) GoogleAI(Gemini)に...
続きを読む

Windows95/98のPCゲームをUbuntu/LinuxMintの最新PCで楽しむ方法 ( KVM / Wine / dosbox-x / midi )

1.概要 Ubuntults 24.04のリポジトリを利用するLinuxMint 22.3で、32bitのアプリケーションを楽しむことができるのか整理をしました。今回、仮想環境のKVMでの試験を実施して、KVM,Wine,Dosbox-xの３種類を実施した範囲で、遜色なく利用できるのはDosbox-xだけでした。KVMやWineではサウンド処理関連の互換性がなくなったような気がします。この内容に関して記述します。 注意事項 Windowsの利用にあたっては、Microsoftが定める使用許諾契約（EULA）を遵守する必要があります。ライセンス違反（不正なプロダクトキーの利用、規約外の商用利用など）は違法行為となるため、必ず正規のライセンスを取得・確認した上で操作を行ってください。 2.詳細 (1)KVM環境 KVM環境はRegacyBIOS互換のCSMで試しました。KVM上でWindows98SEは起動します。デバイスマネージャを参照した範囲ではエラーはありませんが、サウンドが想定通りに再生されない点、ディスプレイ表示設定が思うようにならない点がありました。どちらもドライバの問題と思います。構築した環境はUbuntu 22.04まで試験をしていた環境です。仮想ソフト（KVM, VMware, Virtualboxなど）は新しい環境への対応を進める中で古い環境の互換性は保たれなくなっていると感じています。 (a) KVMにWindows98seを導入 Windows98の仮想マシンを作成（サポート期間が切れたOSを選択） Memory=128MB、CPU=1、Disk=0.5GBを選択 インストールの前に設定をカスタマイズするを選択 ブートオプション：IDE CD-ROMにチェック CD-ROM bootのため、IDE ディスクとIDE CR-ROMの順番を入替える サウンド ich6：sb16を上書設定 ビデオ QXL：cirrusを上書設定 CD-ROM boot後、CD-ROMサポート付きmsdosを利用して、fdiskでCドライブを作成 再度、上記構成で再起動をして、d:\win98にてformat c:を実行してfat16で初期化 d:\win98のsetupを実行して導入 (2)Wine環境 Wine 11.8で試験をしました。 ディスプレイ表示は普通に使...
続きを読む

LinuxMint/ubuntuにWine 11導入を試しました ( LinuxMint 21.3 / 22.3 ubuntu 22.04 / 26.04 Wine 11.0 / 11.6 / 11.8 / 11.13 )

1.概要 Wine 11.0がリリースされました。メジャーアップデートで「Wine 11.0 6300以上の変更と600件以上の不具合修正を反映」と記載されています。早速、試してみることにしました。少し前にWinBoatを導入したことと比較すると、とても簡単でミスをすることはありません。しかし、Windowsのアプリを動かす意味を考え直すことになりました。 ubuntu desktop 26.04をKVM環境で評価しているので、Wine 11.13(最新版)導入を試しました。手順はWikiに記載されている手順で問題なく実施できます。詳細手順は、4.追加に記載します。 2.詳細 環境は、intel i3, Memory 16GBのPCにLinuxMint-21.3を新規導入しました。 Wine 11.0の導入手順を見つけるのに少し手間取りましたが、Wiki/Debian-Ubuntuに詳しく記載されています。 その手順に沿って作業を実施しました。 $ cat /etc/os-release $ sudo mkdir -pm755 /etc/apt/keyrings $ wget -O - https://dl.winehq.org/wine-builds/winehq.key | sudo gpg --dearmor -o /etc/apt/keyrings/winehq-archive.key - $ sudo dpkg --add-architecture i386 $ sudo wget -NP /etc/apt/sources.list.d/ https://dl.winehq.org/wine-builds/ubuntu/dists/jammy/winehq-jammy.sources $ sudo apt update $ sudo apt install --install-recommends winehq-stable $ wine --version $ sudo apt install winetricks $ winetricks cjkfonts $ winetricks --version 上記手順でWine 11.0の導入が終わります。３分間程度なので負担はありません。日本語環境も導入しました。 何をしようかと考えて、動かしたいWindo...
続きを読む