LinuxMintでFirecrackerでmicroVMを試してみた

1.概要

microVMのFirecrackerを試しました。AWS Fargateで利用されている技術です。
loginできないDocker Container環境だと認識していましたが、
正しい内容とその仕組みを知る機会となりました。この内容を記述します。

2.詳細

(1) ネット情報で基礎知識を取得

下記資料がすべてを示しています。

Firecracker
https://firecracker-microvm.github.io/

KVM環境の上に、microVMを複数動作させ、そこでContainerを動かす仕組みのようです。
実際にmicroVMを起動すると100MB程度のメモリで動作しています。

試験環境はIntel i3, Memory 16GB, SSD 256GB, LinuxMint 22.3を利用しました。

手順は上記URLの下の方の下記部分にあります。
Announcing the Firecracker Open Source Technology
手順の記述内容に一部誤り（curl -L => curl -L -Oなど)があり、
下記参考資料を参照して実行します。
私はhome dicrectoryにfirecracker directryを作成して作業しました

Firecrackerをさわって大量のmicroVMを立ち上げてみた
https://dev.classmethod.jp/articles/reinvent2018-try-firecracker/

また、LinuxMint 22.3は/dev/kvmの権限設定は既定値で設定済みでした。

(a) firecrackerのdownload

curl -L -O https://github.com/firecracker-microvm/firecracker/releases/download/v0.11.0/firecracker-v0.11.0
chmod +x firecracker-v0.11.0

(b) Linux kernelとroot filesystemのdownload

curl -fsSL -o hello-vmlinux.bin https://s3.amazonaws.com/spec.ccfc.min/img/hello/kernel/hello-vmlinux.bin
curl -fsSL -o hello-rootfs.ext4 https://s3.amazonaws.com/spec.ccfc.min/img/hello/fsfiles/hello-rootfs.ext4

(c) LinuxMint 22.3は/dev/kvmの権限設定は既定値で設定済みで、OKになります

[ -r /dev/kvm ] && [ -w /dev/kvm ] && echo "OK" || echo "FAIL"

(d) Firecracker起動

./firecracker-v0.11.0 --api-sock /tmp/firecracker.sock

(e) ゲストカーネルのセッティング

ここからは別のterminalで作業です

curl --unix-socket /tmp/firecracker.sock -i \
    -X PUT 'http://localhost/boot-source'   \
    -H 'Accept: application/json'           \
    -H 'Content-Type: application/json'     \
    -d '{
        "kernel_image_path": "./hello-vmlinux.bin",
        "boot_args": "console=ttyS0 reboot=k panic=1 pci=off"
    }'

(f) ルートファイルシステムをセッティング

curl --unix-socket /tmp/firecracker.sock -i \
    -X PUT 'http://localhost/drives/rootfs' \
    -H 'Accept: application/json'           \
    -H 'Content-Type: application/json'     \
    -d '{
        "drive_id": "rootfs",
        "path_on_host": "./hello-rootfs.ext4",
        "is_root_device": true,
        "is_read_only": false
    }'

(g) InstanceStartアクション

curl --unix-socket /tmp/firecracker.sock -i \
    -X PUT 'http://localhost/actions'       \
    -H  'Accept: application/json'          \
    -H  'Content-Type: application/json'    \
    -d '{
        "action_type": "InstanceStart"
     }'

(h) login

最初のterminalでmicroVMが起動され、loginできます。
User/Passwordはroot/rootです

(i) 停止

login状態でrebootコマンドを入力すると終了します

(j) 複数起動

MAX=1000
echo "$MAX"
for NUM in $(seq 1 ${MAX})
do
echo "$NUM"
./firecracker-v0.11.0 --api-sock /tmp/firecracker-${NUM}.sock &
done

不安だったので、10, 100, 1000と順番にチャレンジしました。
1000個起動しても何も問題起きません。
Memoryも大量消費することなく、単にプロセスが定義されただけの状態のようです。
しかし、一度プロセス起動をすると、rebootしないと次の試験はできません。

限界挑戦で10000を指定すると、9806でPanic occurredで終了
9805
9806
[:ERROR:src/main.rs:50] Panic occurred: PanicInfo { payload: Any, message: Some(VMM thread spawn failed.: Os { code: 11, kind: WouldBlock, message: "Resource temporarily unavailable" }), location: Location { file: "libcore/result.rs", line: 1009, col: 5 } }

(2) Firecracker-v1.15.0にupgradeして動作確認しました

前回のFirecraker動作検証はWebサイトの記述に沿って実施しました。Firecraker-v0.11.0で、GoogleAIからVersionUpが必要と指摘を受けて、Firecracker-v1.15.0にupgradeしました。このVersionでは、config.jsonを利用することでcurlの処理を簡素化できます。その内容を記述します。

Firecrakerの最新版を下記URLからDownloadします。
https://github.com/firecracker-microvm/firecracker/releases
firecracker-v1.15.0-x86_64.tgz 
上記ファイルを選択して、firecracker-v1.15.0-x86_64を取り出します。

次に、config-fileをconfig.jsonの名前で作成します。
記述内容は前回のcurlコマンドをベースにしました。

{
  "boot-source": {
    "kernel_image_path": "hello-vmlinux.bin",
    "boot_args": "console=ttyS0 reboot=k panic=1 pci=off root=/dev/vda1 rw"
  },
  "drives": [
     {
     "drive_id": "rootfs",
     "path_on_host": "hello-rootfs.ext4",
     "is_root_device": true,
     "is_read_only": false
     }
  ],
  "machine-config": {
     "vcpu_count": 1,
     "mem_size_mib": 256,
     "smt": false
  }
}

まず、作成した/tmp/firecracker.sockを削除します。
$ rm -f /tmp/firecracker.sock

実行します。
$ ./firecracker-v1.15.0-x86_64 --config-file config.json --api-sock /tmp/firecracker.sock

Terminalは１台で実行でき、microVMへloginできます。

(3) Slackware64-15.0を仮想環境と物理環境に導入してみた

Firecrackerを利用してmicroVMを学び、独自microVMを作成できないかと思いました。早速、GoogleAIに尋ねるとSlackwareのboot-disk,root-diskの考え方を利用するとのこと。boot-diskはkernelで、root-diskが必要なfile systemです。そこで、まず、Slackware64-15.0を導入してみました。その内容を記述します。

Slackwareは最初に利用したLinux Distributionで使い勝手はわかっているつもりでした。現在利用しているmbm039のmulti-boot環境に導入することは簡単でないと直感したので、最初に、KVM環境の仮想マシンとしてSlackware64-15.0の導入をしました。

導入後、再起動ををすると仮想マシンのCPUは100%ですが、起動しません。Slackwrae-15.0(32bit版)でも試してみましたが、同じ状況です。

LILOのboot-loaderをExpertで設定したことで、何か問題ある設定をしたのだと思います。ネットを検索して、参考資料を見つけました。LILO設定をSimpleでSlackware64-15.0導入して、起動できました。

※Expertで過去に何度も実施しているので、何か変わったのかもしれません。LILO起動画面がGUI表示になっていたのでチョット驚きでした。

更にネットを検索して、grubをboot-loaderに変更する参考資料を見つけました。systemrescueで起動して、/dev/vdaのboot-loaderをLILOからgrubに変えます。仮想ディスクなのでMBR領域にGrubを導入します。

仮想環境で学習した内容を物理環境に適用します。同じやり方でMBRディスクのパーティション(/dev/sdc2)にSlackware64-15.0を導入。導入時にLILOの導入をスキップして、installを終了します。この状態では起動できません。

次に、systemrescueで起動して、boot-loaderを設定します。こちらはgrubを/dev/sdc2のPBRに導入します。これで、mbm039のmulti-boot環境にSlackware64-15.0を参加させました。

IPを設定して、slackpkgを利用してupdate,upgrade-allまで実行。rebootすると起動できません。kernelが変わったので設定変更が必要です。もう一度、grubを/dev/sdc2のPBRに再度導入して、mbm039からmulti-bootできました。

(4) Firecrakerで自作Slackware microVM動作に挑戦

自作microVMをSlackwareで構築できないかを検討しています。作成したmicroVMはFirecrackerで動かすことを考えています。microVMを作成するには、boot-diskとroot-diskが必要です。今回はSlackware64-15.0を利用してminimal root diskを作る手段を検討してみました。

ネットを調べて簡単に実現できそうなroot-disk部分を試してみました。

(a)Slackware-Minimal Install

最初に見つけた資料です。SlackwareのVersion記述が曖昧ですが、
文面にあるSlackware64-13.37で試しました。

dfコマンドでディスク使用量を確認すると527MB
起動時のmemory使用量は90MB
kernel-2.6です。

なお、同じ選択でSlackware64-14.2, Slackware64-15.0は起動しますが、loginできません。

(b)sagredo-dev/Slackware-minimal

次に見つけた資料です。
選択項目のリストを見て、前述内容よりも大きくなると思えたので、
Slackware64-15.0でPKG_LIST-all-minimal-a-ap-d-l-nを試しました

dfコマンドでディスク使用量を確認すると8GB
起動時のmemory使用量は109MB
kernel-5.15です

(c)Slackware64-15.0を(a)に極限に近づけてみました

(a)にaのREQUIREなどを追加、kernel-firmawareを削除

dfコマンドでディスク使用量を確認すると645MB
起動時のmemory使用量は96MB
kernel-5.15です

3.所見

aws ECS fargateの基盤を理解できたと思います。Firecrackerを利用して、自分で構築したmicroVMを起動させる準備の勉強はできたと思います。

参考

コメント

コメントを投稿

過去30日間に良く読まれた記事

miniPCのBMAXでWindows11のsecure boot設定漏れでトラブル発生

0.推奨 Windows11をプリインストールモデルの状態で利用されている場合は問題になることはありません。Windows11のUSB bootメディアを作成して自分で新規導入したり、Windows10からWindows11へupgradeをした場合。Windows11への移行条件確認が十分でない状態があったのではないかと思います。Windows11で必須要件を満たさずに移行されたWindows11環境がありました。 今回のトラブルでBitLockerの48桁の回復キーがないことが痛手でした。Windows11を利用する上でBitLockerの回復キーは大切に保管が必要です。secure bootを設定するとディスクは暗号化されてしまいます。障害復旧に回復キーは必須です。６月の証明書期限切れで問題が発生して、思わぬ事態にならぬように早めにチェックすること、回復キーを保管することを推奨します。 1.概要 始まりは、参考資料の「6月からパソコンが動かなくなる？」です。miniPCのsecure boot設定をmsinfo32で確認すると「無効」でした。そこで、BIOSの設定でsecure bootをenableに設定して、msinfo32は「有効」になりました。これが暗号化設定と認識不足でした。Windows Updateを実行して証明書の更新を実行すると、Windows Updateのボタンが赤色に変わりました。ここからトラブルです。理解不足で複数のミスが重なり、データを消失。復旧も時間を必要としました。その内容を記述します。 2.詳細 (1) トラブルの始まり ネット記事で、secure boot設定が必要で、６月にPCが動かなくなると思って、BIOS設定を変更したことが始まりです。この変更は、BIOSでSecurityのsecure bootをdisableからenableに変更だけです。Windows11を起動してmsinfo32で有効をチェックして完了。追加としてWindows Updateで証明書の導入をしてからハマりました。 障害の状況は、Windows11自体は普通に使えるのですが、Windows Updateのボタンが赤色。文字も赤字に変わりました。今後、発生するupdate適用ができなくなると認識しました。 (2) GoogleAI(Gemini)に...
続きを読む

Windows95/98のPCゲームをUbuntu/LinuxMintの最新PCで楽しむ方法 ( KVM / Wine / dosbox-x / midi )

1.概要 Ubuntults 24.04のリポジトリを利用するLinuxMint 22.3で、32bitのアプリケーションを楽しむことができるのか整理をしました。今回、仮想環境のKVMでの試験を実施して、KVM,Wine,Dosbox-xの３種類を実施した範囲で、遜色なく利用できるのはDosbox-xだけでした。KVMやWineではサウンド処理関連の互換性がなくなったような気がします。この内容に関して記述します。 注意事項 Windowsの利用にあたっては、Microsoftが定める使用許諾契約（EULA）を遵守する必要があります。ライセンス違反（不正なプロダクトキーの利用、規約外の商用利用など）は違法行為となるため、必ず正規のライセンスを取得・確認した上で操作を行ってください。 2.詳細 (1)KVM環境 KVM環境はRegacyBIOS互換のCSMで試しました。KVM上でWindows98SEは起動します。デバイスマネージャを参照した範囲ではエラーはありませんが、サウンドが想定通りに再生されない点、ディスプレイ表示設定が思うようにならない点がありました。どちらもドライバの問題と思います。構築した環境はUbuntu 22.04まで試験をしていた環境です。仮想ソフト（KVM, VMware, Virtualboxなど）は新しい環境への対応を進める中で古い環境の互換性は保たれなくなっていると感じています。 (a) KVMにWindows98seを導入 Windows98の仮想マシンを作成（サポート期間が切れたOSを選択） Memory=128MB、CPU=1、Disk=0.5GBを選択 インストールの前に設定をカスタマイズするを選択 ブートオプション：IDE CD-ROMにチェック CD-ROM bootのため、IDE ディスクとIDE CR-ROMの順番を入替える サウンド ich6：sb16を上書設定 ビデオ QXL：cirrusを上書設定 CD-ROM boot後、CD-ROMサポート付きmsdosを利用して、fdiskでCドライブを作成 再度、上記構成で再起動をして、d:\win98にてformat c:を実行してfat16で初期化 d:\win98のsetupを実行して導入 (2)Wine環境 Wine 11.8で試験をしました。 ディスプレイ表示は普通に使...
続きを読む

LinuxMint/ubuntuにWine 11導入を試しました ( LinuxMint 21.3 / 22.3 ubuntu 22.04 / 26.04 Wine 11.0 / 11.6 / 11.8 / 11.13 )

1.概要 Wine 11.0がリリースされました。メジャーアップデートで「Wine 11.0 6300以上の変更と600件以上の不具合修正を反映」と記載されています。早速、試してみることにしました。少し前にWinBoatを導入したことと比較すると、とても簡単でミスをすることはありません。しかし、Windowsのアプリを動かす意味を考え直すことになりました。 ubuntu desktop 26.04をKVM環境で評価しているので、Wine 11.13(最新版)導入を試しました。手順はWikiに記載されている手順で問題なく実施できます。詳細手順は、4.追加に記載します。 2.詳細 環境は、intel i3, Memory 16GBのPCにLinuxMint-21.3を新規導入しました。 Wine 11.0の導入手順を見つけるのに少し手間取りましたが、Wiki/Debian-Ubuntuに詳しく記載されています。 その手順に沿って作業を実施しました。 $ cat /etc/os-release $ sudo mkdir -pm755 /etc/apt/keyrings $ wget -O - https://dl.winehq.org/wine-builds/winehq.key | sudo gpg --dearmor -o /etc/apt/keyrings/winehq-archive.key - $ sudo dpkg --add-architecture i386 $ sudo wget -NP /etc/apt/sources.list.d/ https://dl.winehq.org/wine-builds/ubuntu/dists/jammy/winehq-jammy.sources $ sudo apt update $ sudo apt install --install-recommends winehq-stable $ wine --version $ sudo apt install winetricks $ winetricks cjkfonts $ winetricks --version 上記手順でWine 11.0の導入が終わります。３分間程度なので負担はありません。日本語環境も導入しました。 何をしようかと考えて、動かしたいWindo...
続きを読む