クラウド環境に慣れてしまうと物理機器への対応が難しい

1.概要

クラウド環境のサービスに慣れてしまうと物理PCで同じことを実施しようとした時に予想しなかったことに遭遇します。postgresqlを十分なメモリを搭載した物理PCで動作させた時に、メモリが想定されたように利用されないことに気が付きました。ネットで調べると、shared_bufferの値を変えることが必要とわかりました。クラウド環境は便利ですが、物理PCへ移行が必要になった時に、必要な設定事項があることを再認識しました。そのことを記述します。

2.詳細

(1) 実際に遭遇したこと

Oracleなどの商用databaseを大規模サーバで動作させるときには、ベンダーに必要な設定変更を確認することができます。しかし、OSSのdatabase(postgresqlなど)を利用する場合、小規模環境を前提としており、環境に合わせた設定変更が必要になるようです。

最近は、PCのリソース（core数、物理メモリ、ストレージ）が安価になり、以前の大規模サーバレベルが個人でも利用できるようになっています。しかし、提供されたPCリソースをどのようにして効率的に利用するかはとても難しく、運用しながら調整をすることになります。

今回の事例はpostgresqlです。

共有メモリバッファ（shared_buffers）はデータをキャシュするメモリ領域です。既定値は128MBでした。
今回は16GBのメモリ搭載のPCなので、/var/lib/postgresql/data/postgresql.confのパラメータを変更しました。

shareed_buffer = 4G

(2) postgresql-clientのupgradeでエラー発生

ubuntuのupdateを実行すると、下記postgresqlでエラーになりました。導入環境からpostgresql-clientが原因と思って調べました。その内容を記述します。

N: Skipping acquire of configured file 'main/binary-i386/Packages' as repository 'https://apt.postgresql.org/pub/repos/apt focal-pgdg InRelease' doesn't support architecture 'i386'

インストール手順の最初の部分に問題があります。

# Create the file repository configuration:
sudo sh -c 'echo "deb https://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

これを以下のように[arch=amd64]を追加して、実行します。
/etc/apt/sources.list.d/pgdg.listが変わっていることを確認します。
その後、ubuntuのupdateを実行すると問題改善です。

# Create the file repository configuration:
sudo sh -c 'echo "deb [arch=amd64] https://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

または、/etc/apt/sources.list.d/pgdg.listを直接変更してもOKです

PostgreSQL本体とPostgreSQL Clientは別れて利用するものですが、Docker環境で物理的には別れていないが、コンテナ内部と外部で別れている場合があります。私は、最近、PostgreSQL本体にはPostgreSQL clientも含まれているのでコンテナ外部からコンテナ内部を利用するように変更をしています。この方式ではPostgreSQL clientインストールが不要です。

(3) postgreSQLのレコード長による処理速度比較

postgreSQLのレコード件数の性能は、データ項目が５項目の場合、200万件の挿入に７秒と高速でした。データ項目数を増加させた場合にどのようになるかを試験で確かめました。その内容を記述します。

５項目でreal部分が２項目でした。
date       daytime       number  real      real   
2025-12-27,2025-12-27 16:39:16,1,0.924046,0.593909

このreal部分を100項目、200項目、300項目、400項目、500項目に変化させました。レコード件数は200万件です。

2項目　　レコード長=64バイト     処理時間=7秒       
100項目   レコード帳=456バイト    処理時間=60秒
200項目   レコード長=856バイト    処理時間=109秒
300項目   レコード長=1256バイト   処理時間=155秒
400項目   レコード長=1656バイト   処理時間=216秒
500項目   レコード長=2056バイト   処理時間=296秒

レコード長に比例して、処理時間を必要としています。つまり、レコード長が大きなデータをpostgreSQLに保存すると処理時間を必要で負担が増えることを示しています。postgreSQLには8KBのレコード長上限があり、それを超えることはできません。物理的な制限が来る前に、じわりとレコード長の長さによる影響が現れてくるので設計には注意が必要です。

(4) postgreSQLでexplain analyzeの出力結果を分析

昔勉強をしたことでも時間が経過すると忘れてしまうことは沢山あります。RDBでSQLが実行されるときに統計情報が参照されて具体的な検索手順が決まることは多数経験をしていました。同じような性能問題はどこでも発生するものですが、原因究明は基本を正しく把握しているか否かの影響が大きいと思います。posrgreSQLのexplain analyzeに関して調べたのでその内容を記述します。

データ項目は下記５項目で、データ件数は200万件です。
データの例
date             daytime                     number  real  real   
2025-12-27,2025-12-27 16:39:16,1,0.924046,0.593909

実行環境はi3-7100です。
primary　keyはdaytime、2次key(index)はnumberとします。
insertで200万件のデータを登録後、下記select文を調べてみました。
select * from my_table where number = '1000000'
毎回drop tableを実施後、insertからやり直しをしました。

(a) primary keyのみ

 Gather  (cost=1000.00..26106.97 rows=7353 width=64) (actual time=108.051..111.861 rows=1 loops=1)
   Workers Planned: 2
   Workers Launched: 2
   ->  Parallel Seq Scan on my_table  (cost=0.00..24371.67 rows=3064 width=64) (actual time=88.469..105.677 rows=0 loops=3)
         Filter: (number = 1000000)
         Rows Removed by Filter: 666666
 Planning Time: 0.273 ms
 Execution Time: 111.895 ms

(b) primary key, 2次keyあり

 Bitmap Heap Scan on my_table  (cost=169.41..13512.40 rows=7353 width=64) (actual time=0.069..0.069 rows=1 loops=1)
   Recheck Cond: (number = 1000000)
   Heap Blocks: exact=1
   ->  Bitmap Index Scan on idx_number  (cost=0.00..167.58 rows=7353 width=0) (actual time=0.032..0.032 rows=1 loops=1)
         Index Cond: (number = 1000000)
 Planning Time: 0.275 ms
 Execution Time: 0.098 ms

(c) primary key, 2次keyあり,vacuumdb実行

 Index Scan using idx_number on my_table  (cost=0.43..8.45 rows=1 width=31) (actual time=0.038..0.039 rows=1 loops=1)
   Index Cond: (number = 1000000)
 Planning Time: 0.319 ms
 Execution Time: 0.072 ms

3.所見

PostgreSQLの環境構築を物理機器に導入をしようとすると様々問題に遭遇します。現在のPCはハイスペックなので既定値ではパラメータ設定が合わないケースがあります。ベンダー製品でないOSS製品の場合、問い合わせ先を探すことも大変なので、KKDによることろが多数残っている気もします。

参考

[本ブログ内参照]

コメント

コメントを投稿

過去30日間に良く読まれた記事

miniPCのBMAXでWindows11のsecure boot設定漏れでトラブル発生

miniPC（BMAX）でWindows 11を再導入する際の注意点 今回のトラブルから得られた、miniPC初期化・再導入時に失敗しないための重要なポイントを整理しました。 1. 発生した問題とエラーの原因 自分で作成した「Windows 11のUSBブートメディア」から新規導入を試みた際、ライセンス認証やセットアップの段階でエラーが発生しました。このトラブルの原因は、以下の仕様ミスマッチによるものです。 インストールメディアの不適合： Windows 11の要求仕様を満たさない環境で作成されたメディアだった可能性 secure boot（セキュアブート）の設定漏れ： BIOS側でセキュアブートが「無効（disable）」のまま新規導入を進めてしまったことによる、BitLocker暗号化の不整合 2. トラブルを未然に防ぐ「失敗しない再導入の3ステップ」 miniPCのクリーンインストールを確実に成功させるためには、以下の手順を順番に確認しながら進める必要があります。 ステップ1：インストールUSBは正規の要件を満たすPCで作成する Microsoftの公式サイトから、必ずWindows 11の動作要件を完全に満たしているPC上でインストールメディア（USB）を再作成します。 ステップ2：導入前にBIOSで「secure boot」を「enable」に設定する OSをインストールする前に必ずBIOS（UEFI）画面を開き、Security項目にある「secure boot」が「enable（有効）」になっていることをmsinfo32等で確認してからインストールを開始します。 ステップ3：BitLockerの「48桁の回復キー」を事前に必ずバックアップする secure bootを設定すると、Windows 11では自動的にドライブが暗号化されます。万が一の障害復旧やWindows Update時のエラーに備え、Microsoftアカウント等に紐付いた「48桁の回復キー」を必ず紙に控えるか、別デバイスに保存してください。 1.概要 始まりは、参考資料の「6月からパソコンが動かなくなる？」です。miniPCのsecure boot設定をmsinfo32で確...
続きを読む

LinuxMint/ubuntuにWine 11導入を試しました ( LinuxMint 21.3 / 22.3 ubuntu 22.04 / 26.04 Wine 11.0 / 11.6 / 11.8 / 11.13 )

Wine環境でWindowsアプリが動作しない場合の考察と対策 最新のWine 11を利用しても、一部のWindowsアプリケーション（Acrobat Reader等）のインストールや起動が失敗するケースがあります。技術的な背景と、現場で役立つ代替アプローチを整理しました。 1. 起動・インストールが失敗する主な技術的理由 厳格なレジストリ要求： 大手メーカー製のインストーラーは、Windows固有の複雑なレジストリ構成を要求するため、Wineの標準レジストリでは処理が途中で強制終了します。 .NET Frameworkや各種ランタイムの未導入： アプリが依存している特定のランタイムがWine環境側に不足しているケースです。 セキュリティ認証・暗号化： 最新のアプリに組み込まれているデジタル著作権管理（DRM）や通信暗号化機能が、WineのAPI互換性を超えている場合があります。 2. トラブルを解決するための3つのアプローチ Wine上でWindowsアプリを安定して動かす、または目的を達成するためには、以下の対策が有効です。 対策1：winetricks を活用して必要なコンポーネントを補う 今回の日本語化（cjkfonts）と同様に、 winetricks dotnet48 や winetricks vcrun2015 などのコマンドを用いて、アプリが必要とするランタイムを個別にWine環境へ追加導入します。 対策2：単体で動作する「ポータブル版（.exe）」を選ぶ インストーラー形式（.msi や setup.exe）ではなく、フォルダを展開するだけで単体動作するポータブル版（HDBENCHなど）は、レジストリ依存度が極めて低いためWine環境と非常に相性が良く、高確率で動作します。 対策3：Linuxネイティブの代替アプリを検討する Wineに依存せず、Linux標準のリポジトリから導入できる互換アプリ（例：Acrobatの代わりに「Okular」や「Evince」、MS Officeの代わりに「LibreOffice」）を利用する方が、システムの安定性と処理速度の面で圧倒的に有利です。  1.概要 Wine 11.0がリリースされました。...
続きを読む

Windows95/98のPCゲームをUbuntu/LinuxMintの最新PCで楽しむ方法 ( KVM / Wine / dosbox-x / midi )

1.概要 Ubuntults 24.04のリポジトリを利用するLinuxMint 22.3で、32bitのアプリケーションを楽しむことができるのか整理をしました。今回、仮想環境のKVMでの試験を実施して、KVM,Wine,Dosbox-xの３種類を実施した範囲で、遜色なく利用できるのはDosbox-xだけでした。KVMやWineではサウンド処理関連の互換性がなくなったような気がします。この内容に関して記述します。 注意事項 Windowsの利用にあたっては、Microsoftが定める使用許諾契約（EULA）を遵守する必要があります。ライセンス違反（不正なプロダクトキーの利用、規約外の商用利用など）は違法行為となるため、必ず正規のライセンスを取得・確認した上で操作を行ってください。 2.詳細 (1)KVM環境 KVM環境はRegacyBIOS互換のCSMで試しました。KVM上でWindows98SEは起動します。デバイスマネージャを参照した範囲ではエラーはありませんが、サウンドが想定通りに再生されない点、ディスプレイ表示設定が思うようにならない点がありました。どちらもドライバの問題と思います。構築した環境はUbuntu 22.04まで試験をしていた環境です。仮想ソフト（KVM, VMware, Virtualboxなど）は新しい環境への対応を進める中で古い環境の互換性は保たれなくなっていると感じています。 (a) KVMにWindows98seを導入 Windows98の仮想マシンを作成（サポート期間が切れたOSを選択） Memory=128MB、CPU=1、Disk=0.5GBを選択 インストールの前に設定をカスタマイズするを選択 ブートオプション：IDE CD-ROMにチェック CD-ROM bootのため、IDE ディスクとIDE CR-ROMの順番を入替える サウンド ich6：sb16を上書設定 ビデオ QXL：cirrusを上書設定 CD-ROM boot後、CD-ROMサポート付きmsdosを利用して、fdiskでCドライブを作成 再度、上記構成で再起動をして、d:\win98にてformat c:を実行してfat16で初期化 d:\win98のsetupを実行して導入 (2)Wine環境 Wine 11.8で試験をしました。 ディスプレイ表示は普通に使...
続きを読む