influxDBとPostgreSQLのcsvからのinsert性能試験をしました

1.概要

前回influxdbの概要をネットで調べたので、実際にpostgresqlと性能評価をしました。特に気になった点は100万件の壁があるか否かです。私が評価した範囲では最良の条件であるdate time以外のtag(２次キー)項目がない場合でもpostgresqlに及びません。また、100万件の壁はあるようですが、postgresqlとの性能差はもっと基本的な問題のような気がします。その内容を記述します。

2.詳細

試験環境はi3-7100, Memory 16GB, SSD 500GB, ubuntu-22.04です。
influxdb(v2),postgresql(v15)をdockerコンテナで動作して試験をしました。
データは下記５項目です。
データの例
date       unixtime   number  real      real   
2025-10-12,1762253561,2000000,0.0239312,0.956495
データ量は10,50,100,200万件のデータで処理をしました。
データのinsert試験のみ実施、方式はcsvからのimportです。

(1) influxdbでunixtimeだけがキーでtag項目なし
10万件　　　　　2秒
50万件　　　　　14秒
100万件　　　　18秒
200万件　　　　25秒

(2) influxdbとして一番厳しいnumber項目をtagに指定
10万件　　　　　6秒
50万件　　　　　25秒
100万件　　　　50秒
200万件　　　　120秒

(3) 比較としてpostgresqlでprimary keyをunixtime、numberをindexに指定
この条件は上記(2)と同じです。
10万件　　　　　0秒(1秒以下)
200万件　　　　7秒

個人的な主観ですが、時間を積み重ねたVersion差が性能差になっている気がします。
insert性能では、influxdb v2ではpostgresql v15に歯が立ちません。

参考

InfluxDB
https://ubuntults.blog.fc2.com/blog-entry-233.html

コメント

コメントを投稿

このブログの人気の投稿

LinuxMint 22.3にdosbox-xを導入してWindows95/98のGameを動かしました

 1.概要 検索でLinuxMint 22.3 dosbox-x installを検索しても適切なサイトは見つかりません。 GoogleAIによる概要は、下記２項目を提案します。 (1) Snapを使ってインストール (推奨) (2) Flatpakを使ってインストール (Snapが使えない場合) しかし、実際にはどちらも選択していません。その内容を記述します。 2.詳細 LinuxMint 22.3にはSnapがインストールされていません。 従って、(1)の選択はなし。(2)の選択となります。 LinuxMint 22.3にはflatpakは標準で導入済みなので、 実行するコマンドは下記コマンドでインストールできます。 flatpak install flathub com.dosbox_x.DOSBox-X しかし、GUIに組込まれてしまいtermnalからコマンド実行できません。 これでは、Ubuntu 22.04で作成したWindows98環境を移行できません。 悩んだ結果、ダメ元でaptで導入してみました。 sudo apt install dosbox-x これで問題解決です。 Ubuntu 22.04.5で実施した移行手順で問題なく実行できます。 terminalからWindows98を実行する方法は下記コマンドです。 dosbox-x -conf win98.conf win98.confに必要な設定と必要なfileを記述・準備して、実行環境を整備します。 詳細は参考資料を参照願います。 実行速度はPC(当時はPentium-166程度)で動かしたWindows98と遜色なしです。 参考 ubuntu-22.04.5 dosbox-x https://ubuntults.blog.fc2.com/blog-entry-209.html Windows95/98のPCゲーム (2) using dosbox-x https://ubuntults.blog.fc2.com/blog-entry-152.html Windows95/98のPCゲームをubuntuで楽しむ方法（総集編） https://ubuntults.blog.fc2.com/blog-entry-160.html
続きを読む

ubuntu 26.04 LTSのリリース発表があり、Daily Build版を導入しました

 1.概要 Desktop環境はLinuxMint、仮想環境はUbuntu Serverを利用します。リリース日が2026-04-23となっていますが、最新版のubuntu server 26.04 LTSをDownloadして、KVM仮想環境に導入しました。ubuntu server 24.04と変わらない感触と感じたのですが、ubuntu server 24.04の調査不足による認識誤りかもしれません。まず、分かった範囲を記述します。 2.詳細 HW環境は、core-i3, memory 16GB, SSD 256GBです。 SW環境は、LinuxMint 22.3、kernel 6.17.0-20-generic、KVMです。 仮想マシンは、1core, Memory 4GB, disk 30GBです。 iso imageは、resolute-live-server-amd64.isoを利用しました。 Downloadしたisoイメージファイルは2.4GB。インストールを開始すると、最初にインストーラの更新が実行されました。まだ、Daily Build版のisoを利用するためだと思います。minimized構成を選択した結果、ディスク使用量は6.5GB, Memory使用量は428MBでした。ubuntu server 26.04をminimizedで導入したのですが、snapはインストールされていました。インストーラは24.04と差異はない感じです。今、気がついたのですが、何と、kernel-7.0です。 インストール作業で気になったの点が、パーティション構成がGPTになったことです。再度、導入作業を実施して、MBRの選択肢はないことを確認しました。ubuntu server 24.04を再度調査が必要です。snapの有無とGPTパーティションに関して、前回調査が不十分であった気がしてきました。 3.追加 ubuntu server 24.04.3をKVM環境に導入試験をしました。パーティションはGPT形式でした。KVM環境はuefiBIOSでなく、RegacyBIOSであるので1MBのbios用のbootパーティションがありました。また、snapもインストールされていました。調査不足による認識誤りでした。 気になる点があります。KVM環境へubun...
続きを読む

ubuntu desktop 26.04 LTSをKVM環境にDaily Build版を導入しました

 1.概要 X-windowsを廃止して、Waylandだけに変更されているubuntu desktop 26.04 LTSのDaily Build版をKVM環境に導入しました。修正情報などの適用をすると時間を必要とするので、LinuxMint 22.3側でnetworkを切断してisoイメージからだけ利用してインストールをしました。その内容を記述します。 2.詳細 ubuntu server 26.04 LTSの導入試験環境を利用しました。ubuntu Serverを導入した時にnetwork接続が存在すると修正情報の適用がされて非常に時間を必要であったこと、修正情報適用のタイミング問題だと思いますが、installerが停止する問題が発生したので、networkを遮断して導入作業をしました。 HW環境は、core-i3, memory 16GB, SSD 256GBです。 SW環境は、LinuxMint 22.3、kernel 6.17.0-20-generic、KVMです。 仮想マシンは、2core, Memory 8GB, disk 30GBです。 iso imageは、resolute-desktop-amd64.isoを利用しました。 導入作業はubuntu-24.04と変わりません。 ディスク構成は/(root)のみ作成すると、1MBのBIOS bootのパーティションが自動作成されます。これは、ubuntu server 26.04と同じです。MBRやPBRを利用することできないので、Multi-bootは少し難しそうです。 login画面上にWaylandとX-windowsの選択項目はなく、Waylandにだけになっているようです。/etc/gdm3/custom.confを参照するとWaylandEnable=falseの記載はありません。無理やり、[daemon]にWaylandEnable=falseを追加してみたのですが、無視されているようで効果ありません。 Software updateのアイコンは１個になっていました。ubuntu 24.04までは２個存在して、役割や使い方が不明瞭でした。しかし、Software Updaterに設定がなくなっています。日本のサーバを利用するなどのupdate serverの指定はここではでき...
続きを読む