grepで大量の条件がある場合の対処方法

1.概要

grepで抽出処理を良く実行します。条件が１個や２個ならば良いのですが、大量の条件がある場合にどうやって実現すると良いか悩みました。forのループで処理できるのはわかるのですが、効率が悪いので方式を検討しました。その内容を記述します。

条件が１つの場合：　grep 0001 test.file
条件が２つの場合：　grep -e 0001 -e 0002 test.file

2.詳細

forのループを作成して、条件の文字列を作ります( cond.txt )。
条件文字列作成のforのループは文字列を検索しないので効率には影響しません。

-e 0001 -e 0002 -e 0003 -e 0004 -e 0005 ... -e 1000

調べたい対象ファイルをtest.fileとします。

COND=$(cat cond.txt)
grep ${COND} test.file

3.所見

CONDの長さに制限があると思ったので調べてみました。
getconf ARG_MAX
2097152
十分なサイズだと思いますが、実際に試験しようと思っています。

4.追加

(1) grepで非常に大量の条件がある場合の対処方法

実際にgrepで大量のパラメータを設定してみると下記エラーになりました。
grep: Argument list too long
調べてみるとエラーの条件が想定したものと異なりました。その内容を記述します。

(a) パラメータが長すぎる

STR="-e 100001 -e 100002 -e 100003 -e 100004 -e 100005 ... -e 300000"
を作成して、下記grepを実行するとgrep: Argument list too longとなりました。

grep ${SRT} test.txt > test.out

参考資料によるとパラメータの長さが1MBを超えたことが要因のようです。
この対策が下記(b)のケースと同じに見えるので、対処方法を見つけることが難しかった。
次回はそれに関して記述します。

(b) test.txtが大きすぎる

text.txt程度では起きることはありません。
しかし、参考資料に記載されているように検索対象が多すぎる場合も同じエラーになるようです。
grep: Argument list too longと表示されて判別が難しいと思います。

検索対象が多すぎる場合は、参考資料に対処方法が記載されており、xargsを利用して分割します。

(2) grepで非常に大量の条件がある場合の抜本改善策

実際にgrepで大量のパラメータを設定して、下記エラーが発生しました。
grep: Argument list too long
この対策に関して記述します。

grep --help　を参照すると下記指定ができます。
-f, --file=FILE take PATTERNS from FILE

そこで、pattern.datを以下のように作成します。

100001
100002
100003
100004
100005
 ...
300000

grep -f pattern.dat test.txt > test.out

を実行するとgrep: Argument list too longは解消されます。

考察

grepは正規表現が可能なので、少し調べてみました。
pattern.datを少し変えてみました。

^[0-9]*,100001
^[0-9]*,100002
 ...
^[0-9]*,300000

同じように実行すると途中でエラーとなります。

grep -f pattern.dat test.txt > test.out

調べてみるとメモリを使い切って、処理を中断していました。
-f で指定する場合は、正規表現を多数記述するのは難しいようです。

参考

コメント

コメントを投稿

過去30日間に良く読まれた記事

miniPCのBMAXでWindows11のsecure boot設定漏れでトラブル発生

miniPC（BMAX）でWindows 11を再導入する際の注意点 今回のトラブルから得られた、miniPC初期化・再導入時に失敗しないための重要なポイントを整理しました。 1. 発生した問題とエラーの原因 自分で作成した「Windows 11のUSBブートメディア」から新規導入を試みた際、ライセンス認証やセットアップの段階でエラーが発生しました。このトラブルの原因は、以下の仕様ミスマッチによるものです。 インストールメディアの不適合： Windows 11の要求仕様を満たさない環境で作成されたメディアだった可能性 secure boot（セキュアブート）の設定漏れ： BIOS側でセキュアブートが「無効（disable）」のまま新規導入を進めてしまったことによる、BitLocker暗号化の不整合 2. トラブルを未然に防ぐ「失敗しない再導入の3ステップ」 miniPCのクリーンインストールを確実に成功させるためには、以下の手順を順番に確認しながら進める必要があります。 ステップ1：インストールUSBは正規の要件を満たすPCで作成する Microsoftの公式サイトから、必ずWindows 11の動作要件を完全に満たしているPC上でインストールメディア（USB）を再作成します。 ステップ2：導入前にBIOSで「secure boot」を「enable」に設定する OSをインストールする前に必ずBIOS（UEFI）画面を開き、Security項目にある「secure boot」が「enable（有効）」になっていることをmsinfo32等で確認してからインストールを開始します。 ステップ3：BitLockerの「48桁の回復キー」を事前に必ずバックアップする secure bootを設定すると、Windows 11では自動的にドライブが暗号化されます。万が一の障害復旧やWindows Update時のエラーに備え、Microsoftアカウント等に紐付いた「48桁の回復キー」を必ず紙に控えるか、別デバイスに保存してください。 1.概要 始まりは、参考資料の「6月からパソコンが動かなくなる？」です。miniPCのsecure boot設定をmsinfo32で確...
続きを読む

LinuxMint/ubuntuにWine 11導入を試しました ( LinuxMint 21.3 / 22.3 ubuntu 22.04 / 26.04 Wine 11.0 / 11.6 / 11.8 / 11.13 )

Wine環境でWindowsアプリが動作しない場合の考察と対策 最新のWine 11を利用しても、一部のWindowsアプリケーション（Acrobat Reader等）のインストールや起動が失敗するケースがあります。技術的な背景と、現場で役立つ代替アプローチを整理しました。 1. 起動・インストールが失敗する主な技術的理由 厳格なレジストリ要求： 大手メーカー製のインストーラーは、Windows固有の複雑なレジストリ構成を要求するため、Wineの標準レジストリでは処理が途中で強制終了します。 .NET Frameworkや各種ランタイムの未導入： アプリが依存している特定のランタイムがWine環境側に不足しているケースです。 セキュリティ認証・暗号化： 最新のアプリに組み込まれているデジタル著作権管理（DRM）や通信暗号化機能が、WineのAPI互換性を超えている場合があります。 2. トラブルを解決するための3つのアプローチ Wine上でWindowsアプリを安定して動かす、または目的を達成するためには、以下の対策が有効です。 対策1：winetricks を活用して必要なコンポーネントを補う 今回の日本語化（cjkfonts）と同様に、 winetricks dotnet48 や winetricks vcrun2015 などのコマンドを用いて、アプリが必要とするランタイムを個別にWine環境へ追加導入します。 対策2：単体で動作する「ポータブル版（.exe）」を選ぶ インストーラー形式（.msi や setup.exe）ではなく、フォルダを展開するだけで単体動作するポータブル版（HDBENCHなど）は、レジストリ依存度が極めて低いためWine環境と非常に相性が良く、高確率で動作します。 対策3：Linuxネイティブの代替アプリを検討する Wineに依存せず、Linux標準のリポジトリから導入できる互換アプリ（例：Acrobatの代わりに「Okular」や「Evince」、MS Officeの代わりに「LibreOffice」）を利用する方が、システムの安定性と処理速度の面で圧倒的に有利です。  1.概要 Wine 11.0がリリースされました。...
続きを読む

Windows95/98のPCゲームをUbuntu/LinuxMintの最新PCで楽しむ方法 ( KVM / Wine / dosbox-x / midi )

1.概要 Ubuntults 24.04のリポジトリを利用するLinuxMint 22.3で、32bitのアプリケーションを楽しむことができるのか整理をしました。今回、仮想環境のKVMでの試験を実施して、KVM,Wine,Dosbox-xの３種類を実施した範囲で、遜色なく利用できるのはDosbox-xだけでした。KVMやWineではサウンド処理関連の互換性がなくなったような気がします。この内容に関して記述します。 注意事項 Windowsの利用にあたっては、Microsoftが定める使用許諾契約（EULA）を遵守する必要があります。ライセンス違反（不正なプロダクトキーの利用、規約外の商用利用など）は違法行為となるため、必ず正規のライセンスを取得・確認した上で操作を行ってください。 2.詳細 (1)KVM環境 KVM環境はRegacyBIOS互換のCSMで試しました。KVM上でWindows98SEは起動します。デバイスマネージャを参照した範囲ではエラーはありませんが、サウンドが想定通りに再生されない点、ディスプレイ表示設定が思うようにならない点がありました。どちらもドライバの問題と思います。構築した環境はUbuntu 22.04まで試験をしていた環境です。仮想ソフト（KVM, VMware, Virtualboxなど）は新しい環境への対応を進める中で古い環境の互換性は保たれなくなっていると感じています。 (a) KVMにWindows98seを導入 Windows98の仮想マシンを作成（サポート期間が切れたOSを選択） Memory=128MB、CPU=1、Disk=0.5GBを選択 インストールの前に設定をカスタマイズするを選択 ブートオプション：IDE CD-ROMにチェック CD-ROM bootのため、IDE ディスクとIDE CR-ROMの順番を入替える サウンド ich6：sb16を上書設定 ビデオ QXL：cirrusを上書設定 CD-ROM boot後、CD-ROMサポート付きmsdosを利用して、fdiskでCドライブを作成 再度、上記構成で再起動をして、d:\win98にてformat c:を実行してfat16で初期化 d:\win98のsetupを実行して導入 (2)Wine環境 Wine 11.8で試験をしました。 ディスプレイ表示は普通に使...
続きを読む