OpenMythosのサンプルプログラムを動かしました

1.概要 前回、OpenMythosの環境構築まで実現したので、GitHubにあるサンプルプログラム(Usage)を動かしてみました。一部エラーが発生しましたが、結果出力部分なので修正をしました。その内容を記述します。 2.詳細 Usageに記載されているPythonプログラムをopenmythos_usage.pyとして作成します。 $ source ~/mypy/bin/activate (mypy) $ pythoh3 openmythos_usage.py 下記エラーとなります [MLA] Parameters: 1,538,626 [MLA] Logits shape: torch.Size([2, 16, 1000]) [MLA] Generated shape: torch.Size([2, 24]) Traceback (most recent call last):   File "/home/nakasima/openmythos/openmythos_usage.py", line 48, in <module>     rho = torch.linalg.eigvals(A).abs().max().item()           ^^^^^^^^^^^^^^^^^^^^^^^ RuntimeError: linalg.eig: The input tensor A must have at least 2 dimensions. コードの下記部分を修正します #rho = torch.linalg.eigvals(A).abs().max().item() rho = A.abs().max().item() $ source ~/mypy/bin/activate (mypy) $ pythoh3 openmythos_usage.py [MLA] Parameters: 1,538,626 [MLA] Logits shape: torch.Size([2, 16, 1000]) [MLA] Generated shape: torch.Size([2, 24]) [MLA] Spectral radius ρ(A) = 0.3679 (mus...

grepで非常に大量の条件がある場合の対処方法

1.概要

実際にgrepで大量のパラメータを設定してみると下記エラーになりました。
grep: Argument list too long
調べてみるとエラーの条件が想定したものと異なりました。その内容を記述します。

2.詳細

(a) パラメータが長すぎる

STR="-e 100001 -e 100002 -e 100003 -e 100004 -e 100005 ... -e 300000"
を作成して、下記grepを実行するとgrep: Argument list too longとなりました。

grep ${SRT} test.txt > test.out

参考資料によるとパラメータの長さが1MBを超えたことが要因のようです。
この対策が下記(b)のケースと同じに見えるので、対処方法を見つけることが難しかった。
次回はそれに関して記述します。

(b) test.txtが大きすぎる

text.txt程度では起きることはありません。
しかし、参考資料に記載されているように検索対象が多すぎる場合も同じエラーになるようです。
grep: Argument list too longと表示されて判別が難しいと思います。

検索対象が多すぎる場合は、参考資料に対処方法が記載されており、xargsを利用して分割します。

参考
[外部サイト参照]
grepの文字数制限の警告(Ver9.34対応版)

検索対象が多すぎる場合の対処法
 

コメント

このブログの人気の投稿

miniPCのBMAXでWindows11のsecure boot設定漏れでトラブル発生

LinuxMint-22.3にWine 11.6をサクッと入れてみました

LinuxMint 21.3にWinBoat導入を試してみました