ubuntu/LinuxMintでmariadbへデータロードを試して悩みました

1.概要

csvをmariadbにimportするload dataを試して、ハマったので、その内容を記述します。insert処理をcsvからload dataを利用してimportしてみました。結果的に作成したcsvの形式が悪く、timestampフィールドがゼロになる問題が発生して、悩みました。

2.詳細

(1)環境構築

(a) docker, docker-composeの導入
$ sudo apt -y install docker.io
$ sudo apt -y install docker-compose
$ sudo usermod -aG docker $(whoami)
$ docker --version
$ docker-compose --version
PCを１度再起動します

(b) docker-compose.ymlの作成
Docker hubの記述を参考にして、docker-compose.yml を作成します。

services:
    db:
        image: mariadb:10
        ports:
            - 3306:3306
        environment:
            MYSQL_DATABASE: redmine
            MYSQL_ROOT_PASSWORD: example

(c) container起動と停止
起動
$ docker-compose up -d
停止
$ docker-compose stop

(2) データロード

(a) insertのsqlからcsvを作成( copy_data.csv )

'1001','2023-10-01 00:00:00',1000
'1001','2023-10-01 01:00:00',1010
'1001','2023-10-01 02:00:00',1020
'1001','2023-10-01 03:00:00',1030
'1001','2023-10-01 04:00:00',1040
'1001','2023-10-01 05:00:00',1050
'1001','2023-10-01 06:00:00',1060
'1001','2023-10-01 07:00:00',1070
'1001','2023-10-01 08:00:00',1080
'1001','2023-10-01 09:00:00',1090
'1001','2023-10-01 10:00:00',1100
'1001','2023-10-01 11:00:00',1110
'1001','2023-10-01 12:00:00',1120
'1002','2023-10-01 00:00:00',1120
'1002','2023-10-01 01:00:00',1110
'1002','2023-10-01 02:00:00',1100
'1002','2023-10-01 03:00:00',1090
'1002','2023-10-01 04:00:00',1080
'1002','2023-10-01 05:00:00',1070
'1002','2023-10-01 06:00:00',1060
'1002','2023-10-01 07:00:00',1050
'1002','2023-10-01 08:00:00',1040
'1002','2023-10-01 09:00:00',1030
'1002','2023-10-01 10:00:00',1020
'1002','2023-10-01 11:00:00',1010
'1002','2023-10-01 12:00:00',1000

結果的には、このcsvが誤りでしたが、説明を続けます。

(b) dockerコンテナ内にCopy

docker ps でmariadbコンテナのIDを調べます。ここでは、1234567890abとします。

docker cp copy_data.csv 1234567890ab:/home/username/copy_data.csv

(c) load data

load data local infile 'copy_data.csv'
    into table sample_table
    fields terminated by ','
    enclosed by "'";
    
実行するとtimestampがゼロとなり、エラーです。

Query OK, 2 rows affected, 50 warnings (0.013 sec)   
Records: 26  Deleted: 0  Skipped: 24  Warnings: 50

MariaDB> select * from sample_table;
+------+---------------------+------------+
| id   | data_time           | data_value |
+------+---------------------+------------+
| 1001 | 0000-00-00 00:00:00 |       1000 |
| 1002 | 0000-00-00 00:00:00 |       1120 |
+------+---------------------+------------+
2 rows in set (0.000 sec)

ここで原因がわからずに悩みました。

(d) csvを修正( copy_data.csv )

csvはカンマ区切りで分かれているので、シングルクォートを削除しました。

1001,2023-10-01 00:00:00,1000
1001,2023-10-01 01:00:00,1010
1001,2023-10-01 02:00:00,1020
1001,2023-10-01 03:00:00,1030
1001,2023-10-01 04:00:00,1040
1001,2023-10-01 05:00:00,1050
1001,2023-10-01 06:00:00,1060
1001,2023-10-01 07:00:00,1070
1001,2023-10-01 08:00:00,1080
1001,2023-10-01 09:00:00,1090
1001,2023-10-01 10:00:00,1100
1001,2023-10-01 11:00:00,1110
1001,2023-10-01 12:00:00,1120
1002,2023-10-01 00:00:00,1120
1002,2023-10-01 01:00:00,1110
1002,2023-10-01 02:00:00,1100
1002,2023-10-01 03:00:00,1090
1002,2023-10-01 04:00:00,1080
1002,2023-10-01 05:00:00,1070
1002,2023-10-01 06:00:00,1060
1002,2023-10-01 07:00:00,1050
1002,2023-10-01 08:00:00,1040
1002,2023-10-01 09:00:00,1030
1002,2023-10-01 10:00:00,1020
1002,2023-10-01 11:00:00,1010
1002,2023-10-01 12:00:00,1000

再度、docker cpでコンテナにコピー

(e) load data

load data local infile 'copy_data.csv'
    into table sample_table
    fields terminated by ',';

Query OK, 26 rows affected (0.017 sec)               
Records: 26  Deleted: 0  Skipped: 0  Warnings: 0

enclosed by "'"も削除して、問題解決です。

MariaDB > select * from sample_table;
+------+---------------------+------------+
| id   | data_time           | data_value |
+------+---------------------+------------+
| 1001 | 2023-10-01 00:00:00 |       1000 |
| 1001 | 2023-10-01 01:00:00 |       1010 |
| 1001 | 2023-10-01 02:00:00 |       1020 |
| 1001 | 2023-10-01 03:00:00 |       1030 |
| 1001 | 2023-10-01 04:00:00 |       1040 |
| 1001 | 2023-10-01 05:00:00 |       1050 |
| 1001 | 2023-10-01 06:00:00 |       1060 |
| 1001 | 2023-10-01 07:00:00 |       1070 |
| 1001 | 2023-10-01 08:00:00 |       1080 |
| 1001 | 2023-10-01 09:00:00 |       1090 |
| 1001 | 2023-10-01 10:00:00 |       1100 |
| 1001 | 2023-10-01 11:00:00 |       1110 |
| 1001 | 2023-10-01 12:00:00 |       1120 |
| 1002 | 2023-10-01 00:00:00 |       1120 |
| 1002 | 2023-10-01 01:00:00 |       1110 |
| 1002 | 2023-10-01 02:00:00 |       1100 |
| 1002 | 2023-10-01 03:00:00 |       1090 |
| 1002 | 2023-10-01 04:00:00 |       1080 |
| 1002 | 2023-10-01 05:00:00 |       1070 |
| 1002 | 2023-10-01 06:00:00 |       1060 |
| 1002 | 2023-10-01 07:00:00 |       1050 |
| 1002 | 2023-10-01 08:00:00 |       1040 |
| 1002 | 2023-10-01 09:00:00 |       1030 |
| 1002 | 2023-10-01 10:00:00 |       1020 |
| 1002 | 2023-10-01 11:00:00 |       1010 |
| 1002 | 2023-10-01 12:00:00 |       1000 |
+------+---------------------+------------+
26 rows in set (0.001 sec)

3.所見

csvによるデータロードですが、簡単そうに見えて思ったようには進まないものです。
本検証はubuntu 20.04で実行しました。LinuxMint 22.3では 、image: mariadb:12に返納してコンテナが起動することを確認しました。

参考

コメント

コメントを投稿

過去30日間に良く読まれた記事

miniPCのBMAXでWindows11のsecure boot設定漏れでトラブル発生

0.推奨 Windows11をプリインストールモデルの状態で利用されている場合は問題になることはありません。Windows11のUSB bootメディアを作成して自分で新規導入したり、Windows10からWindows11へupgradeをした場合。Windows11への移行条件確認が十分でない状態があったのではないかと思います。Windows11で必須要件を満たさずに移行されたWindows11環境がありました。 今回のトラブルでBitLockerの48桁の回復キーがないことが痛手でした。Windows11を利用する上でBitLockerの回復キーは大切に保管が必要です。secure bootを設定するとディスクは暗号化されてしまいます。障害復旧に回復キーは必須です。６月の証明書期限切れで問題が発生して、思わぬ事態にならぬように早めにチェックすること、回復キーを保管することを推奨します。 1.概要 始まりは、参考資料の「6月からパソコンが動かなくなる？」です。miniPCのsecure boot設定をmsinfo32で確認すると「無効」でした。そこで、BIOSの設定でsecure bootをenableに設定して、msinfo32は「有効」になりました。これが暗号化設定と認識不足でした。Windows Updateを実行して証明書の更新を実行すると、Windows Updateのボタンが赤色に変わりました。ここからトラブルです。理解不足で複数のミスが重なり、データを消失。復旧も時間を必要としました。その内容を記述します。 2.詳細 (1) トラブルの始まり ネット記事で、secure boot設定が必要で、６月にPCが動かなくなると思って、BIOS設定を変更したことが始まりです。この変更は、BIOSでSecurityのsecure bootをdisableからenableに変更だけです。Windows11を起動してmsinfo32で有効をチェックして完了。追加としてWindows Updateで証明書の導入をしてからハマりました。 障害の状況は、Windows11自体は普通に使えるのですが、Windows Updateのボタンが赤色。文字も赤字に変わりました。今後、発生するupdate適用ができなくなると認識しました。 (2) GoogleAI(Gemini)に...
続きを読む

Windows95/98のPCゲームをUbuntu/LinuxMintの最新PCで楽しむ方法 ( KVM / Wine / dosbox-x / midi )

1.概要 Ubuntults 24.04のリポジトリを利用するLinuxMint 22.3で、32bitのアプリケーションを楽しむことができるのか整理をしました。今回、仮想環境のKVMでの試験を実施して、KVM,Wine,Dosbox-xの３種類を実施した範囲で、遜色なく利用できるのはDosbox-xだけでした。KVMやWineではサウンド処理関連の互換性がなくなったような気がします。この内容に関して記述します。 注意事項 Windowsの利用にあたっては、Microsoftが定める使用許諾契約（EULA）を遵守する必要があります。ライセンス違反（不正なプロダクトキーの利用、規約外の商用利用など）は違法行為となるため、必ず正規のライセンスを取得・確認した上で操作を行ってください。 2.詳細 (1)KVM環境 KVM環境はRegacyBIOS互換のCSMで試しました。KVM上でWindows98SEは起動します。デバイスマネージャを参照した範囲ではエラーはありませんが、サウンドが想定通りに再生されない点、ディスプレイ表示設定が思うようにならない点がありました。どちらもドライバの問題と思います。構築した環境はUbuntu 22.04まで試験をしていた環境です。仮想ソフト（KVM, VMware, Virtualboxなど）は新しい環境への対応を進める中で古い環境の互換性は保たれなくなっていると感じています。 (a) KVMにWindows98seを導入 Windows98の仮想マシンを作成（サポート期間が切れたOSを選択） Memory=128MB、CPU=1、Disk=0.5GBを選択 インストールの前に設定をカスタマイズするを選択 ブートオプション：IDE CD-ROMにチェック CD-ROM bootのため、IDE ディスクとIDE CR-ROMの順番を入替える サウンド ich6：sb16を上書設定 ビデオ QXL：cirrusを上書設定 CD-ROM boot後、CD-ROMサポート付きmsdosを利用して、fdiskでCドライブを作成 再度、上記構成で再起動をして、d:\win98にてformat c:を実行してfat16で初期化 d:\win98のsetupを実行して導入 (2)Wine環境 Wine 11.8で試験をしました。 ディスプレイ表示は普通に使...
続きを読む

LinuxMint/ubuntuにWine 11導入を試しました ( LinuxMint 21.3 / 22.3 ubuntu 22.04 / 26.04 Wine 11.0 / 11.6 / 11.8 / 11.13 )

1.概要 Wine 11.0がリリースされました。メジャーアップデートで「Wine 11.0 6300以上の変更と600件以上の不具合修正を反映」と記載されています。早速、試してみることにしました。少し前にWinBoatを導入したことと比較すると、とても簡単でミスをすることはありません。しかし、Windowsのアプリを動かす意味を考え直すことになりました。 ubuntu desktop 26.04をKVM環境で評価しているので、Wine 11.13(最新版)導入を試しました。手順はWikiに記載されている手順で問題なく実施できます。詳細手順は、4.追加に記載します。 2.詳細 環境は、intel i3, Memory 16GBのPCにLinuxMint-21.3を新規導入しました。 Wine 11.0の導入手順を見つけるのに少し手間取りましたが、Wiki/Debian-Ubuntuに詳しく記載されています。 その手順に沿って作業を実施しました。 $ cat /etc/os-release $ sudo mkdir -pm755 /etc/apt/keyrings $ wget -O - https://dl.winehq.org/wine-builds/winehq.key | sudo gpg --dearmor -o /etc/apt/keyrings/winehq-archive.key - $ sudo dpkg --add-architecture i386 $ sudo wget -NP /etc/apt/sources.list.d/ https://dl.winehq.org/wine-builds/ubuntu/dists/jammy/winehq-jammy.sources $ sudo apt update $ sudo apt install --install-recommends winehq-stable $ wine --version $ sudo apt install winetricks $ winetricks cjkfonts $ winetricks --version 上記手順でWine 11.0の導入が終わります。３分間程度なので負担はありません。日本語環境も導入しました。 何をしようかと考えて、動かしたいWindo...
続きを読む