1.概要
AlphaGoの勉強過程で３目並べを学んでいます。考え方の基礎を知る上で大切なことであると思いネット上の資料も参考にしています。まず、３目並べのルールを記述したClassを作成して、対戦ができることを実現しました。今回はDeepLearningを利用した２回目の手順説明です。
2.詳細
(1) 概要
３目並べのフィールドを３☓３のイメージと考えて、手書き文字認識の手法を利用します。利用する環境はtensorflow-1.15の環境です。入力データはminimax法で活用したすべての手順(9!=362880)の組み合わせの中から勝負が決まった時点の３目並べのフィールド情報と結果（勝ち、負け、引き分け）を利用します。
tensorflowで利用できる形式に変換し、学習をしてモデルを作成し、モデルを利用して３目並べの対戦をします。元情報がminimax法で解析した情報なので、tensorflowによる学習結果がminimax法まで到達できると最高の結果です。大まかな手順は以下の通りです。
(1) minimax法の解析を利用して学習用入力データを作成
(2) 作成した学習用入力データを利用して、tensorflowでモデル作成
(3) tensorflowのモデルを利用して実際に対戦
上記手順を３回に分けて記述し、今回は２回目です。
(2) 詳細
(2) 作成した学習用入力データを利用して、tensorflowでモデル作成
dltensorflow.pyを作成します。動作環境はtensorflow-1.15の環境です。
学習用データは、r1_data.npy(フィールドデータ)、r2_data.npy(結果データ)で、件数は、255,168件です。これを75%のトレーニングデータと25%のテストデータに分割して動作確認後、再度100%のデータを利用して、もう一度トレーニングをしてモデルを作成、保存します。
下記コードのコメント部分が最初のトレーニング部分です。現在は100%でトレーニングの状態になっています。
完成したモデルは、dlmodel.h5で保存します。
import tensorflow as tf
from tensorflow.keras.layers import Activation, Dense, Dropout
from tensorflow.keras.models import Sequential, load_model
from tensorflow.keras.optimizers import SGD
import numpy as np
import matplotlib.pyplot as plt
images = np.load('r1_data.npy')
labels = np.load('r2_data.npy')
print(images.shape, labels.shape)
count = int(images.shape[0] * 0.75)
train_images, test_images = np.split(images, [count])
print(train_images.shape, test_images.shape)
train_labels, test_labels = np.split(labels, [count])
print(train_labels.shape, test_labels.shape)
model = Sequential()
model.add(Dense(64, activation='sigmoid', input_shape=(9,)))
model.add(Dense(32, activation='sigmoid'))
model.add(Dropout(rate=0.5))
model.add(Dense(3, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer=SGD(lr=0.1),
metrics=['acc'])
#history = model.fit(train_images, train_labels, batch_size=500,
# epochs=50, validation_split=0.2)
history = model.fit(images, labels, batch_size=500,
epochs=100, validation_split=0.2)
plt.plot(history.history['acc'], label='acc')
plt.plot(history.history['val_acc'], label='val_acc')
plt.ylabel('accuracy')
plt.xlabel('epoch')
plt.legend(loc='best')
plt.show()
model.save('dlmodel.h5')
model = load_model('dlmodel.h5')
test_loss, test_acc = model.evaluate(test_images, test_labels)
print('loss: {:.3f}\nacc: {:.3f}'.format(test_loss, test_acc))
参考
AlphaZero 深層学習・強化学習・探索 人工知能プログラミング実践入門
布留川 英一 著
コメント
コメントを投稿