本職（？）の方が忙しくて日にちが開いてしまいました。前回記事は公式チュートリアルのコードにコメント加えただけなのにはてブが付いたりしてて機械学習というかTensorflowへの注目度の高さが良くわかります。
さて、ディープラーニングをやってみましょう。といっても公式チュートリアルをやってみるだけですが。以下が全コードです。
# -*- coding: utf-8 -*-
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# ウェイトを正規分布で決める
def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)
# バイアスを0.1とする
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)
# convolution層
def conv2d(x, W):
return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
# pooling層
def max_pool_2x2(x):
return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
# mnistのデータを引っ張ってくる
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
# 入力xの定義。プレースホルダを利用して後から値を供給（Feed）してあげる
x = tf.placeholder(tf.float32, [None, 784])
# convolutionに入れるために4Dのテンソルに変換 width, height, color
x_image = tf.reshape(x, [-1,28,28,1])
# convolution1層目。5x5のパッチ、1チャンネル、32出力
W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
# convolutionの出力と、続くpooling層の出力。活性化関数はReLu
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)
# 二層目
W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)
# 全結合層
W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
# dropout
keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
# 出力を得るためのsoftmax layer
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
# 正しい出力（教師データ）
y_ = tf.placeholder(tf.float32, [None, 10])
# 学習
cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
with tf.Session() as sess:
sess.run(tf.initialize_all_variables())
for i in range(20000):
batch = mnist.train.next_batch(50)
if i%100 == 0:
train_accuracy = accuracy.eval(feed_dict={
x:batch[0], y_: batch[1], keep_prob: 1.0})
print("step %d, training accuracy %g"%(i, train_accuracy))
train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})
print("test accuracy %g"%accuracy.eval(feed_dict={
x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))
個人的に分かりにくかったあたりを説明していきます。
# convolution層 def conv2d(x, W): return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
tf.nn.conv2dは畳み込み層です。もうちょっとプログラムっぽく説明すると、畳み込み演算を行うための計算を行うオブジェクトを返却する関数を作っています。
畳み込み層では何をやっているか？を簡単に説明しますと、重み付きの枠（窓と言った方がよい？それともフィルタと言った方がいいかな？重みなので）Wを画像上でスライドさせていき、次元を圧縮させます。スライド量はstridesで決定します。この場合は1画素ごとにスライドさせていきます。スライド量を増やすと処理は早くなりますが取りこぼしが多くなります。
Wは1層目だと以下のような入力になっています。
# convolution1層目。5x5のパッチ、1チャンネル、32出力 W_conv1 = weight_variable([5, 5, 1, 32])
左から高さ、幅、チャネル（つまり色、今回は1次元なのでモノクロ）、出力数です。出力数というのは任意の数です。フィルタの個数を指定するという方が良いでしょうか？フィルタの個数が多いほどたくさんの特徴量を取り出すことが期待できますが、学習の収束が悪くなったり計算量が増大したりします。
このあたりはどうせ「ちゃんとした本見てください」という結論にしかならないので、分からなければ本見てください。逆に言えばちゃんと説明すると本書く位の規模になりますし、私も本書けるほどの知識は無いのでどう考えてもやっぱり本を見てください。深層学習 (機械学習プロフェッショナルシリーズ) という本がよく紹介されています。実際、分かり易くて良いです。
paddingはパディングするかどうか（パディングのアルゴリズムを何にするか）を設定します。ここでは28x28画素の画像を5x5の枠で畳み込むので出力されるサイズは24x24になります。nxnの画像をmxmの枠でスライドさせていったら縦横m-1画素分次元が減りますね？図を書かないと説明しにくいですが、書いたところで本を見ろとなるので以下略です。
で、pading='VALID'を指定するとそうして次元が減るんですが、pading='SAME'にすると値ゼロの画素で足りないところを保管するので次元が減りません。今回はSAME指定、つまり次元が減らない方を選択しています。
pooling層も大体同じです。
# pooling層 def max_pool_2x2(x): return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
pooling層の役割は次元圧縮と畳み込み層の出力をまとめて位置変動に対してロバストにさせることです。ksizeが窓のサイズ、stridesが移動量です。この例では2x2の窓を2つずつスライドさせ、最大値（max_pool関数なので）をピックアップしていきます。従って、当初28x28だった入力の次元は半減して14x14のマトリクスになります。
以上を2回繰り返すことで最終的には7x7のマトリクスが出力フィルタ数分出力されます。データ的には全てベクトル（1次元の列）として保持しています。
その後の処理は初級編と同じですね。
しかし、初級編でもそうでしたが微分と学習のプロセスをOptimizerというブラックボックスで隠ぺいするのはどうなんだろうという気がします。インタフェースだけ見ると内部で何をやっているのかさっぱり分かりません。多分、真面目に微分を計算していない？（微小変化から急降下する方向を発見的に求めて更新してるだけ？）ような気がします。まあ、Adamが何をやっているのかもなんとなくしか分かってないのですが…。
まだまだ先は長そうです。とりあえず次はTensorflowの目玉機能の一つでもあるTensorBoardでも使ってみようと思います。