b/2015/山田/8月以前の日誌
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
#contents
**~2015-04-09 [#z2e8b493]
課題5まで終了。たぶんちょうど一ヶ月位前に・・・
**2015-04-11 [#z2e8b493]
課題6終了。SJEにてロジスティック回帰、最急降下法については触れていたのでややズルい。
課題7において偏微分の計算が何度やっても予想と合わずに停滞。
**2015-04-24 [#z2e8b493]
企業への提出がてら、sjeで作成したニューラルネットワークのプログラムに、それぞれのニューロン素子が捉えた（強く反応する）特徴とそのニューロン素子が識別に与える影響率を出力する機能を付け加えました。&br;
MNISTを読み込んで使えば、例えば4と6への識別に高い影響力を持ったニューロンを見つけ、その共通する特徴がどのようなものか（とネットワークは考えているか）を画像として確認できたりするわけです。&br;
データマイニングの真似事をやるつもりで作った機能ですが、まだまだ直感的に納得しかねる結果も多く、影響率の定義とか見直すべき部分は多そうです。&br;
なお課題は
**2015-05-07 [#z2e8b493]
課題7終了。LaTexで文章作成中。たのC&br;
レポートでは交差エントロピーの説明はサボる予定。時間あったらやりたいですが。。。
**2015-05-14 [#z2e8b493]
今日も含めてレポートを2回ほど添削していただき、大分いい感じになりました。&br;
できるだけ早く仕上げて研究内容の検討に入りたい。
**2015-05-15 [#z2e8b493]
課題8終了。&br;
高橋さんに研究内容について相談したところ、多層なニューラルネットワークは扱えるようにしとこうという方針が決定。岡田さんの後追いでSGDや慣性項について調べて実験し、次回のセミナーで説明できるようにしておく。&br;
また、並行してウェブや文献を調べ、研究の役に立ちそうなものを見つけていければと思う。
**2015-05-22 [#z2e8b493]
慣性項をロジスティック回帰の学習へ実装し、慣性係数の大きさを変えながら実験を行ったところ、ある程度予想通りの結果を得た。&br;
確率的勾配降下法については理解が若干不十分で未だ実装までこぎつけず。バッチ選出一回ごとにパラメータの更新を一回行うのか、複数回行うのか？どっちでもいけそうな気がしなくもないけど、少なくとも後者の方が効率良さそう。
**2015-05-23 [#z2e8b493]
ロジスティック回帰へSGDを実装し、一回の学習で参照するデータ量（バッチサイズ？）を100や1000で試してみたところ、アホみたいに学習が早く進んだ。バッチサイズ毎に経過時間と対応する誤識別率を出力し、比較する予定。&br;
また、学習で全データを使い終えるたびにバッチをシャッフルしていることや、パーセプトロン収束の定理による係数ETAの固定、SGDへの慣性項の付け方などが気になっているので、後々岡田さんや高橋さんに話を伺ってみるつもり。
**2015-05-28 [#z2e8b493]
慣性項とSGDについての発表終了。あまり上手く伝えられなかった感。スライドとかのがいいかも。&br;
また、来週発表することを模索中。今のところReLUとドロップアウトにするつもりだが、『深層学習』を読んで面白そうなものがあればそちらを優先したい。
**2015-06-04 [#z2e8b493]
Theanoでロジスティック回帰および3層パーセプトロンを作る。慣性項がうまく実装できずに苦戦。&br;
今週は今度こそReLUとドロップアウトをやるつもり。
**2015-06-11 [#z2e8b493]
WeightDecay、ReLU、DropOutを実装。DropOutが上手く動いていないようなので来週までになんとかしたい。&br;
また、『深層学習』を読んで新しく何かを勉強し始めたい。CNNやボルツマンマシンがいいか。&br;
ネタが見つからなければとりあえずパーセプトロンの隠れ層数を任意に設定できるようにするつもり。
**2015-06-25 [#z2e8b493]
DropOutの実装を完了し、汎化性能の向上を確認した。しかし、[[岡田さんの実験>m/2015/okada/diary/2015-06-06]]のうち、dropout NN 2layer p=0.8,p1=0.5のものと同じ条件で実験を行ったにも関わらず、こちらの方が結果が芳しくなかった(テストデータの誤識別率が50epoch過ぎた辺りから1.5%位を中心に振動)。微妙なミスがあるかもしれない。&br;
引き続き、ニューラルネットの基礎の勉強と具体的な研究課題探しを続けていく。
**2015-07-09 [#z2e8b493]
CNNの畳み込み層を作成。夏休みまでにボルツマンマシンにも手を付けておきたいのでペースを早めなければ。
**2015-07-17 [#z2e8b493]
CNNのpooling層を作成。GPUでCNNを試すも学習が早くならなかったため、高橋さんのご指摘通りfloat32で動くようにソースを書き換える。&br;
来週はGPUで動かした実験結果を用いてCNNの説明をしたい。
**2015-07-23 [#z2e8b493]
CNNでCIFAR10を用いて実験を行った。発表資料およびC-P-ReLU-softmaxでの実験結果はGoogleDrive上に置いておいた。&br;
以下theanoでCNNやる時のメモ&br;
・畳み込み層ではパディング込みの出力画像サイズがよく分からないため、今のところパディングは使えない&br;
・プーリング層でパディングありでやるとGPUで計算してくれない&br;
・max_pool_2d関数でmode='hoge'を書くとエラーが出る。書かないで呼び出すとMaxPoolingしてくれるので問題ないが。
終了行:
#contents
**~2015-04-09 [#z2e8b493]
課題5まで終了。たぶんちょうど一ヶ月位前に・・・
**2015-04-11 [#z2e8b493]
課題6終了。SJEにてロジスティック回帰、最急降下法については触れていたのでややズルい。
課題7において偏微分の計算が何度やっても予想と合わずに停滞。
**2015-04-24 [#z2e8b493]
企業への提出がてら、sjeで作成したニューラルネットワークのプログラムに、それぞれのニューロン素子が捉えた（強く反応する）特徴とそのニューロン素子が識別に与える影響率を出力する機能を付け加えました。&br;
MNISTを読み込んで使えば、例えば4と6への識別に高い影響力を持ったニューロンを見つけ、その共通する特徴がどのようなものか（とネットワークは考えているか）を画像として確認できたりするわけです。&br;
データマイニングの真似事をやるつもりで作った機能ですが、まだまだ直感的に納得しかねる結果も多く、影響率の定義とか見直すべき部分は多そうです。&br;
なお課題は
**2015-05-07 [#z2e8b493]
課題7終了。LaTexで文章作成中。たのC&br;
レポートでは交差エントロピーの説明はサボる予定。時間あったらやりたいですが。。。
**2015-05-14 [#z2e8b493]
今日も含めてレポートを2回ほど添削していただき、大分いい感じになりました。&br;
できるだけ早く仕上げて研究内容の検討に入りたい。
**2015-05-15 [#z2e8b493]
課題8終了。&br;
高橋さんに研究内容について相談したところ、多層なニューラルネットワークは扱えるようにしとこうという方針が決定。岡田さんの後追いでSGDや慣性項について調べて実験し、次回のセミナーで説明できるようにしておく。&br;
また、並行してウェブや文献を調べ、研究の役に立ちそうなものを見つけていければと思う。
**2015-05-22 [#z2e8b493]
慣性項をロジスティック回帰の学習へ実装し、慣性係数の大きさを変えながら実験を行ったところ、ある程度予想通りの結果を得た。&br;
確率的勾配降下法については理解が若干不十分で未だ実装までこぎつけず。バッチ選出一回ごとにパラメータの更新を一回行うのか、複数回行うのか？どっちでもいけそうな気がしなくもないけど、少なくとも後者の方が効率良さそう。
**2015-05-23 [#z2e8b493]
ロジスティック回帰へSGDを実装し、一回の学習で参照するデータ量（バッチサイズ？）を100や1000で試してみたところ、アホみたいに学習が早く進んだ。バッチサイズ毎に経過時間と対応する誤識別率を出力し、比較する予定。&br;
また、学習で全データを使い終えるたびにバッチをシャッフルしていることや、パーセプトロン収束の定理による係数ETAの固定、SGDへの慣性項の付け方などが気になっているので、後々岡田さんや高橋さんに話を伺ってみるつもり。
**2015-05-28 [#z2e8b493]
慣性項とSGDについての発表終了。あまり上手く伝えられなかった感。スライドとかのがいいかも。&br;
また、来週発表することを模索中。今のところReLUとドロップアウトにするつもりだが、『深層学習』を読んで面白そうなものがあればそちらを優先したい。
**2015-06-04 [#z2e8b493]
Theanoでロジスティック回帰および3層パーセプトロンを作る。慣性項がうまく実装できずに苦戦。&br;
今週は今度こそReLUとドロップアウトをやるつもり。
**2015-06-11 [#z2e8b493]
WeightDecay、ReLU、DropOutを実装。DropOutが上手く動いていないようなので来週までになんとかしたい。&br;
また、『深層学習』を読んで新しく何かを勉強し始めたい。CNNやボルツマンマシンがいいか。&br;
ネタが見つからなければとりあえずパーセプトロンの隠れ層数を任意に設定できるようにするつもり。
**2015-06-25 [#z2e8b493]
DropOutの実装を完了し、汎化性能の向上を確認した。しかし、[[岡田さんの実験>m/2015/okada/diary/2015-06-06]]のうち、dropout NN 2layer p=0.8,p1=0.5のものと同じ条件で実験を行ったにも関わらず、こちらの方が結果が芳しくなかった(テストデータの誤識別率が50epoch過ぎた辺りから1.5%位を中心に振動)。微妙なミスがあるかもしれない。&br;
引き続き、ニューラルネットの基礎の勉強と具体的な研究課題探しを続けていく。
**2015-07-09 [#z2e8b493]
CNNの畳み込み層を作成。夏休みまでにボルツマンマシンにも手を付けておきたいのでペースを早めなければ。
**2015-07-17 [#z2e8b493]
CNNのpooling層を作成。GPUでCNNを試すも学習が早くならなかったため、高橋さんのご指摘通りfloat32で動くようにソースを書き換える。&br;
来週はGPUで動かした実験結果を用いてCNNの説明をしたい。
**2015-07-23 [#z2e8b493]
CNNでCIFAR10を用いて実験を行った。発表資料およびC-P-ReLU-softmaxでの実験結果はGoogleDrive上に置いておいた。&br;
以下theanoでCNNやる時のメモ&br;
・畳み込み層ではパディング込みの出力画像サイズがよく分からないため、今のところパディングは使えない&br;
・プーリング層でパディングありでやるとGPUで計算してくれない&br;
・max_pool_2d関数でmode='hoge'を書くとエラーが出る。書かないで呼び出すとMaxPoolingしてくれるので問題ないが。
ページ名:
![[PukiWiki]](image/blackuni3-80x80.png "[PukiWiki]")
