SJE/2015/ex13
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* SJE2015 ex13 [#j771445d]
前回課題のロジスティック回帰を，次の2段階で改良しよう
- 入力が2次元より大きい場合も扱えるようにする
- 出力を複数にして，クラス数が2より多い場合も扱えるように...
**課題A [#n1dd2777]
***特徴次元数を一般化しよう [#r6a6c5d8]
前回は特徴ベクトルの次元数 &mathjax{ D }; が 2 の場合のみ...
まず，特徴ベクトルを列ベクトル（&mathjax{D\times 1}; 行列...
#mathjax( \bm{x} = ( x_1, x_2, \dots , x_D )^{\top} )
と表す．このとき，シグモイド関数を用いて，入力 &mathjax{ ...
#mathjax( z = s( w_0 + w_1x_1 + w_2x_2 + \dots + w_Dx_D )...
とする．パラメータは，スカラ &mathjax{ w_0 }; と &mathjax...
このとき，&mathjax{ h }; を前回同様に定義すると，&mathjax...
#mathjax( \frac{\partial h}{\partial \bm{w}} = \left( \fr...
という &mathjax{ D }; 次元ベクトルを定義すると，
#mathjax( \frac{\partial h}{\partial \bm{w}} = \mbox{hoge...
と書ける．hoge がどうなるか考えよう．
***実験 [#nb07ac38]
上記の結果を活かして，前回の課題Bのプログラムの改良版を作...
**課題B [#vd0d36dc]
***クラス数を一般化しよう [#je8873de]
特徴ベクトルが与えられたときに，これを &mathjax{ K }; 通...
#mathjax( \begin{align} z_k &= \frac{\exp(y_k)}{\sum_{j=1...
この一つ目の式の形を，softmax という（最大値に対して1を，...
次に，多クラス問題に対応した交差エントロピーを考える．ま...
&mathjax{ \bm{t} = (t_1, t_2, \dots , t_K )^{\top} }; と...
#mathjax( h = - \sum_{k=1}^{K} t_k \log z_k )
これまた &mathjax{ K = 2 }; としたら前回の式と同じになっ...
がんばって微分して学習則を導出しよう．実は「おんなじ形に...
ヒント:
#mathjax( \log z_k = y_k - \log \left( \sum_{j=1}^{K} \ex...
なので，
#mathjax( \begin{align} \frac{\partial h}{\partial w_{\el...
ですね．ここで &mathjax{ \sum_{k=1}^{K} t_k }; は...だか...
#mathjax( \frac{\partial y_k}{\partial w_{\ell,d}} = \lef...
ですね．
***実験 [#nb07ac38]
上記の結果を活かして，課題Aのプログラムの改良版を作ろう．...
終了行:
* SJE2015 ex13 [#j771445d]
前回課題のロジスティック回帰を，次の2段階で改良しよう
- 入力が2次元より大きい場合も扱えるようにする
- 出力を複数にして，クラス数が2より多い場合も扱えるように...
**課題A [#n1dd2777]
***特徴次元数を一般化しよう [#r6a6c5d8]
前回は特徴ベクトルの次元数 &mathjax{ D }; が 2 の場合のみ...
まず，特徴ベクトルを列ベクトル（&mathjax{D\times 1}; 行列...
#mathjax( \bm{x} = ( x_1, x_2, \dots , x_D )^{\top} )
と表す．このとき，シグモイド関数を用いて，入力 &mathjax{ ...
#mathjax( z = s( w_0 + w_1x_1 + w_2x_2 + \dots + w_Dx_D )...
とする．パラメータは，スカラ &mathjax{ w_0 }; と &mathjax...
このとき，&mathjax{ h }; を前回同様に定義すると，&mathjax...
#mathjax( \frac{\partial h}{\partial \bm{w}} = \left( \fr...
という &mathjax{ D }; 次元ベクトルを定義すると，
#mathjax( \frac{\partial h}{\partial \bm{w}} = \mbox{hoge...
と書ける．hoge がどうなるか考えよう．
***実験 [#nb07ac38]
上記の結果を活かして，前回の課題Bのプログラムの改良版を作...
**課題B [#vd0d36dc]
***クラス数を一般化しよう [#je8873de]
特徴ベクトルが与えられたときに，これを &mathjax{ K }; 通...
#mathjax( \begin{align} z_k &= \frac{\exp(y_k)}{\sum_{j=1...
この一つ目の式の形を，softmax という（最大値に対して1を，...
次に，多クラス問題に対応した交差エントロピーを考える．ま...
&mathjax{ \bm{t} = (t_1, t_2, \dots , t_K )^{\top} }; と...
#mathjax( h = - \sum_{k=1}^{K} t_k \log z_k )
これまた &mathjax{ K = 2 }; としたら前回の式と同じになっ...
がんばって微分して学習則を導出しよう．実は「おんなじ形に...
ヒント:
#mathjax( \log z_k = y_k - \log \left( \sum_{j=1}^{K} \ex...
なので，
#mathjax( \begin{align} \frac{\partial h}{\partial w_{\el...
ですね．ここで &mathjax{ \sum_{k=1}^{K} t_k }; は...だか...
#mathjax( \frac{\partial y_k}{\partial w_{\ell,d}} = \lef...
ですね．
***実験 [#nb07ac38]
上記の結果を活かして，課題Aのプログラムの改良版を作ろう．...
ページ名:
![[PukiWiki]](image/blackuni3-80x80.png "[PukiWiki]")
