SJS2017 ex11†

↑

はじめに†

↑

これまでの分†

↑

今回と次回†

SJS/2017/ex10 のロジスティック回帰を，次の2段階で改良しよう

↑

課題A†

特徴次元数を一般化しよう

前回は特徴ベクトルの次元数 \( D \) が 2 の場合のみを考えた．今回は \( D \geq 1 \) の任意の次元数の特徴ベクトルを扱えるようにしよう．

まず，特徴ベクトルを列ベクトル（\( D\times 1 \) 行列）として

\[ \bm{x} = ( x_1, x_2, \dots , x_D )^{\top} \]

と表す．このとき，シグモイド関数を用いて，入力 \( \bm{x} \) に対する出力 \( z \) を

\[ z = s( w_0 + w_1x_1 + w_2x_2 + \dots + w_Dx_D ) = s( w_0 + \bm{w}^{\top} \bm{x} ) \]

とする．パラメータは，スカラ \( w_0 \) と \( D \) 次元ベクトル \( \bm{w} \) なので計 \( (D+1) \)個ある．

このとき，\( h \) を前回同様に定義すると，\( \frac{\partial h}{\partial w_d} \) ( \( d = 0, 1, \dots , D \) ) は前回と全く同じように計算できる．式を簡潔に書くために

\[ \frac{\partial h}{\partial \bm{w}} = \left( \frac{\partial h}{\partial w_1}, \frac{\partial h}{\partial w_2}, \dots , \frac{\partial h}{\partial w_D} \right)^{\top} \]

という \( D \) 次元ベクトルを定義すると，

\[ \frac{\partial h}{\partial \bm{w}} = \mbox{hoge} \]

と書ける．hoge がどうなるか考えよう．

↑

課題B†

実験

上記の結果を活かして，SJS/2017/ex10の課題Bのプログラムの改良版を作ろう．

トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS