SJS/2017/ex09
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
*SJS2017 ex09 [#f69bd8f1]
//&color(red){''工事中''};
#contents
**これまでの分 [#kbc5dcd1]
- 以前の分を全て報告してokをもらってから，今回分にすすみ...
**準備 [#a0ff08d5]
今回の課題では，gnuplot を使います．
[[以前の作業>https://www-tlab.math.ryukoku.ac.jp/tlab?adm...
takataka に相談してください．
**課題A [#b49024d4]
***シグモイドを gnuplot でぐりぐり [#h7decb37]
次のような関数 &mathjax{s(x)}; を考える．これはシグモイド...
#mathjax( s(x) = \frac{1}{1+\exp(-x)} )
gnuplot でこの関数のグラフを描いてみよう．参考： [[wiki:D...
$ gnuplot
gnuplot> s(x) = 1.0/(1+exp(-x))
gnuplot> plot s(x)
式の形とこの結果を元に，次の問に答えなさい．
+ s(0) の値はいくつ？
+ s(x) の値域はどんな？
次に，&mathjax{a, b, c}; を定数として，&mathjax{z = s(ax+...
gnuplot> z(x, y, a, b, c) = s( a*x + b*y + c )
gnuplot> splot z(x,y,1,0,2)
gnuplot> splot z(x,y,1,0,-2)
gnuplot> splot z(x,y,1,1,-2)
gnuplot> splot z(x,y,1,-1,-2)
ぐりぐりできない場合は，デフォルトの描画環境が対応してな...
gnuplot> set terminal qt 出力先を Qt に変更
gnuplot> replot 再描画．これでぐりぐ...
上記でうまくいかない場合は，次を試してみよう
gnuplot> set terminal x11 出力先を X11 に変更．
gnuplot> replot 再描画．これでぐりぐり...
***びぶん [#yb9808a7]
&mathjax{ z = s(x) }; の導関数 &mathjax{ \frac{dz}{dx} }...
#mathjax( \frac{dz}{dx} = z \times \mbox{hoge} )
という形に表すことができることに気づく．hoge の部分には，...
***びぶんぶん [#obb17635]
&mathjax{ X = ax+by+c }; とおくと，高校で習った合成関数の...
#mathjax( \frac{\partial z}{\partial a} = \frac{\partial...
である．これと↑の結果を用いて，&mathjax{ z }; の &mathjax...
***びぶんぶんぶん [#yaef32ca]
&mathjax{ t }; を定数として，
#mathjax( h = -t\log z - (1-t) \log (1-z) )
とおく．&mathjax{ \frac{\partial h}{\partial a} };，同 b,...
***なんじゃこりゃ [#f221bc5b]
次の課題を待て
**課題B [#w2a0bda3]
以下を読んで理解しなさい．
***ロジスティック回帰と2クラス識別 [#b05bb4b8]
&mathjax{D};次元特徴ベクトルで与えられるデータを「ほげク...
ある2次元データを &mathjax{ \bm{x} = (x, y) }; とする．こ...
学習データとして，&mathjax{N};個の特徴ベクトル &mathjax{ ...
#mathjax( h_n = -t_n\log z_n - (1-t_n)\log ( 1 - z_n) )
というものを考える．今の問題では &mathjax{t_n}; が 0 か 1...
#mathjax( H = \sum_{n=1}^{N} h_{n} )
である．この &mathjax{H}; を最小化するようにパラメータ &m...
***確率的勾配降下法による交差エントロピー最小化 [#z80ac0b5]
&mathjax{H}; を最小にするパラメータ &mathjax{a,b,c}; を求...
いまの学習の目的は &mathjax{H}; の最小化だから，本来は上...
&mathjax{h_n}; のパラメータ &mathjax{\theta}; に対する偏...
+ パラメータを適当な乱数で初期化する
+ 以下を適当な回数繰り返す
++ &mathjax{N}; 個の学習データの中から一つをランダムに選...
++ &mathjax{(x_n,y_n)}; に対するモデルの出力 &mathjax{z_n...
++ &mathjax{h_n}; を計算する
++ パラメータ &mathjax{\theta}; の値を次式で更新する
#mathjax( \theta^{\rm new} = \theta -\eta \frac{\partial ...
&mathjax{ \eta }; は小さな正の定数である．
&mathjax{ \frac{\partial h_n}{\partial \theta} }; は現在...
終了行:
*SJS2017 ex09 [#f69bd8f1]
//&color(red){''工事中''};
#contents
**これまでの分 [#kbc5dcd1]
- 以前の分を全て報告してokをもらってから，今回分にすすみ...
**準備 [#a0ff08d5]
今回の課題では，gnuplot を使います．
[[以前の作業>https://www-tlab.math.ryukoku.ac.jp/tlab?adm...
takataka に相談してください．
**課題A [#b49024d4]
***シグモイドを gnuplot でぐりぐり [#h7decb37]
次のような関数 &mathjax{s(x)}; を考える．これはシグモイド...
#mathjax( s(x) = \frac{1}{1+\exp(-x)} )
gnuplot でこの関数のグラフを描いてみよう．参考： [[wiki:D...
$ gnuplot
gnuplot> s(x) = 1.0/(1+exp(-x))
gnuplot> plot s(x)
式の形とこの結果を元に，次の問に答えなさい．
+ s(0) の値はいくつ？
+ s(x) の値域はどんな？
次に，&mathjax{a, b, c}; を定数として，&mathjax{z = s(ax+...
gnuplot> z(x, y, a, b, c) = s( a*x + b*y + c )
gnuplot> splot z(x,y,1,0,2)
gnuplot> splot z(x,y,1,0,-2)
gnuplot> splot z(x,y,1,1,-2)
gnuplot> splot z(x,y,1,-1,-2)
ぐりぐりできない場合は，デフォルトの描画環境が対応してな...
gnuplot> set terminal qt 出力先を Qt に変更
gnuplot> replot 再描画．これでぐりぐ...
上記でうまくいかない場合は，次を試してみよう
gnuplot> set terminal x11 出力先を X11 に変更．
gnuplot> replot 再描画．これでぐりぐり...
***びぶん [#yb9808a7]
&mathjax{ z = s(x) }; の導関数 &mathjax{ \frac{dz}{dx} }...
#mathjax( \frac{dz}{dx} = z \times \mbox{hoge} )
という形に表すことができることに気づく．hoge の部分には，...
***びぶんぶん [#obb17635]
&mathjax{ X = ax+by+c }; とおくと，高校で習った合成関数の...
#mathjax( \frac{\partial z}{\partial a} = \frac{\partial...
である．これと↑の結果を用いて，&mathjax{ z }; の &mathjax...
***びぶんぶんぶん [#yaef32ca]
&mathjax{ t }; を定数として，
#mathjax( h = -t\log z - (1-t) \log (1-z) )
とおく．&mathjax{ \frac{\partial h}{\partial a} };，同 b,...
***なんじゃこりゃ [#f221bc5b]
次の課題を待て
**課題B [#w2a0bda3]
以下を読んで理解しなさい．
***ロジスティック回帰と2クラス識別 [#b05bb4b8]
&mathjax{D};次元特徴ベクトルで与えられるデータを「ほげク...
ある2次元データを &mathjax{ \bm{x} = (x, y) }; とする．こ...
学習データとして，&mathjax{N};個の特徴ベクトル &mathjax{ ...
#mathjax( h_n = -t_n\log z_n - (1-t_n)\log ( 1 - z_n) )
というものを考える．今の問題では &mathjax{t_n}; が 0 か 1...
#mathjax( H = \sum_{n=1}^{N} h_{n} )
である．この &mathjax{H}; を最小化するようにパラメータ &m...
***確率的勾配降下法による交差エントロピー最小化 [#z80ac0b5]
&mathjax{H}; を最小にするパラメータ &mathjax{a,b,c}; を求...
いまの学習の目的は &mathjax{H}; の最小化だから，本来は上...
&mathjax{h_n}; のパラメータ &mathjax{\theta}; に対する偏...
+ パラメータを適当な乱数で初期化する
+ 以下を適当な回数繰り返す
++ &mathjax{N}; 個の学習データの中から一つをランダムに選...
++ &mathjax{(x_n,y_n)}; に対するモデルの出力 &mathjax{z_n...
++ &mathjax{h_n}; を計算する
++ パラメータ &mathjax{\theta}; の値を次式で更新する
#mathjax( \theta^{\rm new} = \theta -\eta \frac{\partial ...
&mathjax{ \eta }; は小さな正の定数である．
&mathjax{ \frac{\partial h_n}{\partial \theta} }; は現在...
ページ名:
![[PukiWiki]](image/blackuni3-80x80.png "[PukiWiki]")
