Publications

KL変換を実現する3層線形パーセプトロンの教師付き学習則 ー Baldi-Hornikの定理の拡張 ー

高橋隆史 徳永隆治 平井有三

電子情報通信学会和文論文誌 vol.J80-D-II no.5 pp.1267-1275, 1997

Abstract

誤差逆伝搬法による3層パーセプトロンの恒等写像学習能力について、(1)線形パーセプトロンがKarhunen-Lo?`eve(KL)変換と等価な変換を実現すること、および(2)シグモイド関数を用いた3層非線形パーセプトロンが線形パーセプトロンの能力を上回らないことが理論的に証明されている。しかし、どちらの場合も中間層素子の重みベクトルが直接KL基底に対応する訳ではなく、それらの張る部分空間がKL基底のそれと一致するのみである。そのため、KL変換と異なり誤差減少に対する各成分の寄与の順が定まらず、各素子が獲得した内部表現の寄与について評価することはできない。本論文では、3層線形パーセプトロンの内部表現としてKL変換係数が獲得され、各中間層素子が寄与の大きいものから順に特徴抽出を行うことを可能にする学習則を提案し、これに対する理論的保証を与える。さらに、5層非線形パーセプトロンによる恒等写像学習にこの学習則を適用した数値実験によって、非線形な特徴抽出が必要な場合にも有効であることを提示する。

PDF

http://search.ieice.org/bin/summary.php?id=j80-d2_5_1267&category=D&year=1997&lang=J&abst=


トップ   編集 凍結 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2015-07-02 (木) 21:00:14