On Fisher Information Matrix for Simple Neural Networks with Softplus Activation

研究成果: 書籍/レポート タイプへの寄稿会議への寄与

抄録

Fisher information of simple neural networks with the softplus activation function is argued. We show that, under certain conditions, FIMs of simple models have the similar interesting spectral structure as the one shown by Takeishi et al (2021) for networks with ReLU. This work helps us to understand why the FIM has such the structure.

本文言語英語
ホスト出版物のタイトル2022 IEEE International Symposium on Information Theory, ISIT 2022
出版社Institute of Electrical and Electronics Engineers Inc.
ページ3001-3006
ページ数6
ISBN(電子版)9781665421591
DOI
出版ステータス出版済み - 2022
イベント2022 IEEE International Symposium on Information Theory, ISIT 2022 - Espoo, フィンランド
継続期間: 6月 26 20227月 1 2022

出版物シリーズ

名前IEEE International Symposium on Information Theory - Proceedings
2022-June
ISSN(印刷版)2157-8095

会議

会議2022 IEEE International Symposium on Information Theory, ISIT 2022
国/地域フィンランド
CityEspoo
Period6/26/227/1/22

!!!All Science Journal Classification (ASJC) codes

  • 理論的コンピュータサイエンス
  • 情報システム
  • モデリングとシミュレーション
  • 応用数学

フィンガープリント

「On Fisher Information Matrix for Simple Neural Networks with Softplus Activation」の研究トピックを掘り下げます。これらがまとまってユニークなフィンガープリントを構成します。

引用スタイル