webstation plus

 ディープラーニングなどの機械学習では「シグモイド関数」という活性化関数が使われることがあります。

 とはいえ、数式の意味もわからずに何となく使うのは気持ち悪いですよね。

 そこで今回は、シグモイド関数とはどのような関数なのか簡単に紹介したいと思います。

 シグモイド関数とは?

 まずは数式とグラフから。ちなみに、グラフは\(a=1\)としています。

$$ς_a(x) = \frac{1}{1+\exp(-ax)}  (a>0)$$

 シグモイド関数の特徴は、\(x\)が負の無限大に近づくと、分母が正の無限大になるので、\(ς_a(x)\)の値が\(0\)に近づき、

 反対に、\(x\)が正の無限大に近づくと、分母が\(1\)に近づくので、\(ς_a(x)\)の値も\(1\)に近づくような関数です。

 \(x\)が\(0\)のときは、\(ς_a(x)\)は\(0.5\)になります。グラフに示されている通りですよね。

 また、\(a\)の値が大きくなるほど変化の度合いが大きくなり、\(a=1\)のときのシグモイド関数を「標準シグモイド関数」と呼びます。

 さて、このシグモイド関数は、機械学習では活性化関数として使われることが多いです。

 シグモイド関数は、非線形分離(=曲線で分離すること)ができるため、複雑な関係性も表現することができるからです。

 シグモイド関数をグラフ化するPythonコード

 では最後に、今回表示したグラフを出力するためのPythonコードを紹介します。参考にしてください。

◆サンプルプログラム:

 このサンプルプログラムでは、\(x\)に\(-5\)から\(5\)まで値を\(0.1\)刻みで保持しておき、シグモイド関数に入力して\(y\)を求めています。その結果をグラフ表示しているんですよね。

 実際に手を動かして\(a\)の値を大きくしていけば、変化の度合いが大きくなることがわかりますよ。

 最後に

 今回は、シグモイド関数について簡単に説明してきました。ディープラーニングは、このような関数の組み合わせで実現されているので、ぜひ基本的なところから理解を深めていきましょう。

 関連記事

組み込みシステムの概要を理解したい人におすすめの本『これだけ組み込みシステム』

 組み込みシステムを理解しようと思うと、ハードもソフトも理解する必要があるので、何から手をつければいいのか分からなくなりますよね。  そんなときにおすすめなのが『これだけ組み込みシステム』。詳細を理解するには他の本を読む …

機械学習にも使われているベイズの定理を簡単に紹介

 前回、確率の「4つの基本」を紹介しましたが、今回はそのなかの「乗法定理」を活用した「ベイズの定理」について紹介します。  機械学習や情報のフィルタリング、経営判断のための意思決定などに使われる定理なので、ぜひ覚えておき …

AIを正しく理解したいなら最低限知っておきたいこと/『コンピュータ、どうやってつくったんですか?』

 最近、AIに関する話題が多いですよね。ところが、コンピュータの仕組みについてあまり知らない人が語っているケースも多いように思います。  当たり前のことですが、コンピュータがどのような機械なのかを知らなければ、人工知能技 …

積と商の微分について簡単に紹介

 この前のエントリで合成関数の微分について紹介しましたが、今回は積と商の微分について紹介します。  積と商の微分は、たとえば、「\(p(x)=f(x) \times g(x)\)」や「\(r(x)=f(x) \div g …

迷惑メールの判定で有名な「ナイーブベイズフィルタ」を簡単に紹介

 前回、「理由不十分の原則」と「ベイズ更新」を紹介しましたが、今回は迷惑メールを判定するための仕組みのひとつである「ナイーブベイズフィルタ」について紹介します。  とても簡単に迷惑メールが判定できる有名な仕組みなので、ぜ …

合成関数の微分について簡単に紹介

 この前のエントリで微分の公式について紹介しましたが、今回は合成関数の微分について紹介します。  合成関数の微分は、たとえば、\(h(x)=(x^2+3)^6\)などのように、2つ以上の関数の合成で成り立っている関数を微 …

ベイズ推定を理解する第一歩!?確率の「4つの基本」を理解しよう

 ディープラーニングなどの機械学習を勉強していると、ベイズ推定に出会うことがありますよね。  ところが、「尤度」や「事前確率」、「事後確率」といった名称に踊らされて必要以上に難しく感じてしまうかもしれません。  そこでま …

「確率分布」と「確率密度関数」について簡単に紹介

 前回、迷惑メールの判定で有名な「ナイーブベイズフィルタ」を紹介しましたが、今回は「確率分布」と「確率密度関数」について簡単に紹介します。  ベイズ統計がイメージできるようになるので、ぜひ理解しておきましょう。 &nbs …

物語を読むだけで「オートマトン理論」と「形式言語理論」がわかる本『白と黒のとびら』

 オートマトン理論と形式言語理論ってよくわからないですよね。  とはいえ、情報科学や数学、言語学や認知科学などの重要な基礎理論なので、「わからない!」で済ませておくわけにはいきません。  そんな情報科学初心者におすすめな …

『数学する人生』感想/数学者がたどり着いた幸せに生きる方法とは?

 数学者というと堅いイメージがありますよね。世間で騒がれているような些細なことに興味がなく、数学と向き合う日々を過ごしているイメージがあります。  しかし、そんな数学者だからこそ、私たち凡人とは違う視点で「生き方」につい …