softmax function

Angol

Főnév

softmax function (tsz. softmax functions)

(informatika) softmax függvény

A softmax függvény egy matematikai függvény, amelyet széles körben alkalmaznak a gépi tanulásban, különösen klasszifikációs problémáknál. Fő célja, hogy egy valós számokat tartalmazó vektort valószínűségi eloszlássá alakítson. Ez azt jelenti, hogy minden kimeneti érték:

pozitív lesz,
és az összegük pontosan 1.

Alapdefiníció

Legyen adott egy valós számokat tartalmazó vektor:

$𝐳 = [z_{1}, z_{2}, \dots, z_{K}]$

A softmax függvény minden $z_{i}$ -hez a következő értéket rendeli:

$softmax (z_{i}) = \frac{e^{z_{i}}}{\sum_{j = 1}^{K} e^{z_{j}}}$

Ez azt jelenti, hogy minden komponens exponenciális értékét vesszük, és elosztjuk az összes komponens exponenciális összegével.

Intuíció

Az exponenciálás kiemeli a nagyobb értékeket.
Az összeggel való osztás garantálja, hogy a végeredmény normalizált valószínűségeloszlás lesz.

Ha pl. egy neurális háló utolsó rétegének kimenete:

$[2.0, 1.0, 0.1]$

akkor softmax után kb. így alakul:

$[0.65, 0.24, 0.11]$

A legnagyobb kimenethez a legnagyobb valószínűség tartozik.

Alkalmazás a gépi tanulásban

1. Többosztályos klasszifikáció

A softmax az utolsó réteg aktivációja, ha a modell több kategória közül választ (pl. képfelismerés: macska, kutya, autó…).

2. Cross-entropy veszteség (loss)

A softmax kimenete együtt használható a keresztentrópia veszteségfüggvénnyel, ami összehasonlítja a modell által adott valószínűségi eloszlást a valódi (one-hot) címkével.

3. Valószínűségi értelmezés

A softmax révén minden kimenet értelmezhető úgy, mint annak valószínűsége, hogy a bemenet egy adott osztályba tartozik.

Numerikus stabilitás – trükk

A nagy értékek miatt előfordulhat túlcsordulás (overflow) az exponenciálásnál. Ezért gyakori technika:

$softmax (z_{i}) = \frac{e^{z_{i} - max (z)}}{\sum_{j} e^{z_{j} - max (z)}}$

Ez nem változtatja meg az eredményt, de csökkenti a számítási hibát.

Példa (kézzel számolva)

Legyen:

$z = [3.0, 1.0, 0.2]$

Először:

$e^{3.0} = 20.09, e^{1.0} = 2.72, e^{0.2} = 1.22$

Összeg:

$20.09 + 2.72 + 1.22 = 24.03$

Softmax értékek:

Értelmezés sikertelen (formai hiba): {\displaystyle \left[\frac{20.09}{24.03}, \frac{2.72}{24.03}, \frac{1.22}{24.03}\right] ≈ [0.836, 0.113, 0.051] }

Deriváltja (gradiens)

A softmax függvény deriváltját gyakran kell számolni a visszaterjesztés (backpropagation) során.

A derivált mátrix (Jacobi-mátrix):

$\frac{\partial {softmax}_{i}}{\partial z_{j}} = {softmax}_{i} \cdot (δ_{i j} - {softmax}_{j})$

Ahol $δ_{i j}$ a Kronecker-delta (1, ha $i = j$ , egyébként 0).

Összefoglalás

Tulajdonság	Részletek
Bemenet	Valós számok vektora
Kimenet	Valószínűségek vektora (mindegyik ≥ 0, összegük = 1)
Leggyakoribb alkalmazás	Többosztályos klasszifikáció
Előnye	Könnyen értelmezhető valószínűségi kimenet
Hátránya	Túl magabiztossá teheti a modellt (túlzottan éles eloszlás)

További információk

softmax function - Szótár.net (en-hu)
softmax function - Sztaki (en-hu)
softmax function - Merriam–Webster
softmax function - Cambridge
softmax function - WordNet
softmax function - Яндекс (en-ru)
softmax function - Google (en-hu)
softmax function - Wikidata
softmax function - Wikipédia (angol)