self-supervised learning
| part of a series on |
| machine learning and data mining |
|---|
Főnév
self-supervised learning (tsz. self-supervised learnings)
- (informatika) Self-Supervised Learning (önfelügyelt tanulás) a gépi tanulás egy olyan típusa, amelyben a modell saját maga generálja a tanuláshoz szükséges címkéket az adatokból, így nincs szükség manuálisan megadott, ember által jelölt címkékre (mint a felügyelt tanulásnál).
1. Mi az önfelügyelt tanulás?
Önfelügyelt tanulás során a modell egy nagy mennyiségű, címkézetlen adatból tanul úgy, hogy az adat egy részét “kiveszi”, vagy módosítja, majd megpróbálja ezt a hiányzó vagy módosított részt rekonstruálni vagy előre jelezni. Így maga az adat szolgáltatja a tanító jelet.
2. Miért fontos?
- Címkézés nélküli tanulás: Az adatok címkézése drága és időigényes, az önfelügyelt tanulás kiküszöböli ezt a problémát.
- Nagy adatmennyiség kihasználása: Nagy mennyiségű címkézetlen adat is felhasználható hatékony tanulásra.
- Előtanulás (pretraining): Sok modern mélytanuló modell, például nyelvi modellek, képfeldolgozó hálózatok is önfelügyelt módszerekkel tanulnak először.
3. Módszerek
- Előrejelzéses feladatok:
- Szövegek esetén a következő szó vagy betű előrejelzése (pl. GPT modellek).
- Képek esetén a kép egy részének kitalálása a többi rész alapján.
- Kontrasztív tanulás: A modell megtanulja, hogy hasonló példák (pl. ugyanannak a képnek különböző átalakításai) közel legyenek a reprezentációs térben, míg a különböző példák távol.
- Automatikus kódolók (Autoencoders): Az adatok tömörített reprezentációjának megtanulása, majd az eredeti adat rekonstrukciója.
4. Alkalmazások
- Természetes nyelvfeldolgozás (NLP): A nagy nyelvi modellek (BERT, GPT) önfelügyelt előtanulással készülnek.
- Képfeldolgozás: Képek előfeldolgozása, jellemzők kinyerése címkék nélkül.
- Beszédfeldolgozás: Beszédjelek előrejelzése vagy rekonstrukciója.
- Reprezentációtanulás: Általános jellemzők megtanulása különböző gépi tanulási feladatokhoz.
5. Előnyök és kihívások
- Előnyök:
- Csökkenti a drága címkézés szükségességét.
- Javítja a modellek általánosító képességét.
- Használható sokféle adattípusra.
- Kihívások:
- Megfelelő előfeladat (pretext task) kiválasztása kritikus.
- Néha nehéz értelmezni, hogy mit tanult meg a modell.
- A végső feladatban való alkalmazás finomhangolást igényelhet.
6. Összefoglalás
Az önfelügyelt tanulás lehetővé teszi, hogy a gépi tanuló modellek nagy mennyiségű, címkézetlen adatból tanuljanak, saját maguk generálva a tanításhoz szükséges jeleket. Ez a megközelítés kulcsfontosságú a modern mesterséges intelligencia fejlődésében, különösen a nyelvi és képfeldolgozó modellek területén.
- self-supervised learning - Szótár.net (en-hu)
- self-supervised learning - Sztaki (en-hu)
- self-supervised learning - Merriam–Webster
- self-supervised learning - Cambridge
- self-supervised learning - WordNet
- self-supervised learning - Яндекс (en-ru)
- self-supervised learning - Google (en-hu)
- self-supervised learning - Wikidata
- self-supervised learning - Wikipédia (angol)