Deep Learning Tutorial aloittelijoille: Neuraaliverkon perusteet

Mikä on syväoppiminen?

Deep Learning on tietokoneohjelmisto, joka jäljittelee aivojen neuronien verkkoa. Se on koneoppimisen osajoukko, joka perustuu keinotekoisiin hermoverkkoihin, joissa on esitysoppiminen. Sitä kutsutaan syväoppimiseksi, koska se hyödyntää syviä hermoverkkoja. Tämä oppiminen voi olla ohjattua, puoliohjattua tai ohjaamatonta.

Syväoppimisalgoritmit rakennetaan yhdistetyistä kerroksista.

• Ensimmäistä kerrosta kutsutaan syöttötasoksi
• Viimeistä kerrosta kutsutaan tulostuskerrokseksi
• Kaikkia kerroksia niiden välissä kutsutaan piilotasoiksi. Sana syvä tarkoittaa, että verkko yhdistää hermosolut useammassa kuin kahdessa kerroksessa.

Jokainen piilotettu kerros koostuu neuroneista. Neuronit ovat yhteydessä toisiinsa. Neuroni käsittelee ja levittää sitten tulosignaalia, jonka se vastaanottaa sen yläpuolella olevan kerroksen. Seuraavassa kerroksessa hermosolulle antaman signaalin voimakkuus riippuu painosta, biasista ja aktivointifunktiosta.

Verkko kuluttaa suuria määriä syöttödataa ja käyttää niitä useiden kerrosten kautta; verkko voi oppia datan yhä monimutkaisempia ominaisuuksia kullakin tasolla.

Syväoppimisprosessi

Syvä hermoverkko tarjoaa huippuluokan tarkkuuden monissa tehtävissä kohteen havaitsemisesta puheentunnistukseen. He voivat oppia automaattisesti ilman ohjelmoijien nimenomaisesti koodaamaa ennalta määritettyä tietoa.

Ymmärtääksesi syvän oppimisen ajatuksen, kuvittele perhe, jossa on vauva ja vanhemmat. Taaperolapsi osoittaa esineitä pikkusormellaan ja sanoo aina sanan "kissa". Koska hänen vanhempansa ovat huolissaan hänen koulutuksestaan, he sanovat hänelle jatkuvasti "Kyllä, se on kissa" tai "Ei, se ei ole kissa." Vauva osoittaa jatkuvasti esineitä, mutta tarkentuu "kissojen" kanssa. Pieni lapsi syvällä sisimmässään ei tiedä, miksi hän voi sanoa, että se on kissa tai ei. Hän on juuri oppinut hierarkioimaan kissan monimutkaiset ominaisuudet katsomalla lemmikin yleistä ja keskittyä edelleen yksityiskohtiin, kuten hännät tai nenä ennen päätöksensä.

Hermoverkko toimii aivan samalla tavalla. Jokainen kerros edustaa syvempää tiedon tasoa eli tiedon hierarkiaa. Neuraaliverkko, jossa on neljä kerrosta, oppii monimutkaisemman ominaisuuden kuin kaksikerroksinen.

Oppiminen tapahtuu kahdessa vaiheessa:

Ensimmäinen vaihe: Ensimmäinen vaihe koostuu syötteen epälineaarisen muunnoksen soveltamisesta ja tilastollisen mallin luomisesta tulosteena.
Toinen vaihe: Toisessa vaiheessa pyritään parantamaan mallia matemaattisella menetelmällä, joka tunnetaan derivaatana.

Neuraaliverkko toistaa nämä kaksi vaihetta satoja tai tuhansia kertoja, kunnes se on saavuttanut siedettävän tarkkuustason. Tämän kaksivaiheisen vaiheen toistoa kutsutaan iteraatioksi.

Antaaksesi esimerkin syväoppimisesta, katso alla olevaa liikettä, malli yrittää oppia tanssimaan. 10 minuutin harjoittelun jälkeen malli ei osaa tanssia, ja se näyttää raapukselta.

48 tunnin oppimisen jälkeen tietokone hallitsee tanssin taidon.

Neuroverkkojen luokittelu

Matala neuroverkko: Shallow-hermoverkossa on vain yksi piilotettu kerros tulon ja lähdön välissä.

Syvä hermoverkko: Syvillä neuroverkoilla on useampi kuin yksi kerros. Esimerkiksi Google LeNet -malli kuvantunnistukseen laskee 22 kerrosta.

Nykyään syväoppimista käytetään monilla tavoilla, kuten kuljettajaton auto, matkapuhelin, Google-hakukone, petosten havaitseminen, televisio ja niin edelleen.

Syväoppimisverkostojen tyypit

Nyt tässä Deep Neural Network -opetusohjelmassa opimme syvien oppimisverkkojen tyypeistä:

Feed-forward-hermoverkot

Yksinkertaisin keinotekoisen hermoverkon tyyppi. Tämän tyyppisessä arkkitehtuurissa tieto virtaa vain yhteen suuntaan, eteenpäin. Se tarkoittaa, että tietovirrat alkavat syöttökerroksesta, menevät "piilotettuihin" kerroksiin ja päättyvät tuloskerrokseen. Verkko

ei ole silmukkaa. Tiedot pysähtyvät tulostekerroksiin.

Toistuvat neuroverkot (RNN:t)

RNN on monikerroksinen hermoverkko, joka voi tallentaa tietoa kontekstisolmuihin, jolloin se voi oppia datasekvenssejä ja tulostaa numeron tai muun sekvenssin. Yksinkertaisesti sanottuna se on keinotekoinen hermoverkko, jonka hermosolujen väliset yhteydet sisältävät silmukoita. RNN:t sopivat hyvin syötteiden sekvenssien käsittelyyn.

Esimerkiksi, jos tehtävänä on ennustaa seuraava sana lauseessa ”Haluatko…………?

• RNN-neuronit vastaanottavat signaalin, joka osoittaa lauseen alkuun.
• Verkko vastaanottaa syötteenä sanan "Do" ja tuottaa numeron vektorin. Tämä vektori syötetään takaisin neuroniin muistin muodostamiseksi verkkoon. Tämä vaihe auttaa verkkoa muistamaan, että se sai "Tee" ja se vastaanotti sen ensimmäisellä paikalla.
• Verkko jatkaa samalla tavalla seuraaviin sanoihin. Se vaatii sanat "sinä" ja "halua". Neuronien tila päivitetään jokaisen sanan vastaanoton yhteydessä.
• Viimeinen vaihe tapahtuu sanan "a" vastaanottamisen jälkeen. Neuraaliverkko antaa todennäköisyyden jokaiselle englanninkieliselle sanalle, jota voidaan käyttää lauseen täydentämiseen. Hyvin koulutettu RNN antaa todennäköisesti suuren todennäköisyyden "kahvilalle", "juomalle", "hampurilaiselle" jne.

RNN:n yleiset käyttötavat

• Auta arvopaperikauppiaita luomaan analyyttisiä raportteja
• Havaitse poikkeamat tilinpäätössopimuksesta
• Tunnista vilpillinen luottokorttitapahtuma
• Anna kuville kuvateksti
• Power chatbotit
• RNN:n vakiokäyttö tapahtuu, kun harjoittajat työskentelevät aikasarjadatan tai -sekvenssien (esim. äänitallenteiden tai tekstin) kanssa.

Konvoluutio-neuroverkot (CNN)

CNN on monikerroksinen hermoverkko, jolla on ainutlaatuinen arkkitehtuuri, joka on suunniteltu poimimaan yhä monimutkaisempia ominaisuuksia kunkin kerroksen datasta tulosten määrittämiseksi. CNN:t sopivat hyvin havainnointitehtäviin.

CNN:ää käytetään enimmäkseen silloin, kun on olemassa strukturoimaton tietojoukko (esim. kuvat) ja ammatinharjoittajien täytyy poimia siitä tietoa.

Jos tehtävänä on esimerkiksi ennustaa kuvan kuvateksti:

• CNN vastaanottaa kuvan vaikkapa kissasta, tämä kuva on tietokoneella sanottuna kokoelma pikseliä. Yleensä yksi kerros harmaasävykuvalle ja kolme kerrosta värikuvalle.
• Ominaisuuden oppimisen aikana (eli piilotetut kerrokset) verkko tunnistaa ainutlaatuisia ominaisuuksia, kuten kissan hännän, korvan jne.
• Kun verkko on oppinut perusteellisesti tunnistamaan kuvan, se voi antaa todennäköisyyden jokaiselle tuntemalleen kuvalle. Todennäköisimmin etiketistä tulee verkon ennuste.

Vahvistusoppiminen

Vahvistusoppiminen on koneoppimisen alakenttä, jossa järjestelmiä koulutetaan vastaanottamalla virtuaalisia "palkintoja" tai "rangaistuksia", lähinnä yrityksen ja erehdyksen avulla. Googlen DeepMind on käyttänyt vahvistusoppimista voittaakseen ihmismestarin Go-peleissä. Vahvistusoppimista käytetään myös videopeleissä parantamaan pelikokemusta tarjoamalla älykkäämpiä botteja.

Yksi tunnetuimmista algoritmeista on:

• Q-oppiminen
• Syvä Q-verkko
• State-Action-Reward-State-Action (SARSA)
• Deep Deterministic Policy Gradient (DDPG)

Esimerkkejä syvän oppimisen sovelluksista

Tässä Deep learning aloittelijoille -opetusohjelmassa opitaan Deep Learning -sovelluksista:

Tekoäly rahoituksessa

Finanssiteknologiasektori on jo alkanut käyttää tekoälyä säästääkseen aikaa, alentaakseen kustannuksia ja lisätäkseen arvoa. Syväoppiminen muuttaa luotonantoalaa käyttämällä tehokkaampaa luottoluokitusta. Luottopäätöksentekijät voivat käyttää tekoälyä vankoihin luottoluottohakemuksiin nopeamman ja tarkemman riskinarvioinnin saavuttamiseksi käyttämällä koneälyä huomioimaan hakijoiden luonteen ja kapasiteetin.

Underwrite on Fintech-yritys, joka tarjoaa tekoälyratkaisuja luottoyhtiöille. underwrite.ai käyttää tekoälyä tunnistamaan, kumpi hakija maksaa todennäköisemmin lainan takaisin. Heidän lähestymistapansa ylittää radikaalisti perinteiset menetelmät.

AI HR:ssä

Under Armour, urheiluvaateyritys mullistaa palkkaamisen ja modernisoi ehdokkaiden kokemusta tekoälyn avulla. Itse asiassa Under Armour lyhentää vähittäiskauppojen palkkaamisaikaa 35%. Under Armour kohtasi kasvavaa suosiota jo vuonna 2012. Heillä oli keskimäärin 30000 XNUMX ansioluetteloa kuukaudessa. Kaikkien näiden hakemusten lukeminen ja seulonta- ja haastatteluprosessin aloittaminen kesti liian kauan. Pitkä prosessi ihmisten palkkaamiseksi ja laivaan ottamiseksi vaikutti Under Armourin kykyyn saada vähittäiskaupat täyteen miehistöihin, rampatettuihin ja toimintavalmiisiin.

Tuolloin Under Armourilla oli kaikki "must have" HR-tekniikka, kuten hankintaan, soveltamiseen, seurantaan ja käyttöönottoon liittyvät transaktioratkaisut, mutta ne eivät olleet tarpeeksi hyödyllisiä. Valitse panssarin alla HireVue, HR-ratkaisujen tekoälytoimittaja sekä tilaus- että livehaastatteluihin. Tulokset olivat bluffausta; ne onnistuivat lyhentämään täyttöaikaa 35 %. Vastineeksi palkattu laadukkaampi henkilökunta.

AI markkinoinnissa

Tekoäly on arvokas työkalu asiakaspalvelun hallintaan ja personointihaasteisiin. Parannettu puheentunnistus puhelinkeskuksen hallinnassa ja puhelujen reitityksessä AI-tekniikoiden soveltamisen ansiosta mahdollistaa saumattoman kokemuksen asiakkaille.

Esimerkiksi äänen syväoppimisen analyysi mahdollistaa järjestelmien arvioinnin asiakkaan tunnesävyn. Jos asiakas vastaa huonosti AI chatbot, järjestelmä voidaan reitittää keskustelu todellisille ihmisoperaattoreille, jotka ottavat asian hoitaakseen.

Kolmen yllä olevan syväoppimisen esimerkin lisäksi tekoälyä käytetään laajalti muilla aloilla/toimialoilla.

Miksi syväoppiminen on tärkeää?

Syväoppiminen on tehokas työkalu tehdä ennustamisesta toimiva tulos. Syväoppiminen loistaa kuvioiden löytämisessä (ohjaamaton oppiminen) ja tietoon perustuvassa ennustamisessa. Big data on polttoaine syvään oppimiseen. Kun molemmat yhdistetään, organisaatio voi saada ennennäkemättömiä tuloksia tuottavuuden, myynnin, johtamisen ja innovaatioiden osalta.

Syväoppiminen voi menestyä paremmin kuin perinteinen menetelmä. Esimerkiksi syväoppimisalgoritmit ovat 41 % tarkempia kuin koneoppimisalgoritmi kuvien luokittelussa, 27 % tarkempia kasvojentunnistuksessa ja 25 % tarkempia äänentunnistuksessa.

Syväoppimisen rajoitukset

Nyt tässä hermoverkko-opetusohjelmassa opimme Deep Learningin rajoituksista:

Tietojen merkinnät

Useimmat nykyiset tekoälymallit koulutetaan "ohjatun oppimisen kautta". Se tarkoittaa, että ihmisten on merkittävä ja luokiteltava taustalla olevat tiedot, mikä voi olla mittava ja virhealtis urakka. Esimerkiksi itse ajavien autojen teknologioita kehittävät yritykset palkkaavat satoja ihmisiä kirjoittamaan manuaalisesti tuntikausia videosyötteitä prototyyppiajoneuvoista auttaakseen näiden järjestelmien kouluttamista.

Hanki valtavia koulutustietojoukkoja

On osoitettu, että yksinkertaiset syväoppimistekniikat, kuten CNN, voivat joissain tapauksissa jäljitellä lääketieteen ja muiden alojen asiantuntijoiden tietämystä. Nykyinen aalto koneoppiminenvaatii kuitenkin koulutustietosarjoja, jotka eivät ole vain merkittyjä, vaan myös riittävän laajoja ja yleismaailmallisia.

Syväoppimismenetelmät vaativat tuhansia havaintoja, jotta malleista tulisi suhteellisen hyviä luokittelutehtävissä, ja joissakin tapauksissa miljoonia, jotta ne suoriutuivat ihmisen tasolla. Ilman yllätystä syväoppiminen on kuuluisa jättiläisteknologiayrityksissä; he käyttävät big dataa kerätäkseen petabyyttiä tietoa. Sen avulla he voivat luoda vaikuttavan ja erittäin tarkan syväoppimismallin.

Selitä ongelma

Suuria ja monimutkaisia ​​malleja voi olla vaikea selittää inhimillisesti. Esimerkiksi miksi tietty päätös tehtiin. Se on yksi syy siihen, että joidenkin tekoälytyökalujen hyväksyminen on hidasta sovellusalueilla, joilla tulkittavuus on hyödyllistä tai jopa välttämätöntä.

Lisäksi, kun tekoälyn sovellus laajenee, sääntelyvaatimukset voivat myös lisätä tarvetta selitettäville tekoälymalleille.

Yhteenveto

Syväoppimisen yleiskatsaus: Syväoppiminen on uusi huipputekniikka tekoäly. Syväoppimisarkkitehtuuri koostuu syöttökerroksesta, piilotetuista kerroksista ja tulostekerroksesta. Sana syvä tarkoittaa, että on enemmän kuin kaksi täysin yhdistettyä kerrosta.

On olemassa valtava määrä neuroverkkoja, joissa jokainen arkkitehtuuri on suunniteltu suorittamaan tietty tehtävä. Esimerkiksi CNN toimii erittäin hyvin kuvien kanssa, RNN tarjoaa vaikuttavia tuloksia aikasarjoilla ja tekstianalyysillä.

Syväoppiminen on nyt aktiivista eri aloilla rahoituksesta markkinointiin, toimitusketjuun ja markkinointiin. Suuret yritykset ovat ensimmäisiä, jotka käyttävät syväoppimista, koska niillä on jo suuri tietovarasto. Syväoppiminen vaatii laajan harjoitustietojoukon.