Sekaannusmatriisi koneoppimisessa EXAMPLE:n kanssa

Mikä on Confusion Matrix?

Sekaannusmatriisi on suorituskyvyn mittaustekniikka koneoppimisen luokitteluun. Se on eräänlainen taulukko, joka auttaa sinua tietämään luokitusmallin suorituskyvyn testidatajoukolla, jotta todelliset arvot tiedetään. Itse termi sekaannusmatriisi on hyvin yksinkertainen, mutta siihen liittyvä terminologia voi olla hieman hämmentävää. Tässä on yksinkertainen selitys tälle tekniikalle.

Sekaannusmatriisin neljä tulosta

Sekaannusmatriisi visualisoi luokittelijan tarkkuuden vertaamalla todellista ja ennustettua luokkia. Binäärisekoitusmatriisi koostuu neliöistä:

• TP: True Positive: Ennustetut arvot on ennustettu oikein todellisina positiivisina
• FP: Ennustetut arvot ennustivat väärin todellisen positiivisen. eli negatiiviset arvot ennustetaan positiivisiksi
• FN: Väärä negatiivinen: Positiiviset arvot ennustetaan negatiivisiksi
• TN: True Negative: Ennustetut arvot on ennustettu oikein todellisina negatiivisina

Voit laskea tarkkuustesti hämmennysmatriisista:

Esimerkki hämmennysmatriisista

Confusion Matrix on hyödyllinen koneoppimismenetelmä, jonka avulla voit mitata Recall-, Precision-, Accuracy- ja AUC-ROC-käyrää. Alla on esimerkki termien tosi positiivinen, tosi negatiivinen, väärä negatiivinen ja tosi negatiivinen tuntemiseen.

Todella positiivinen:

Projisoit positiivista ja se osoittautui todeksi. Olit esimerkiksi ennustanut Ranskan voittavan maailmanmestaruuden, ja se voitti.

Todellinen negatiivinen:

Kun ennustit negatiivista, ja se on totta. Olit ennustanut, että Englanti ei voita ja se hävisi.

Väärä positiivinen:

Ennustuksesi on myönteinen ja se on väärä.

Ennustit Englannin voittavan, mutta se hävisi.

Väärä negatiivinen:

Ennustuksesi on negatiivinen, ja myös tulos on väärä.

Olet ennustanut, että Ranska ei voita, mutta se voitti.

Muista, että kuvaamme ennustettuja arvoja joko tosi tai epätosi tai positiivisina ja negatiivisina.

Kuinka laskea sekaannusmatriisi

Tässä on askel askeleelta prosessi sekaannusmatriisin laskemiseksi data mining

• Vaihe 1) Ensin sinun on testattava tietojoukko sen odotettujen tulosarvojen kanssa.
• Vaihe 2) Ennusta kaikki testitietojoukon rivit.
• Vaihe 3) Laske odotetut ennusteet ja tulokset:

1. Jokaisen luokan oikeat ennusteet yhteensä.
2. Jokaisen luokan virheellisten ennusteiden kokonaismäärä.

Sen jälkeen nämä numerot järjestetään alla olevilla menetelmillä:

• Jokainen matriisin rivi linkittää ennustettuun luokkaan.
• Jokainen matriisin sarake vastaa todellista luokkaa.
• Oikeiden ja virheellisten luokittelujen kokonaismäärät syötetään taulukkoon.
• Luokan oikeiden ennusteiden summa menee kyseisen luokan arvon ennustettuun sarakkeeseen ja odotettuun riviin.
• Luokan virheellisten ennusteiden summa menee kyseisen luokan arvon odotettuun riviin ja kyseisen luokan arvon ennustettuun sarakkeeseen.

Muita tärkeitä termejä sekaannusmatriisin avulla

• Positiivinen ennakoiva arvo (PVV): Tämä on hyvin lähellä tarkkuutta. Yksi merkittävä ero kahden termin välillä on se, että PVV ottaa huomioon esiintyvyyden. Tilanteessa, jossa luokat ovat täysin tasapainossa, positiivinen ennustearvo on sama kuin tarkkuus.

• Nolla virheprosentti: Tätä termiä käytetään määrittelemään, kuinka monta kertaa ennustuksesi olisi väärä, jos pystyt ennustamaan enemmistöluokan. Voit pitää sitä perusmittarina luokittelijasi vertailussa.

• F-pisteet: F1-pisteet on painotettu keskiarvo todellisesta positiivisesta (palauttaminen) ja tarkkuudesta.

• Roc-käyrä: Roc-käyrä näyttää todelliset positiiviset luvut verrattuna vääriin positiivisiin lukuihin eri leikkauspisteissä. Se osoittaa myös kompromissin herkkyyden (muistutuksen ja spesifisyyden tai todellisen negatiivisen määrän) välillä.
• tarkkuus: Tarkkuusmetriikka näyttää positiivisen luokan tarkkuuden. Se mittaa, kuinka todennäköisesti positiivisen luokan ennuste on oikea.

Maksimipistemäärä on 1, kun luokitin luokittelee täydellisesti kaikki positiiviset arvot. Pelkästään tarkkuus ei ole kovin hyödyllinen, koska se jättää huomioimatta negatiivisen luokan. Mittari yhdistetään yleensä pariksi Recall-mittarin kanssa. Palautusta kutsutaan myös herkkyydeksi tai todelliseksi positiiviseksi koroksi.

• Herkkyys: Herkkyys laskee oikein havaittujen positiivisten luokkien suhteen. Tämä mittari kertoo, kuinka hyvä malli tunnistaa positiivisen luokan.

Miksi tarvitset Confusion-matriisin?

Tässä on sekavuusmatriisin käytön edut/edut.

• Se osoittaa, kuinka mikä tahansa luokitusmalli on hämmentynyt, kun se tekee ennusteita.
• Sekaannusmatriisi ei ainoastaan ​​anna käsitystä luokittelijasi tekemistä virheistä, vaan myös virhetyypeistä, joita tehdään.
• Tämä erittely auttaa sinua voittamaan rajoitukset, jotka liittyvät pelkän luokittelutarkkuuden käyttöön.
• Jokainen sekaannusmatriisin sarake edustaa kyseisen ennustetun luokan esiintymiä.
• Kukin sekavuusmatriisin rivi edustaa todellisen luokan esiintymiä.
• Se tarjoaa käsityksen paitsi luokittelijan tekemistä virheistä myös virheistä, joita tehdään.