Matriks Kebingungan dalam Pembelajaran Mesin dengan CONTOH

Apa itu Matriks Kebingungan?

Matriks konfusi adalah teknik pengukuran kinerja untuk klasifikasi pembelajaran mesin. Ini adalah semacam tabel yang membantu Anda mengetahui kinerja model klasifikasi pada sekumpulan data uji sehingga nilai sebenarnya diketahui. Istilah matriks konfusi sendiri sangat sederhana, namun terminologi terkaitnya bisa sedikit membingungkan. Di sini, beberapa penjelasan sederhana diberikan untuk teknik ini.

Empat hasil dari matriks kebingungan

Matriks kebingungan memvisualisasikan keakuratan pengklasifikasi dengan membandingkan kelas aktual dan kelas yang diprediksi. Matriks kebingungan biner terdiri dari kotak-kotak:

• TP: Benar Positif: Nilai yang diprediksi diprediksi dengan benar sebagai positif aktual
• FP: Nilai yang diprediksi salah memperkirakan nilai positif sebenarnya. yaitu, nilai Negatif diprediksi sebagai positif
• FN: False Negative: Nilai positif diprediksi negatif
• TN: True Negative: Nilai yang diprediksi diprediksi dengan benar sebagai negatif sebenarnya

Anda dapat menghitungnya tes akurasi dari matriks kebingungan:

Contoh Matriks Kebingungan

Confusion Matrix adalah metode pembelajaran mesin berguna yang memungkinkan Anda mengukur kurva Recall, Precision, Accuracy, dan AUC-ROC. Di bawah ini diberikan contoh untuk mengetahui istilah True Positive, True Negative, False Negative, dan True Negative.

Benar Positif:

Anda memproyeksikan hal positif dan ternyata itu benar. Misalnya, Anda meramalkan bahwa Prancis akan memenangkan piala dunia, dan ternyata mereka menang.

Negatif Sejati:

Ketika prediksi Anda negatif, dan itu benar. Anda telah meramalkan bahwa Inggris tidak akan menang dan kalah.

Positif Palsu:

Prediksi Anda positif, dan salah.

Anda telah meramalkan bahwa Inggris akan menang, namun ternyata kalah.

Negatif Palsu:

Prediksi Anda negatif, dan hasilnya juga salah.

Anda telah memperkirakan bahwa Prancis tidak akan menang, namun ternyata menang.

Anda harus ingat bahwa kami mendeskripsikan nilai prediksi sebagai Benar atau Salah atau Positif dan Negatif.

Cara Menghitung Matriks Kebingungan

Di sini, adalah proses langkah demi langkah untuk menghitung Matriks Kebingungan data mining

• Langkah 1) Pertama, Anda perlu menguji kumpulan data dengan nilai hasil yang diharapkan.
• Langkah 2) Prediksi semua baris dalam kumpulan data pengujian.
• Langkah 3) Hitung prediksi dan hasil yang diharapkan:

1. Total prediksi benar tiap kelas.
2. Jumlah prediksi salah tiap kelas.

Setelah itu, angka-angka ini disusun dengan metode yang diberikan di bawah ini:

• Setiap baris matriks tertaut ke kelas prediksi.
• Setiap kolom matriks berhubungan dengan kelas sebenarnya.
• Jumlah total klasifikasi yang benar dan salah dimasukkan ke dalam tabel.
• Jumlah prediksi yang benar untuk suatu kelas dimasukkan ke dalam kolom prediksi dan baris yang diharapkan untuk nilai kelas tersebut.
• Jumlah prediksi yang salah untuk suatu kelas dimasukkan ke dalam baris yang diharapkan untuk nilai kelas tersebut dan kolom prediksi untuk nilai kelas tertentu tersebut.

Istilah Penting Lainnya menggunakan matriks Kebingungan

• Nilai Prediktif Positif (PVV): Ini sangat mendekati presisi. Salah satu perbedaan signifikan antara kedua istilah tersebut adalah PVV mempertimbangkan prevalensi. Dalam situasi di mana kelas-kelasnya seimbang sempurna, nilai prediksi positif sama dengan presisi.

• Tingkat Kesalahan Nol: Istilah ini digunakan untuk menentukan berapa kali prediksi Anda salah jika Anda dapat memprediksi kelas mayoritas. Anda dapat menganggapnya sebagai metrik dasar untuk membandingkan pengklasifikasi Anda.

• Skor F: Skor F1 merupakan skor rata-rata tertimbang dari true positif (recall) dan presisi.

• Kurva Roc: Kurva Roc menunjukkan tingkat positif sebenarnya terhadap tingkat positif palsu di berbagai titik potong. Hal ini juga menunjukkan trade-off antara sensitivitas (recall dan spesifisitas atau tingkat negatif sebenarnya).
• Presisi: Metrik presisi menunjukkan keakuratan kelas positif. Ini mengukur seberapa besar kemungkinan prediksi kelas positif itu benar.

Skor maksimum adalah 1 ketika pengklasifikasi mengklasifikasikan semua nilai positif dengan sempurna. Presisi saja tidak terlalu membantu karena mengabaikan kelas negatif. Metrik ini biasanya dipasangkan dengan metrik Recall. Penarikan kembali disebut juga sensitivitas atau tingkat positif sebenarnya.

• Kepekaan: Sensitivitas menghitung rasio kelas positif yang terdeteksi dengan benar. Metrik ini menunjukkan seberapa baik model dalam mengenali kelas positif.

Mengapa Anda membutuhkan matriks Kebingungan?

Berikut adalah kelebihan/manfaat menggunakan matriks konfusi.

• Ini menunjukkan betapa bingungnya model klasifikasi saat membuat prediksi.
• Matriks kebingungan tidak hanya memberi Anda wawasan tentang kesalahan yang dibuat oleh pengklasifikasi Anda, tetapi juga jenis kesalahan yang dibuat.
• Perincian ini membantu Anda mengatasi keterbatasan penggunaan akurasi klasifikasi saja.
• Setiap kolom matriks konfusi mewakili instance dari kelas yang diprediksi tersebut.
• Setiap baris matriks konfusi mewakili instance kelas sebenarnya.
• Ini memberikan wawasan tidak hanya kesalahan yang dibuat oleh pengklasifikasi tetapi juga kesalahan yang dibuat.