Merhabalar daha önceki yazılarımızda bahsettiğimiz yöntemlerle önce taslak model oluşturmuş daha sonrasında ise bu taslak modele uygun algoritmaları kullanarak modelimizi oluşturmuştuk. Bu uygun algoritmaları neye göre uygun olup olmadığından bahsetmemiştik. Bu yazının başlığından da anlaşılacağı gibi modelimizin performansını değerlendirip hangisinin uygun olup olmadığını belirlememize yarayacak bazı ölçütlerden bahsedeceğim.
Confusion Matrix( Hata Matrixi)
Makine öğrenmesinde hedef verisi önceden belli olan veri setlerinden elde edilen ( model performans değerlendirme yöntemleri yani bahsettiğimiz 8 yöntemden birisiyle ) modellerin performansını değerlendirmek üzere en sık kullanılan yöntem confisuon matrix’dir. ( karışıklık matrisi) Modelin pozitif ve negatif örnekleri içerisinde barındıran test veri setini ne ölçüde sınıflandırdığımı gösteren matrix’e confusion matrix denir.
- TP (True Positive ): Test verisindeki değer ile modelin değer ettiği sınıf aynıdır. Doğru sınıflandırma yapmıştır.
- FN (False Negative ):Test verisindeki değer ile modelin ürettiği sınıf farklı. Pozitif ilken negatif sınıflandırılmış. Hatalı sınıflandırma yapmıştır.
- FP (False Positive ) : Gerçek değer negatif iken pozitif sınıflandırılmış. Hatalı sınıflandırma yapmıştır.
- TN (True Negative ): Gerçek değer negatif iken negatif sınıflandırılmıştır. Doğru sınıflandırma yapmıştır.
| GERÇEK DEĞERLER | |||
| TAHMİN EDİLEN DEĞERLER | POZİTİF | NEGATİF | |
| POZİTİF | Gerçek Pozitif
True Positive – TP |
Sahte Pozitif
False Positive – FP |
|
| NEGATİF | Sahte Negatif
False Negative – FN |
Gerçek Negatif
True Negative – TN |
|
Örnek bir problem üzerinde değerlendirirsek bazı öz niteliklerle bir hasta üzerinde X rahatsızlığı var ya da rahatsızlığı yok sonucuna varmak istiyoruz. Eğer ki;
- Hasta olmayan kişilere X rahatsızlığı var teşhisi koyarsan FP
- Hasta olmayanlara X rahatsızlığı yok dediysek TN
- Hasta olanlara X teşhisi var dediysek TP
- Hasta olanlara X teşhisi yok dediysek FN
DUYARLILIK ( Sensivity-Precision)
Modelin girdilerden pozitif sınıf etiketini tahmin etmekteki etkililiğini gösterir. Doğru sınıflandırılan pozitif örneklerin toplam pozitif örnek sayısına oranıdır ( FN ayni zamanda doğrudur) sadece pozitif için geçerli.
\(Duyarlılık=\frac{TP}{TP+FN}\)Modelin girdilerden pozitif sınıf etiketini tahmin etmekteki etkililiğini gösterir. Doğru sınıflandırılan pozitif örneklerin toplam pozitif örnek sayısına oranıdır ( FN aynı zamanda doğrudur) sadece pozitif için geçerli.
BELİRLEYİCİLİK (Specifity)
\(Specifity=\frac{TN}{TN+FP}\)Modelin girdilerdeki negatif sınıf etiketini tahmin etmedeki becerisidir. Doğru sınıflandırılan negatif örneklerin toplam negatif örnek sayısına oranı ile hesaplanır. (FP aynı zamanda negatifidir)
KESİNLİK( Pozitif Öngörü- Recall)
\(Recall=\frac{TP}{TP+FP}\)Doğru sınıflandırılan pozitif örneklerin toplam pozitif tahmin edilen örneklere oranıdır.
F-ÖLÇÜTÜ
Kesinlik ve duyarlık performans değerlendirme ölçütlerinin harmonik ortalamasıdır. Her iki ölçütü birlikte değerlendirme imkanı verir.
\(F-Ölçütü=\frac {2*Precision*Recall}{Precision+Recall}\)Sınıflandırıcının eşik değeri belirlenirken F değeri göz önünde bulundurulur.
Doğruluk
Modelin gerçekte doğru sınıflandırdığı örneklerin sayısıdır.
\(Doğruluk=TP+TN\)
Doğruluk modelin genel olarak doğru olup olmadığını karakterize eder.
