DMS Pregled područja - Evaluacija modela

Evaluacija modela (otkrivenog znanja)

Evaluacija (ocjena) modela odnosno otkrivenog znanja je ključna komponenta procesa modeliranja. Zavisno od problema, možemo primijeniti različite metode evaluacije. Budući da je klasifikacija najčešći problem u inteligentnoj analizi podataka (i drugi tipovi problema mogu se pretvoriti u klasifikacijske probleme), a DMS sistem indukcije pravila takodjer je namijenjen rješavanju klasifikacijskih problema, to je i ovaj prikaz metodologije evaluacije modela baziran na klasifikacijskim problemima.

Jednostavne mjere za evaluaciju klasifikacijskih modela

Osnovni pojam pri evaluaciji klasifikacijskih modela, jest pojam greške. Jednostavno rečeno, greška u slučaju klasifikacijskih problema je pogrešna klasifikacija: ako se model (klasifikator) primjeni na odredjeni primjer iz skupa podataka, on ga klasificira u pogrešnu klasu (kategoriju) ciljnog atributa. Ukoliko su sve greške iste tev ine, tada omjer broja grešaka prema ukupnom broju klasificiranih primjera predstavlja dobru mjeru rada klasifikatora (modela). No, u mnogim primjenama, razlike u odredjenim tipovima grešaka su od velike važnosti. Npr. u medicinskoj domeni, pogrešno klasificiranje nekog pacijenta u klasu zdravih, može biti puno ozbiljnija greška od suprotnog, ako se radi o ozbiljnoj, po život opasnoj bolesti.

Ukoliko je razlikovanje različitih tipova grešaka važno, tada je upotreba tzv. 'matrice grešaka' ("confusion matrix"), nužna za njihovu kvalitetnu analizu. Tablica 1 je prikaz jedne takve matrice grešaka za klasifikacijski problem s tri klase.

Stvarna klasa

Procijenjena klasa

1

2

3

1

30

1

0

2

1

43

5

3

0

2

75

Tablica 1: Primjer 'matrice grešaka za klasifikacijski problem s tri klase.

'Matrica grešaka' daje nam broj primjera koji su točno klasificirani, naspram onih koji su klasificirani kao neka od preostalih klasa. Broj točno klasificiranih primjera dan je uzduž dijagonale matrice. Svi ostali brojevi u matrici predstavljaju broj krivo klasificiranih primjera, za odredjene tipove greške. Npr., primjeri klase 2 u Tablici 1, klasificirani su točno u 43 slučaja, a pogrešno u 3 slučaja. Klasifikacijski problemi s dvije klase, najčešće se susreću u praksi, jer se i više-klasni problemi mogu prikazati kao niz klasifikacijskih problema s dvije klase (DMS sistem za indukciju pravila takodjer radi na tom principu). U slučaju dvije klase, moguća su dva tipa grešaka: lažno pozitivni primjeri, ili lažno negativni primjeri. Tablica 2 ilustrira 'matricu grešaka' za slučaj dvije klase.

	Klasa pozitivnih primjera (C+)	Klasa negativnih primjera (C-)
Pozitivna predikcija (R+)	Stvarno pozitivni (TP)	Lažno pozitivni (FP)
Negativna predikcija (R-)	Lažno negativni (FN)	Stvarno negativni (TN)

Tablica 2: 'Matrica grešaka' za klasifikacijski problem s dvije klase.

Točnost kao mjera za evaluaciju kvalitete klasifikacijskih modela ima mnogo nedostataka. Neki od osnovnih su slijedeći:

zanemaruju se razlike izmedju tipova grešaka;
točnost je zavisna o distribuciji klasa u skupu podataka, a ne o karakteristikama primjera.

U medicinskoj dijagnostici češće se kao metrika koriste senzitivnost i specifičnost. Senzitivnost je ustvari točnost u pozitivnim primjerima, a specifičnost u negativnim primjerima. Senzitivnost i specifičnost ne pate od nedostataka tipičnih za točnost (rezolucija izmedju različitih tipova grešaka, te zavisnost o distribuciji klasa). Koristeći notaciju iz Tablice 2, senzitivnost i specifičnost mogu se izraziti kao:

U evaluaciji informacijskih sistema, najčešće se koriste mjere poput 'odziva' ("recall") i preciznosti:

Odziv i preciznost najčešće se koriste u situacijama u kojima je broj TP mali naspram broju TN.

U nekim područjima, kao što je medicina, gdje se često koriste statističke tehnike testiranja hipoteza, koriste se dodatne mjere izvedene iz veličina definiranih u Tablici 2. Te su dodatne mjere definirane u Tablici 3. Te mjere tehnički takodjer govore o specifičnoj točnosti modela.

Senzitivnost	TP / C+
Specifičnost	TN / C-
Prediktivna vrijednost (+)	TP / R+
Prediktivna vrijednost(-)	TN / R-
Točnost	(TP + TN) / ((C+) + (C-))

Tablica 3: Formalne mjere točnosti klasifikacijskih modela.