Poslužitelj za analizu podataka -vrednovanje kvalitete modela

ILLM kvaliteta pokrivanja

Općenito je prihvaćeno da dobri modeli zadovoljavaju (pokrivaju) mnogo pozitivnih primjera a malo ili ništa negativnih primjera. Vrlo je lako primijeniti taj princip kada trebamo usporediti dva modela koji ne pokrivaju niti jedan negativni primjer a jedan pokriva više pozitivnih. Problem je usporediti modele kada jedan model pokriva istovremeno i više pozitivnih i više negativnih primjera od drugog modela. U takvom slučaju odluka nije jednostavna.

U ILLM sustavu ovaj problem riješen je definicijom kvalitete pokrivanja koja je opisana izrazom:

kvaliteta_pokrivanja = TP / (FP + g)

TP: ukupni broj pozitivnih primjera pravilno klasificiranih sa modelom
FP: ukupni broj negativnih primjera koje model nepravilno klasificira kao pozitivne
g: parametar generalizacije koji odabire korisnik.

Svi potencijalno dobri modeli trebaju zadovoljavati uvjet da kvalitetno generaliziraju primjere koje je poslao korisnik. Mjera kvalitete pokrivanja služi za izbor izmedju potencijalno dobrih modela. S njom u vezi treba napomenuti da:

Ne postoji jedan apsolutno najbolji model za dati problem. Konačna odluka ovisi i o parametru generalizacije 'g' koji treba uključivati sve zahtijeve korisnika u vezi rješavanja konkretnog problema. Promjene tog parametra odgovaraju kretanju u ROC prostoru: mali 'g' odgovara lijevom (donjem) kutu a veliki 'g' desnom (gornjem) kutu ROC prostora.

Visoka vrijednost parametra generalizacije znači malu relativnu važnost netočno klasificiranih negativnih primjera. Posljedica je da visoka vrijednost parametra generalizacije daje prednost modelima koji pokrivaju mnogo pozitivnih primjera.

kvaliteta_pokrivanja definirana gornjim izrazom je relativna mjera koja omogućuje samo relativnu usporedbu svojstva pokrivanja za razne modele na istom skupu primjera.

TP i FP su apsolutne veličine i vrijednost parametra generalizacije 'g' treba prilagoditi karakteristikama svakog problema.