Poslužitelj za analizu podataka - što znači detekcija šuma

Što znači detekcija šuma ?

Odabirom detekcije šuma moguće je u ulaznoj datoteci detektirati primjere koji se bitno razlikuju od preostalih primjera (šum). Pri tom izboru, posebna funkcija za detekciju šuma se uključuje prije indukcije modela ali tako da rezultat njezina rada ne utječe na proces indukcije. Ako vam nije potrebna eksplicitna detekcija šuma, ne koristite ovu mogućnost jer ta operacija može bitno usporiti obradu vaših podataka.

Rezultat detekcije šuma je lista sa do pet primjera koji su odabrani kao potencijalni šum u ulaznoj datoteci. Primjeri se referenciraju sa brojem redka u datoteci. Pri tom treba paziti da se prazni retci ne broje te da je prvi primjer u drugom retku datoteke, jer je prvi rezerviran za imena atributa. Potencijalno šumni primjeri prikazani su redom po važnosti.

Za detekciju šuma koristi se heuristični algoritam koji je dio ILLM sustava i koji ne može garantirati niti da će biti detektirani svi šumni primjeri niti da su svi detektirani primjeri zaista šumni. Ponekad se dogadja da i mala izmjena u ulaznoj datoteci može dovesti do bitno drugačijih rezultata detekcije šuma.

Na ovom poslužitelju korisnik ne može utjecati na proces detekcije šuma. Korišteni parametri imaju vrijednosti koje se odredjuju iz broja primjera u pojedinoj klasi. Ako je broj primjera u klasi manji od 5 tada se u toj klasi niti ne traži šum. Za klase sa do 50 primjera osjetljivost algoritma na šum je za 35% manja nego za veće klase.

Najjednostavniji način korištenja rezultata detekcije šuma je da se detektirani primjeri isključe iz datoteke. Za to nije nužno stvarno brisati odgovarajuće redke iz datoteke. Dovoljno je tim primjerima promijeniti vrijednost klase u nepoznatu vrijednost i to tako da se upiše '?' kao prvi znak njihove vrijednosti ciljnog atributa. Prednost ovog postupka je što se s istom datotekom može učiniti mnogo raznih pokusa. Izmjena vrijednosti klase u nepoznatu vrijednost ima u usporedbi sa brisanjem redaka i prednost da se brojevi redaka neće mijenjati i rezultati raznih pokusa će se moći lako usporedjivati.