Uključene obrazovne institucije
Elektrotehnički fakultet / Fakultet organizacionih nauka, Univerzitet u Beogradu
Oblast
Cilj predmeta je da se izlože osnovne postavke Teorije informacija i njihova primena u cilju dostizanja teorijskih granica vezanih za obradu i prenos informacija. Posebno će biti opisani iterativni algoritmi za obradu informacija na grafovima.
Osposobljavanje studenata za razumevanje osnovnih pojmova teorije informacija, razumevanja osnovnih algoritama za kompresiju i zaštitu informacija. Pored toga će biti u mogućnosti da razumeju i primene alate teorije informacija u analizi podataka i otkrivanju znanja.
Teorijska nastava
Uvod u teoriju informacija. Entropija. Teorema o kodovanju izvora. Algoritmi za kompresiju i njihov značaj u obradi prirodnih jezika i bioinformatici. Uzajamna informacija i obrada podataka, primena u određivanju parametara Bajesovih mreža. Kulbek-Lajblerovo rastojanje i njegov značaj u analizi podataka. Pojam informacionog dobitka, formiranje stabla odlučivanja. Teorema o kanalnom kodovanju. Konačni automati i Viterbijev algoritam. Kodovi na grafovima i njihova primena u kompresiji i zaštiti informacija. Kodovi sa proverama parnosti male gustine, njihova predstava faktor grafovima. Optimizacija kodova metodama dubokog učenja i evolucijom gustina verovatnoća. Algoritam propagacije verodostojnosti i iterativno dekodovanje.
Praktična nastava
Auditorne i laboratorijske vežbe iz obrađivanih tema.
