Teorija informacija

Osnovni pojmovi teorije uveden u četrdesetih godina dvadesetog stoljeća, Shannon. teorija informacija - nauka proces prenosa, skladištenje i preuzimanje podataka u prirodnim, tehničkim i društvenim sistemima. U mnogim aplikacijama naučnih oblasti, kao što su računarstva, lingvistike, kriptografija, teorija kontrole, obrada slike, genetika, psihologija, ekonomija, organizacija proizvodnih metoda se koristi ovu nauku.

U savremenim uslovima sa teorijom informacija vrlo čvrsto vezana za teoriju kodiranja, govori o najčešćim problemima usklađenosti između signala i poruka, i teorija obrade signala, pri čemu kvantizacije studirao i signale oporavka i spektralne i analiza korelacije istih.

teorija informacija smatra da je osnovni koncept "informacija" u najvećoj mjeri kvantitativno, ne uzimajući u obzir svoje vrijednosti, a ponekad besmislene. U ovom pristupu, stranice teksta će sadržavati približno istu količinu podataka određen broj znakova i simbola, i ne ovisi o činjenici da, strogo govoreći, tu se štampa, čak i ako je apsolutno besmisleno i haotična skup nekih simbola.

Ovaj pristup je opravdan, ali samo za simulaciju komunikacijskih sustava, jer imaju precizno prenose informacije o kanala za komunikaciju, što može biti bilo koji skup znakova i simbola. Onda, kada je potrebno uzeti u obzir vrijednost i značenje podataka, kvantitativni pristup je neprihvatljivo. Ove okolnosti nameću značajne restrikcije na terenu mogućih primjena ove teorije.

Osnove teorije informacija uključuje razmatranje raznih pitanja, uključujući i direktno vezani za prijenos i prijem podataka. Glavni shema komunikacije, što se smatra u nastavi je kako slijedi. Teorija informacija i kodiranje On smatra da su izvor poruka, što je riječ ili skup riječi pisane određenih slova abecede. Izvor poruke mogu biti tekst na bilo koji prirodni ili umjetni jezik, ljudski jezik, baze podataka i neki matematički modeli, stvarajući niz slova. Odašiljač pretvara poruke u signal koji odgovara fizičkim prirode komunikacijski kanal - medij za prijenos signala. Tokom prolaska takva je podložna smetnjama, kojima se uvodi distorzije u vrijednosti parametara informacija. Prijemnik oporavlja originalnu poruku iz izobličen signal primljen. Message in a smanjena obliku dolazi do odredišta - određene osobe ili tehnički uređaj.

izvor poruka je statistički u prirodi, i.e. izgled svake poruke određuje određenu vjerojatnost. Teorija informacije Shannon smatra da, ako je jednaka jedinstvo verovatnoća poruke, to jest, njegov izgled značajno i nesigurnosti ne vjerujem da ne nosi nikakvu informaciju.

Jedan od važnih problema teorije informacija smatra koordinaciju kanal komunikacije i informacije svojstva izvora poruke. Propusnost je određena jedinica 1 bit u sekundi.

Jedan od problema sa sistemima za komunikaciju su smetnje na željeni put signala. Shannon, nažalost, nam ne daje specifične metode za koje se bave tim. Najlakši način uklanjanja koja se ponavlja mnogo puta poruka nisu veoma efikasno, jer je potrebno više vremena troškove za prijenos informacija. Mnogo veću efikasnost omogućava korištenje kodova koji vam omogućavaju da otkrivanje i ispravljanje grešaka prijenosa podataka.