Entropia – w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia.

Wzór na entropię:

gdzie p(i) – prawdopodobieństwo zajścia zdarzenia i, a n – liczba wszystkich zdarzeń danej przestrzeni. W przypadku kodowania ciągu znaków jest to prawdopodobieństwo wystąpienia i-tego znaku. W teorii informacji najczęściej stosuje się logarytm o podstawie r=2, wówczas jednostką entropii jest bit. Dla r= e jednostka ta nazywa się nat (nit), natomiast dla r=10 – dit lub hartley.

Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli następujące zdarzenie występuje z prawdopodobieństwem równym 1, to z prostego podstawienia wynika, że entropia wynosi 0, gdyż z góry wiadomo, co się stanie – nie ma niepewności.

Własności entropii:

• jest nieujemna
• jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same
• jest równa 0, gdy stany systemu przyjmują wartości 0 albo 1
• własność superpozycji – gdy dwa systemy są niezależne, to entropia sumy systemów równa się sumie entropii.
• jeśli ze źródła danych pobierane są k-literowe ciągi, wówczas entropia wynosi H(x^(k)) = kH(x)

Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazała się jednak, że definicja ta jest przydatna w ramach samej teorii informacji.

Pojęcie entropii jest bardzo przydatne w np. dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i liczby znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne.

Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii.

[edytuj] Przykład

W przypadku, gdy prawdopodobieństwa poszczególnych zdarzeń w zbiorze są równe, powyższy wzór można stosować w postaci uproszczonej:

H(x) = log₂(n)

gdzie n oznacza wielkość zbioru. Przykładowo dla zbioru 26 liter alfabetu (n=26) entropia każdej z nich wynosi około 4,7, więc ośmioznakowy ciąg liter wykorzystywany np. jako hasło będzie miał entropię 37,6.

Moneta, która wyrzuca z takim samym prawdopodobieństwem orły i reszki, ma 1 bit entropii na rzut:

Ogólniej każde źródło dające N równie prawdopodobnych wyników ma log₂N bitów na symbol entropii:

[edytuj] Zobacz też

• łańcuch Markowa

Ryzykowny pościg pod prąd z powodu kota

Pewien Japończyk jechał 90 kilometrów autostradą pod prąd i rozbił pięć policyjnych blokad. Dlaczego? Ponieważ zdechł jego kot.

Emerytowany górnik zbudował dom pod ziemią

W Chinach emerytowany górnik zbudował pod ziemią dom o powierzchni 50 metrów kwadratowych, gdyż nie było go stać na zwykłe mieszkanie - informuje dziennik "China Daily".

Malezyjczyk przemycał 95 węży boa

Malezyjczyk przyznał się do próby przemytu dzikich zwierząt po tym, jak na taśmie bagażowej lotniska w Kuala Lumpur rozerwała się torba, w której przewoził m.in. 95 boa dusicieli - poinformowały w piątek malezyjskie władze.

Z dezodorantem i zapalniczką na pająka

Niecodzienną metodę polowania na pająka wybrał pewien inżynier-informatyk z Clacton w angielskim hrabstwie Essex. Potraktował stawonoga dezodorantem w sprayu, po czym przyświecił sobie zapalniczką, chcąc zobaczyć wynik swego działania.

W. Brytania: Sukienka, z której można zadzwonić

Już w 2011 roku na rynek brytyjski trafi sukienka z dość wyjątkową funkcją - będzie nią można wykonywać i odbierać rozmowy telefoniczne.

american poker ERP colon-cancer-source.info gadżety promocyjne lampki nocne songs pościel bawełniana BWin części samochodowe コンパクトディスクデータベース japanese