Entropia (teoria informacji)
Entropia – w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia.
Wzór na entropię:
gdzie p(i) – prawdopodobieństwo zajścia zdarzenia i, a n – liczba wszystkich zdarzeń danej przestrzeni. W przypadku kodowania ciągu znaków jest to prawdopodobieństwo wystąpienia i-tego znaku. W teorii informacji najczęściej stosuje się logarytm o podstawie r=2, wówczas jednostką entropii jest bit. Dla r= e jednostka ta nazywa się nat (nit), natomiast dla r=10 – dit lub hartley.
Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli następujące zdarzenie występuje z prawdopodobieństwem równym 1, to z prostego podstawienia wynika, że entropia wynosi 0, gdyż z góry wiadomo, co się stanie – nie ma niepewności.
Własności entropii:
- jest nieujemna
- jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same
- jest równa 0, gdy stany systemu przyjmują wartości 0 albo 1
- własność superpozycji – gdy dwa systemy są niezależne, to entropia sumy systemów równa się sumie entropii.
- jeśli ze źródła danych pobierane są k-literowe ciągi, wówczas entropia wynosi H(x(k)) = kH(x)
Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazała się jednak, że definicja ta jest przydatna w ramach samej teorii informacji.
Pojęcie entropii jest bardzo przydatne w np. dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i liczby znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne.
Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii.
[edytuj] Przykład
W przypadku, gdy prawdopodobieństwa poszczególnych zdarzeń w zbiorze są równe, powyższy wzór można stosować w postaci uproszczonej:
- H(x) = log2(n)
gdzie n oznacza wielkość zbioru. Przykładowo dla zbioru 26 liter alfabetu (n=26) entropia każdej z nich wynosi około 4,7, więc ośmioznakowy ciąg liter wykorzystywany np. jako hasło będzie miał entropię 37,6.
Moneta, która wyrzuca z takim samym prawdopodobieństwem orły i reszki, ma 1 bit entropii na rzut:
Ogólniej każde źródło dające N równie prawdopodobnych wyników ma log2N bitów na symbol entropii:
[edytuj] Zobacz też
| Ryzykowny pościg pod prąd z powodu kota |
|
Pewien Japończyk jechał 90 kilometrów autostradą pod prąd i rozbił pięć policyjnych blokad. Dlaczego? Ponieważ zdechł jego kot.
|
| Emerytowany górnik zbudował dom pod ziemią |
|
W Chinach emerytowany górnik zbudował pod ziemią dom o powierzchni 50 metrów kwadratowych, gdyż nie było go stać na zwykłe mieszkanie - informuje dziennik "China Daily".
|
| Malezyjczyk przemycał 95 węży boa |
|
Malezyjczyk przyznał się do próby przemytu dzikich zwierząt po tym, jak na taśmie bagażowej lotniska w Kuala Lumpur rozerwała się torba, w której przewoził m.in. 95 boa dusicieli - poinformowały w piątek malezyjskie władze.
|
| Z dezodorantem i zapalniczką na pająka |
|
Niecodzienną metodę polowania na pająka wybrał pewien inżynier-informatyk z Clacton w angielskim hrabstwie Essex. Potraktował stawonoga dezodorantem w sprayu, po czym przyświecił sobie zapalniczką, chcąc zobaczyć wynik swego działania.
|
| W. Brytania: Sukienka, z której można zadzwonić |
|
Już w 2011 roku na rynek brytyjski trafi sukienka z dość wyjątkową funkcją - będzie nią można wykonywać i odbierać rozmowy telefoniczne.
|


