Z Wikipedii

Ten artykuł dotyczy pojęcia z dziedziny teorii informacji. Zobacz też: inne znaczenia tego terminu.

Niektóre informacje zawarte w artykule wymagają weryfikacji. Do weryfikacji: patrz dyskusja

Entropia w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia.

Wzór na entropię:

gdzie p(i) - prawdopodobieństwo zajścia zdarzenia i. W przypadku kodowania ciągu znaków jest to prawdopodobieństwo wystąpienia i-tego znaku. W teorii informacji najczęściej stosuje się logarytm o podstawie r =2, wówczas jednostką entropii jest bit. Dla r= e jednostka ta nazywa się nat(nit), natomiast dla r=10 - dit lub hartley.

Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli następujące zdarzenie występuje z prawdopodobieństwem równym 1, to z prostego podstawienia wynika, że entropia wynosi 0, gdyż z góry wiadomo co się stanie - nie ma niepewności.

Własności entropii:

• jest nieujemna
• jest maksymalna, gdy prawdopodobieÅ„stwa zajść zdarzeÅ„ sÄ… takie same
• jest równa 0, gdy stany systemu przyjmujÄ… wartoÅ›ci 0 albo 1
• wÅ‚asność superpozycji - gdy dwa systemy sÄ… niezależne to entropia sumy systemów równa siÄ™ sumie entropii.

Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazała się jednak, że definicja ta jest przydatna w ramach samej teorii informacji.

Pojęcie entropii jest bardzo przydatne w np: dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i ilości znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, ale istnieją lepsze sposoby np. kodowanie arytmetyczne.

Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii.

[edytuj] Przykład

Moneta, która wyrzuca z takim samym prawdopodobieństwem orły i reszki, ma 1 bit entropii na rzut:

Ogólniej każde źródÅ‚o dajÄ…ce N równie prawdopodobnych wyników ma log₂N bitów na symbol entropii:

[edytuj] Zobacz też

• Entropia (termodynamika)
• Proces Markowa
• Teoria informacji
• Kompresja danych (informatyka):

• Typy kompresji:

• Kompresja bezstratna
• Kompresja stratna

• Wybrane algorytmy bezstratne:

• Kodowanie arytmetyczne
• kodowanie Huffmana
• Transformata Burrowsa-Wheelera

• Program do kompresji plików