Bilgisel entropi kavramı, bir değer için olasılık kütle fonksiyonunun negatif logaritmasını ifade eder. Bu nedenle, veri kaynağı daha düşük bir olasılığa sahip bir değere sahip olduğunda (yani, düşük olasılıklı bir olay meydana geldiğinde), olay, kaynak verinin daha yüksek olasılıkla bir değere sahip olduğu duruma göre daha fazla "bilgi" ("sürpriz") taşır..
Bu şekilde tanımlanan her olay tarafından taşınan bilgi miktarı, beklenen değeri bilgi entropisi olan rastgele bir değişken olur. Genel olarak, entropi, düzensizlik veya belirsizliğe atıfta bulunur ve bilgi teorisinde kullanılan tanımı, istatistiksel termodinamikte kullanılana doğrudan benzerdir. IE kavramı, Claude Shannon tarafından 1948 tarihli "A Mathematical Theory of Communication" makalesinde tanıtıldı. "Shannon'ın bilgi entropisi" terimi buradan geldi.
Tanım ve sistem
Bir veri iletim sisteminin temel modeli üç unsurdan oluşur: bir veri kaynağı, bir iletişim kanalı ve bir alıcı,ve Shannon'ın belirttiği gibi, "temel iletişim sorunu", alıcının kanal üzerinden aldığı sinyale dayalı olarak kaynak tarafından hangi verilerin üretildiğini belirleyebilmesidir. Entropi, sıkıştırılmış kaynak verilerin olası en kısa ortalama kayıpsız kodlama uzunluğu üzerinde mutlak bir kısıtlama sağlar. Kaynağın entropisi, iletişim kanalının bant genişliğinden daha azsa, ürettiği veriler alıcıya güvenilir bir şekilde iletilebilir (en azından teoride, belki de verileri iletmek için gerekli sistemin karmaşıklığı gibi bazı pratik hususlar ihmal edilir). ve verilerin iletilmesi için gereken süre).
Bilgi entropisi genellikle bit (alternatif olarak "shannons" olarak adlandırılır) veya bazen "doğal birimler" (nats) veya ondalık basamak ("dits", "yasaklar" veya "hartley" olarak adlandırılır) olarak ölçülür. Ölçü birimi, entropiyi belirlemek için kullanılan logaritmanın tabanına bağlıdır.
Özellikler ve logaritma
Log olasılık dağılımı, bağımsız kaynaklar için katkı olduğu için bir entropi ölçüsü olarak kullanışlıdır. Örneğin, bir madeni paranın adil bir bahsinin entropisi 1 bit iken, m-hacimlerin entropisi m bittir. Basit bir gösterimde, n 2'nin kuvveti ise n değerlerinden birini alabilen bir değişkeni temsil etmek için log2(n) bitlerine ihtiyaç vardır. bu sayıya eşittir. Değerlerden biri diğerlerinden daha olasıysa, bunun olduğu gözlemianlamın ortaya çıkması, daha az genel bir sonucun ortaya çıkmasından daha az bilgilendiricidir. Bunun tersine, daha nadir olaylar ek izleme bilgileri sağlar.
Daha az olası olayların gözlemi daha az sıklıkta olduğundan, eşit olmayan dağıtılmış verilerden elde edilen entropinin (ortalama bilgi olarak kabul edilir) her zaman log2(n)'den küçük veya ona eşit olması gibi ortak hiçbir şey yoktur. Bir sonuç tanımlandığında entropi sıfırdır.
Shannon'ın bilgi entropisi, temel alınan verilerin olasılık dağılımı bilindiğinde bu hususları niceliklendirir. Gözlenen olayların anlamı (mesajların anlamı), entropinin tanımında önemsizdir. İkincisi, yalnızca belirli bir olayı görme olasılığını hesaba katar, bu nedenle kapsüllediği bilgi, olayların kendi anlamı hakkında değil, olasılıkların altında yatan dağılım hakkında verilerdir. Bilgi entropisinin özellikleri yukarıda açıklananla aynı kalır.
Bilgi teorisi
Bilgi teorisinin temel fikri, kişinin bir konu hakkında ne kadar çok şey bilirse, o konu hakkında o kadar az bilgi alabileceğidir. Bir olay çok olasıysa, gerçekleşmesi şaşırtıcı değildir ve bu nedenle çok az yeni bilgi sağlar. Tersine, olay olasılık dışıysa, olayın gerçekleştiği çok daha bilgilendiriciydi. Bu nedenle, yük, olayın ters olasılığının artan bir fonksiyonudur (1 / p).
Şimdi daha fazla olay olursa, entropiolaylardan biri meydana geldiğinde bekleyebileceğiniz ortalama bilgi içeriğini ölçer. Bu, bir zar atmanın yazı tura atmaktan daha fazla entropiye sahip olduğu anlamına gelir, çünkü her bir kristal sonucu, her bir madeni para sonucundan daha düşük bir olasılığa sahiptir.
Özellikler
Dolayısıyla entropi, bir durumun veya aynı şey olan ortalama bilgi içeriğinin tahmin edilemezliğinin bir ölçüsüdür. Bu terimleri sezgisel olarak anlamak için bir siyasi anket örneğini düşünün. Genellikle bu tür anketler, örneğin seçimlerin sonuçları henüz bilinmediği için yapılır.
Başka bir deyişle, anketin sonuçları nispeten tahmin edilemez ve aslında anketi yapmak ve verileri incelemek bazı yeni bilgiler sağlıyor; bunlar, anket sonuçlarının önceki entropisinin büyük olduğunu söylemenin farklı yollarıdır.
Şimdi aynı anketin birinciden kısa bir süre sonra ikinci kez yapıldığı durumu düşünün. İlk anketin sonucu zaten bilindiğinden, ikinci anketin sonuçları iyi tahmin edilebilir ve sonuçlar çok fazla yeni bilgi içermemelidir; bu durumda, ikinci anket sonucunun a priori entropisi birincisine kıyasla küçüktür.
Yazı Para Atma
Şimdi yazı tura atma örneğini ele alalım. Yazı olasılığının tura olasılığı ile aynı olduğunu varsayarsak, bir sistemin bilgi entropisinin kendine özgü bir örneği olduğu için yazı tura entropisi çok yüksektir.
Bunun nedeniBir madeni paranın sonucunun vaktinden önce atılacağını tahmin etmenin imkansız olduğunu: eğer seçmemiz gerekiyorsa, yapabileceğimiz en iyi şey, madeni paranın tura geleceğini tahmin etmektir ve bu tahmin şu olasılıkla doğru olacaktır: 1 / 2. Böyle bir yazı tura bir bit entropiye sahiptir, çünkü eşit olasılıkla gerçekleşen iki olası sonuç vardır ve gerçek sonucu incelemek bir bit bilgi içerir.
Tam tersine, yazı tura olmadan iki tarafını kullanarak yazı tura atmanın entropisi sıfırdır çünkü yazı tura her zaman bu işarete düşer ve sonuç mükemmel bir şekilde tahmin edilebilir.
Sonuç
Sıkıştırma şeması kayıpsızsa, yani sıkıştırmayı açarak orijinal mesajın tamamını her zaman kurtarabilirsiniz, bu durumda sıkıştırılmış mesaj orijinal ile aynı miktarda bilgiye sahiptir, ancak daha az karakterle iletilir. Yani, karakter başına daha fazla bilgiye veya daha yüksek entropiye sahiptir. Bu, sıkıştırılmış mesajın daha az fazlalığa sahip olduğu anlamına gelir.
Kabaca söylemek gerekirse, Shannon'ın kaynak kodu kodlama teoremi, kayıpsız bir sıkıştırma şemasının mesajları ortalama olarak mesaj biti başına birden fazla bilgi biti olacak şekilde az altamayacağını, ancak bit başına bir bilgi bitinden daha az herhangi bir değere ulaşılabileceğini belirtir.. uygun kodlama şemasını kullanan mesajlar. Bir mesajın bit cinsinden uzunluğunun entropisi, ne kadar genel bilgi içerdiğinin bir ölçüsüdür.
