heute ist der Geburtstag von
Gabriel Cramer (31.07.1704 - 04.01.1752)


Auf das Thema antworten  [ 13 Beiträge ] 
SS09: 3. Übung am 31.3.2009 
Autor Nachricht

Registriert: 03/2008
Beiträge: 26 + 32
Wohnort: 1230 Wien
Mit Zitat antworten
Beitrag SS09: 3. Übung am 31.3.2009
Das Beispiel 1 sieht auf den ersten Blick schwierig aus. Ist aber eigentlich ganz einfach...



q.e.d


Sa 28-03-2009 20:14:18
Diesen Beitrag melden
Profil

Registriert: 03/2008
Beiträge: 26 + 32
Wohnort: 1230 Wien
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
Beobachtung zu Beispiel 4:
Allen unseren Überlegungen, Lemmas und Sätzen über Entropie oder auch über den Informationsgehalt liegt immer implizit eine Wahrscheinlichkeitsverteilung P zugrunde. Wir können diese W-Verteilung jedoch auch explizit machen, indem wir statt H(X) schreiben: H[P](X). Entsprechend können wir statt I(X,Y) auch I[P](X,Y) schreiben. Weiters fehlt uns eine Notation für die Wertemenge einer Zufallsvariable. Das Problem ist aber lösbar ohne einen neuen Formalismus einzuführen, indem man X als Funktion betrachtet, z.B. $X: \Omega \to \mathbb{R}$. Den Wertebereich von X kann man dann als $X(\Omega)$ schreiben. Da wir nur endlich viele diskrete Zufallsvariablen auf einmal betrachten, ist die Grundgesamtheit o.B.d.A. stets endlich und die dazugehörige Sigma-Algebra ist einfach ihre Potenzmenge. Aus der Wahrscheinlichkeitsrechnung wissen wir, dass $P_A$, definiert als $P_A(B):=P(B|A) ~\forall A \in \mathfrak{A}:P(A)>0$ wieder eine Wahrscheinlichkeitsverteilung ist.

Lemma: $H(Y|X=x)=H[P](Y|X=x)=H[P_{[X=x]}](Y)$ (gilt auch für andere Ereignisse)
Beweis durch hinschauen: $A:=[X=x]$
$$H[P](Y|A)=-\sum_{y\in Y(\Omega)} P(Y=y|A) \log_2 P(Y=y|A)=H[P_{A}](Y)$$

Im folgenden sei $Q_x:=P_{[X=x]}$.

(a), (b)
$H[Q_x](Y,Z) \leq H[Q_x](Y) + H[Q_x](Z)$
mit Gleichheit genau dann, wenn Y und Z unabhängig bezüglich $Q_x$ ist, d.h. $\forall y,z: p(y,z|x)=p(y|x)\cdot p(z|x)$. Wenn man links und rechts die Summe bildet, ergibt sich das behauptete und die Ungleichung (oder Gleichung) bleibt erhalten:
$$\sum_{x\in X(\Omega)} P(X=x) H[Q_x](Y,Z) \leq \sum_{x\in X(\Omega)} P(X=x) (H[Q_x](Y) + H[Q_x](Z))$$
Damit ist bei (b) auch schon die Richtung von rechts nach links gezeigt. Umgekehr müssen bei Gleichheit alle Faktoren gleich sein, weil die rechte Seite laut (a) größer oder gleich ist (d.h. wenn für ein x die rechte Seite größer ist, dann ist die rechte Summe größer). Also ist Y,Z bezüglich aller $Q_x$ unabhängig, d.h. $\forall x,y,z$... .

(c), (d) Übungsaufgabe ;)

(e)
$H[Q_x](Y,Z) = H[Q_x](Y)+H[Q_x](Z|Y)$
Und jetzt wieder links und rechts Summen bilden.

man kann natürlich auch alles zufuß nachrechnen, das ist auch nicht viel schwerer. aber so find ichs eleganter ;)


Zuletzt geändert von kater am So 29-03-2009 23:07:27, insgesamt 2-mal geändert.



So 29-03-2009 22:33:36
Diesen Beitrag melden
Profil

Registriert: 03/2008
Beiträge: 26 + 32
Wohnort: 1230 Wien
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
Beispiel 2:
Die Kugeln seien durchnummeriert und es gibt keine 2 gleichen Kugeln. Sei A das Ereignis, das alle $X_i$ verschieden sind. Dann gilt $H(Y) = H(X|A) \leq H(X)$. Sei jetzt c eine Funktion, die jeder Kugel eine Farbe zuweist, bzw. einer Folge von Kugeln eine Folge von Farben. z.z. ist nun, dass $H(c(Y)) \leq H(c(X))$: $H(c(Y)) = H(c(X)|A) \leq H(c(X))$.
Ist das zu einfach? Ist das wirklich als 10-Sekunden-Beispiel vorgesehen?


So 29-03-2009 22:59:52
Diesen Beitrag melden
Profil
Benutzeravatar

Registriert: 10/2007
Beiträge: 26 + 19
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
Kann es sein, dass beim 5. Beispiel 4/6 rauskommt?

_________________
Without geometry, life is pointless.
Ohne Trigonometrie ist das Leben sin-los.
I can't believe it's not a hyperlink


Mo 30-03-2009 18:46:19
Diesen Beitrag melden
Profil

Registriert: 03/2008
Beiträge: 26 + 32
Wohnort: 1230 Wien
Mit Zitat antworten
Beitrag beispiel 5
I(X,Y)=0,1583 sollt rauskommen

H(Y)=1,32501
H(Y|X)=7/6


Mo 30-03-2009 19:36:01
Diesen Beitrag melden
Profil
Benutzeravatar

Registriert: 05/2008
Beiträge: 27 + 12
Wohnort: Wien West
Studium: (alt) Bachelor Computerwissenschaften
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
da geb ich dem kater voll recht ;)
H(Y) = 3/2+(1/2)*ld(3)-(5/12)*ld(5)
H(Y|X)= 7/6
und I(Y|X)=1/3+(1/2)*ld(3)-(5/12)*ld(5) = 0.1583..


Mo 30-03-2009 19:45:23
Diesen Beitrag melden
Profil

Registriert: 10/2007
Beiträge: 26 + 29
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
wie kommt ihr darauf?


Mo 30-03-2009 19:49:24
Diesen Beitrag melden
Profil
Benutzeravatar

Registriert: 05/2008
Beiträge: 27 + 12
Wohnort: Wien West
Studium: (alt) Bachelor Computerwissenschaften
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
ich weiß, is ein bisschen geschmiert... jedoch, ich hoff, ich kann damit helfen ;)
Dateianhang:
30032009240.jpg


lg


Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.


Mo 30-03-2009 19:59:08
Diesen Beitrag melden
Profil

Registriert: 10/2007
Beiträge: 26 + 29
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
thx, bin jetzt am schluss auch auf dass ergebnis gekommen

edit: thx, hab das mit der tabelle mittlerweile auch verstanden (hatte nur gleich alles zusammengafasst gehabt..)


Zuletzt geändert von s.e am Mo 30-03-2009 20:30:20, insgesamt 1-mal geändert.



Mo 30-03-2009 20:08:43
Diesen Beitrag melden
Profil
Benutzeravatar

Registriert: 05/2008
Beiträge: 27 + 12
Wohnort: Wien West
Studium: (alt) Bachelor Computerwissenschaften
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
ach.. die tabelle vergiss ;)
hat jemand von euch 3d ?


Mo 30-03-2009 20:14:49
Diesen Beitrag melden
Profil
Benutzeravatar

Registriert: 10/2007
Beiträge: 26 + 19
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
Adem hat geschrieben:
ich weiß, is ein bisschen geschmiert... jedoch, ich hoff, ich kann damit helfen ;)
Dateianhang:
30032009240.jpg


lg

Danke! Ich war offenbar mit den Logarithmen ein wenig zu unachtsam. (Bei der Formel im Kopf gleich Würfe 1-4 zusammengefasst und dadurch natürlich den Logarithmus zu wirren Sachen gebracht)

Verflixt! Ich bekomm immer noch was bei 0.491 raus. Offenbar irgendwo genau 1/3 zu viel. Sch****!

_________________
Without geometry, life is pointless.
Ohne Trigonometrie ist das Leben sin-los.
I can't believe it's not a hyperlink


Zuletzt geändert von knedlsepp am Mo 30-03-2009 21:43:17, insgesamt 1-mal geändert.



Mo 30-03-2009 20:22:20
Diesen Beitrag melden
Profil
Benutzeravatar

Registriert: 05/2008
Beiträge: 27 + 12
Wohnort: Wien West
Studium: (alt) Bachelor Computerwissenschaften
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
Leute, hat wirklich niemand was zu 3) d) ?? ich glaub, das is das anstrengende Beispiel diese Übung... :/


Mo 30-03-2009 21:29:18
Diesen Beitrag melden
Profil
Benutzeravatar

Registriert: 11/2007
Beiträge: 26 + 16
Wohnort: Wien
Mit Zitat antworten
Beitrag Re: SS09: 3. Übung am 31.3.2009
Bezüglich der Tabelle (im Bild):
Ich bin mir ziemlich sicher, dass in (5, 1) und (6, 1)
jeweils 1/12 stehen sollte - die Wahrscheinlichkeit
einen Adler zu werfen ist bei zwei Würfen 1/2.

_________________
石室诗士施氏嗜狮,誓食十狮。氏时时适(简笔的適字)市视狮。十时,适十狮市。是时,适施氏适市。氏视十狮,恃失势,使是十狮逝世。氏拾是十狮尸,适石室。石室湿,氏使侍拭石室。石室拭,氏始试食十狮尸。食时,始识是十狮尸实十石狮尸。


Di 31-03-2009 00:00:58
Diesen Beitrag melden
Profil
Beiträge der letzten Zeit anzeigen:  Sortiere nach  
Auf das Thema antworten   [ 13 Beiträge ] 


Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast


Du darfst neue Themen in diesem Forum erstellen.
Du darfst Antworten zu Themen in diesem Forum erstellen.
Du darfst deine Beiträge in diesem Forum nicht ändern.
Du darfst deine Beiträge in diesem Forum nicht löschen.
Du darfst keine Dateianhänge in diesem Forum erstellen.

Suche nach:
Gehe zu:  
cron
Powered by phpBB © phpBB Group.  |  Designed by STSoftware for PTF  |  © Czechnology 2007 - 2021  |  Deutsche Übersetzung durch phpBB.de