ここにトランプが52枚あります。
数当てをしましょう。
| カードを取ってください。 |  | 取りました。 一発で言い当てられる確率は1/52です。 |
 | あなたのカードは ハートですか？ | | はい ： 次に当たる確率は1/13です。 |
 | いいえ： 次に当たる確率は1/39です。 | ||
 | あなたのカードは Aですか？ | | はい ： 次に当たる確率は1/4です。 |
 | いいえ： 次に当たる確率は1/48です。 | ||
 | あなたのカードはハートのAですね？ | | はい ： 次は1/1、すなわち100% 言い当てることができます。 |
 | いいえ： 次に当たる確率は1/51です。 |
| / | | ||
| (1/52) | / | (1/4) | = | (1/13) |
 | / | | ||
| (1/13) | / | (1/13) | = | (1/1) |
| / | | ||
| (1/52) | / | (1/13) | = | (1/4) |
 | / | | ||
| (1/4) | / | (1/4) | = | (1/1) |
マークを言い当ててから数字を言い当てるのも、
数字を言い当ててからマークを言い当てるのも同じ。
小学校で習う確率の話。
大した話ではありません。
次に、先ほどのやり取りの確率を、対数を使って置き換えます。
| カードを取ってください。 | | 取りました。log 52です。 |
| あなたのカードは ハートですか？ | | はい ： log 13です。 |
| いいえ： log 39です。 | ||
| あなたのカードは Aですか？ | | はい ： log 4です。 |
| いいえ： log 48です。 | ||
| あなたのカードはハートのAですね？ | | はい ： log 1 = 0です。 |
| いいえ： log 51です。 |
| - | | ||
| log 52 | - | log 4 | = | log 13 |
| - | | ||
| log 13 | - | log 13 | = | 0 |
| - | | ||
| log 52 | - | log 13 | = | log 4 |
| - | | ||
| log 4 | - | log 4 | = | 0 |
対数の底を2に取った場合
log 52 = 5.7
log 13 = 3.7
log 4 = 2
log 1 = 0
log 13 + log 4 = 3.7 + 2 = 5.7
確率を対数に置き換えたので、
確率演算が足し算引き算に置き換わりました。
言っていることは前半と同じ。
開始時は s = log 52、終了時は s = 0。
マークを言い当てると log 4 が引かれ、
数字を言い当てると log 13 が引かれる。
log 4とは確率が4分の1に絞られること、log 13は同じく13分の1に絞られること。
マークを先に当てても数字を先に当ててもその値は変わりません。
一枚ずつ当てていっても、
♠A ♠2 ♠3 ♠4 ♠5 ♠6・・・・・ ♥A ♥2 ♥3 ♥4 ♥5 ♥6・・・・・ ♦A ♦2 ♦3 ♦4 ♦5 ♦6・・・・・ ♣A ♣2 ♣3 ♣4 ♣5 ♣6・・・・・ | log52 log51, log50, log49,・・・・・ log38, log37, log36,・・・・・ log25, log24, log23,・・・・・ log12, log11, log10,・・・・・, log 1=0 |
スートを当ててから数字を当てるのも、
♠ですか？♥ですか？♦ですか？♣ですか？ Aですか？2ですか？3ですか？4ですか？・・・ | log52 log39, log26, log13 log12, log11, log10,・・・・・, log 1=0 |
赤ですか？黒ですか？ 奇数ですか？偶数ですか？ ４の倍数ですか？ １０より大きいですか？ | log52 log26 log13 log6 log3・・・・・, log 1=0 |
・
・
・
いかなる手順で進めようと、log52から始まり、log1=0で終わります。
確率の対数が、本日のタイトル『エントロピー』です。
今回はトランプで、スペードのAからダイヤのKまで、
全カードの出る確率は同じですが、
カードの出る確率が一定ではないとき、
エントロピーに確率を掛け合わせて総和した
『平均エントロピー』なるものを使います。
