Теория:

В реальной жизни существует множество ситуаций с различными вероятностями. Например, если у монеты одна сторона тяжелей другой, то при ее бросании вероятность выпадения «орла» и «решки» будет различной.
 
Сначала разберемся с понятием «вероятность». Введем следующие понятия:
испытание - любой эксперимент;

 
единичное испытание - испытание, в котором совершается одно действие с одним предметом (например, подбрасывается монетка, или из корзины извлекается шар);

 
исходы испытаний - результаты испытания (например, при подбрасывании монеты выпал «орел», или из корзины извлекли белый шар);
множество исходов испытания - множество всех возможных исходов испытания;

 
случайное событие - событие, которое может произойти или не произойти (например, выигрыш билета в лотерее, извлечение карты определенной масти из колоды карт).
Вероятностью случайного события (\(p\)) называется отношение числа благоприятствующих событию исходов (m) к общему числу исходов (n):
 
p=mn.
Заметим, что вероятность случайного события может изменяться от \(0\) до \(1\).
Пример:
В беспроигрышной лотерее разыгрывается \(3\) книги, \(2\) альбома, \(10\) наборов маркеров, \(10\) блокнотов.
Какова вероятность выиграть книгу?
 
Решение. 
Общее число исходов \(2 + 3 + 10 + 10 = 25\); число благоприятствующих исходу событий равно \(3\). Вероятность выигрыша книги вычисляется по формуле: p=325=0,12.
Заметим, что во многих случаях события происходят с разной вероятностью, а значит формула N=2i не всегда применима.
 
Вероятностный подход предполагает, что возможные события имеют различные вероятности реализации.
 
В этом случае, зная вероятность (\(p\)) событий, можно определить количество информации (\(i\)) в сообщении о каждом из них из формулы:
 
2i=1p.
 
Количество информации будет определяться по формуле Шеннона, предложенной им в 1948 г. для различных вероятностных событий:
I=i=1Npilog2pi
или
I=(p1log2p1+p2log2p2+...+pNlog2pN),
 
где \(I\) - количество информации;
\(N\) - количество возможных событий;
pi -  вероятность \(i\)-го события.
Качественная связь между вероятностью события и количеством информации в сообщении состоит в следующем: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.
Пример:
В корзине лежат \(8\) черных шаров и \(24\) белых. Сколько бит информации несет сообщение о том, что достали черный шар?
 
Решение. Общее число исходов: \(8 + 24 = 32\), число благоприятствующих исходу событий равно \(8\).
Вероятность выбора черного шара определяется как p=832=14=0,25
Количество информации вычисляем из соотношения 2i=10,25=114=4,
значит, \(i = 2\) бита.
Пример:
Пусть при бросании несимметричной четырехгранной пирамидки вероятности отдельных событий равны:
 
p1=12; p2=14; p3=18; p4=18.
 
Тогда  количество информации, которое будет получено после реализации одного из событий, можно вычислить по формуле Шеннона:
 
I=12log212+14log214+18log218+18log218=12+24+38+38=148(бит)=1,75(бита).
Источники:
Самылкина Н. Н. Информатика : все темы для подготовки к ЕГЭ. (В помощь старшекласснику). - М. : Эксмо, 2011, стр. 8-11