Теория:

В содержательном подходе количество информации, заключенное в сообщении, определяется объемом знаний, который это сообщение несет получающему его человеку.
 
Вспомним, что с «человеческой» точки зрения информация - это знания, которые мы получаем из внешнего мира. Количество информации, заключенное в сообщении, должно быть тем больше, чем больше оно пополняет наши знания.
 
Вы уже знаете, что за единицу измерения информации принимается \(1\) бит.
1 бит - минимальная единица измерения количества информации.
Проблема измерения информации исследована в теории информации, основатель которой - Клод Шеннон.
 
В теории информации для бита дается следующее определение:
Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.
Что такое неопределенность знания, поясним на примерах.
 
Допустим, вы бросаете монету, загадывая, что выпадет: орел или решка. Есть всего два возможных результата бросания монеты. Причем ни один из этих результатов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны.
 
В случае с монетой перед ее подбрасыванием неопределенность знания о результате равна двум.
 
Игральный же кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределенность знания о результате бросания кубика равна шести.
 
Еще пример: спортсмены-лыжники перед забегом путем жеребьевки определяют свои порядковые номера на старте. Допустим, что имеется \(100\) участников соревнований, тогда неопределенность знания спортсмена о своем номере до жеребьевки равна \(100\).
 
Следовательно, можно сказать так:
Неопределенность знания о результате некоторого события (бросание монеты или игрального кубика, вытаскивание жребия и др.) - это количество возможных результатов.
Вернемся к примеру с монетой. После того как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Определился один из двух возможных результатов. Неопределенность знания уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.
Сообщение об одном из двух равновероятных результатов некоторого события несет 1 бит информации.
Пусть в некотором сообщении содержатся сведения о том, что произошло одно из \(N\) равновероятных событий.
 
Тогда количество информации \(i\), содержащееся в сообщении о том, что произошло одно из \(N\) равновероятных событий, можно определить из формулы Хартли:
N=2i.
 
Данная формула является показательным уравнением относительно неизвестного \(i\).
 
Из математики известно, что решение такого уравнения имеет вид:
 
i=log2N - логарифм \(N\) по основанию \(2\).
 
Если \(N\) равно целой степени двойки (\(2, 4, 8, 16\) и т. д.), то такое уравнение можно решить «в уме».
Пример:
Шахматная доска состоит из \(64\) полей: \(8\) столбцов на \(8\) строк.
Какое количество бит несет сообщение о выборе одного шахматного поля?
 
Решение.
Поскольку выбор любой из \(64\) клеток равновероятен, то количество бит находится из формулы:
2i=64,
i=log264=6, так как 26=64.
Следовательно,  \(i = 6\) бит.
В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей двоичных логарифмов.
 
Также, если \(N\) не является целой степенью \(2\), то можно выполнить округление \(i\) в большую сторону. При решении задач в таком случае \(i\) можно найти как log2K, где \(K\) - ближайшая к \(N\) степень двойки, такая, что \(K > N\).
Пример:
При игре в кости используется кубик с шестью гранями.
Сколько битов информации получает игрок при каждом бросании кубика?
 
Решение.
Выпадение каждой грани кубика равновероятно. Поэтому количество информации от одного результата бросания находится из уравнения:2i=6.
Решение этого уравнения: i=log26
Из таблицы двоичных логарифмов следует (с точностью до \(3\)-х знаков после запятой):
\(i = 2,585\) бита.
 
Данную задачу также можно решить округлением \(i\) в большую сторону:  2i=6<8=23,i=3 бита.
Источники:
Семакин И. Г. Информатика и ИКТ. Базовый уровень : учебник для 10-11 классов / И. Г. Семакин, Е. К. Хеннер. - 8-е изд. - М. : БИНОМ. Лаборатория знаний, 2012, стр. 21-24
Информатика и ИКТ. Задачник-практикум : в 2т. Т. 1 / Л. А. Залогова [и др.] ; под ред. И. Г. Семакина, Е. К. Хеннера. - 3-е изд. - М. : БИНОМ. Лаборатория знаний, 2011, стр. 15-16