Содержательный подход к измерению информации

Информация для человека — это знания. Значит, сообщение содержит ненулевую информацию, если оно пополняет знания человека. Сообщение несет информацию для человека, если со- держащиеся в нем сведения являются для него новыми и понятными. Поэтому для разных людей одно и то же сообщение содержит информацию, а может ее и не содержать.

Информация — это мера уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то такое сообщение содержит информацию. За единицу измерения информации принимается
1 бит — уменьшение неопределенности знаний человека в 2 раза. Подбросим монету. Так как у монеты две стороны, то при бросании может произойти одно из двух равновероятностных событий: орел или решка.
Есть всего два варианта возможного результата бросания монеты, поэтому перед подбрасыванием монеты неопределенность знаний о результате равна двум. Результат бросания монеты несет
1 бит информации.
1 бит — минимальная единица измерения количества информации. Но существуют и другие:
1 байт = 8 бит;
1 Кбайт = 1024 байт;
1 Мбайт = 1024 Кбайт;
1 Гбайт = 1024 Мбайт;
1 Тб (терабайт) = 1024 Гбайт;
1 Эб (эксабайт) =

Обозначим буквой N количество равновероятностных событий(неопределенность знаний о некотором событии), i — количество информации, полученной в результате совершения события.
Количество информации (i), содержащееся в сообщении о том, что произошло одно из N равновероятных событий, можно определить из формулы Хартли: .