1) В какой из цифр 7 числа 777 больше информации и почему?
2) Определить количество информации (в битах) в одной букве русского (латинского) алфавита. Найти какое количество информации определяется двухбуквенными сочетаниями (всем алфавитом)?
3) Сообщение может содержать только по три знака "-" и два знака "+". Определить количество информации в одном таком сообщении.
4) Частотный словарь русского языка (словарь относительных частот, вероятностей появления букв в произвольном тексте языка) приведен ниже. Определить количество информации каждой буквы словаря.
Буква Частота Буква Частота Буква Частота
о 0.090 к 0.028 ь, ъ, б 0.014
е, ё 0.072 м 0.026 ч 0.013
а, и 0.062 д 0.025 й 0.012
т, н 0.053 п 0.023 х 0.009
с 0.045 у 0.021 ж, ю, ш 0.006
р 0.040 я 0.018 ч, щ, э 0.003
в 0.035 ы, з 0.016 ф 0.002
5) Сравните, хотя бы качественно, изменение информации и энтропии в сосуде с водой до и после замораживания. Ответ обоснуйте.
6) Составить одну задачу на использование формулы Шеннона.