теория информации - экзамен

1. Вычислить энтропию последовательности букв ФИО. Для оценки вероятностей символов использовать частоты вхождения букв в ФИО.
2. По заданной матрице совместных вероятностей появления сообщений зависимых источников информации и вычислить величины H(X) ,H(Y) ,H(X/Y) ,H(Y/X) , H(X,Y) .

Y
X y1 y2 y3
x1 0.15 0.05 0
x2 0 0.6 0.05
x3 0.05 0 0.1

3. Построить равномерный двоичный код с наименьшей длиной кодового слова для букв, входящих в ФИО.
4. Последовательность букв ФИО преобразовать следующим образом: буквы от ‘А’ до ‘З’ заменить символом а, буквы от ‘И’ до ‘Т’ заменить символом b, остальные буквы – символом c. Закодировать полученную последовательность словарным методом Лемпела-Зива (размер словаря 8). Декодировать закодированную последовательность.
5. Закодировать последовательность букв ФИО адаптивным кодом «стопка книг».