Теория информации

Рассмотрим источник сообщений с алфавитом знаков {G,U,L,F}. Вероятности знаков в текстах этого источника выберите самостоятельно.

Считая появления знаков независимыми, найдите энтропию источника. Какое количество информации мы получим, узнав о появлении какого-то знака на выходе, - конкретного знака? Какой будет энтропия источника, если его состояния отождествлять со всевозможными парами знаков? Сколько информации содержится в сообщении о том, что в паре нет гласных, две гласные, одна гласная? Сколько информации содержится в сообщении из пяти знаков? Найдите собственную информацию сообщения LFFULG.