1. Показать, что энтропийная мера по Шеннону увеличивает большие вероятности событий и уменьшает малые вероятности событий.
2. Источник информации состоит из двух источников: двоичного и троичного. Вероятности букв первого источника p1 и p2, второго - q1, q2, q3. В результате попарного комбинирования букв на выходе составного источника появляется всего пять равновероятных слов по два элемента в каждом: от первого и второго источников. Определить избыточность составного источника, обусловленную статистической связью элементов первого и второго источников, а также вероятности слов составного источника, обеспечивающие нулевую избыточность.