Темы контрольной
Понятие сообщения и его формы, знаки, алфавиты, понятие формального языка. Информация и данные. Конечный вероятностный источник сообщений. Энтропия источника
Представление информаци
Кодирование сообщений источника и текстов. Равномерное и неравномерное кодирование. Дерево кода. Однозначное декодирование, префиксные коды. Метод Маркова. Условия существования префиксного кода с заданными длинами слов, теорема Крафта. Методы построения префиксных кодов. Код Фано. Средняя длина кодового слова. Нижняя граница средней длины кодового слова. Оптимальное кодирование, свойства оптимальных кодов, построение оптимального кода методом Хафмена. Сжатие данных.