Исчисление объёмов информации
Цель работы:
Закрепление знаний о количественном исчислении объемов информации. Мера информации по Хартли. Мера информации по Шеннону.
Задание на лабораторную работу:
Разработать программные модули, определяющие информационные характеристики по Хартли и Шеннону для заданного источника сообщений. Источником сообщений является произвольный текст достаточного объема на английском языке.
Ход работы:
Информационная ценность сообщения связана с разнообразием вариантов генерируемых сообщений. Объем информации, передаваемый с отдельным сообщением, пропорционален общему числу N различных сообщений. В качестве меры информационной емкости принимается логарифм по основанию 2 от N:
I = log2 N.
Данная формула – формула для расчета меры информации по Хартли.
Другим способом количественной оценки информации, учитывающим вероятности генерации конкретных сообщений, является мера по Шеннону.
Неопределенность состояния источника информации оценивается по формуле:Цель работы:
Закрепление знаний о количественном исчислении объемов информации. Мера информации по Хартли. Мера информации по Шеннону.
Задание на лабораторную работу:
Разработать программные модули, определяющие информационные характеристики по Хартли и Шеннону для заданного источника сообщений. Источником сообщений является произвольный текст достаточного объема на английском языке.
Ход работы:
Информационная ценность сообщения связана с разнообразием вариантов генерируемых сообщений. Объем информации, передаваемый с отдельным сообщением, пропорционален общему числу N различных сообщений. В качестве меры информационной емкости принимается логарифм по основанию 2 от N:
I = log2 N.
Данная формула – формула для расчета меры информации по Хартли.
Другим способом количественной оценки информации, учитывающим вероятности генерации конкретных сообщений, является мера по Шеннону.
Неопределенность состояния источника информации оценивается по формуле:
