Инструменты пользователя

Инструменты сайта


examination:computer_science:question3

Вопрос №3 Понятие информации в теории Шеннона. Энтропия.

В основанной американским ученым Клодом Шенноном математической теории информации под информацией понимались не любые сведения, а лишь те, которые снимают полностью или уменьшают существующую до их получения неопределенность (неизвестность). Каждому сигналу в теории Шеннона соответствует вероятность его появления (например, при передаче текста телеграммы вероятность появления буквы “Р” приблизительно равна 1/32). Чем меньше вероятность появления того или иного сигнала, тем больше информации он несет для потребителя. В обыденном понимании чем неожиданнее новость, тем больше ее информативность.

Информационная энтропия — мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче.

Информация по Шеннону Увеличение информации эквивалентно сокращению энтропии. Первичное и самое существенное в определении энтропии - логарифм числа возможных состояний или их вероятностей.

Информацио́нная энтропи́я — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка)встречаются очень редко, то неопределённость ещё более уменьшается. Энтропия — это количество информации приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Информационная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле:

та величина также называется средней энтропией сообщения. Величина

называется частной энтропией, характеризующей только i-e состояние. Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме). Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.

examination/computer_science/question3.txt · Последние изменения: 2014/01/15 08:15 (внешнее изменение)