|
|
|
|
|
§ 2. Подходы к измерению информации
2.2. Алфавитный подход к измерению информации
Слово WORD, закодированное с помощью таблицы ASCII:
Информационный объём такого сообщения равен 32 битам. Из курса информатики основной школы вам известно, что с помощью i-разрядного двоичного кода можно закодировать алфавит, мощность N которого определяется из соотношения: 2i = N. Иными словами, зная мощность используемого алфавита, всегда можно вычислить информационный вес символа — минимально возможное количество бит, требуемое для кодирования символов этого алфавита. При этом информационный вес символа должен быть выражен целым числом.
Пусть N — мощность алфавита, используемого для кодирования сообщений. При этом в каждом конкретном сообщении какие-то символы алфавита будут использоваться чаще, какие-то — реже, а какие-то — не будут использоваться вообще. Не станем обращать на это внимание, наоборот, будем считать, что любой из символов может появиться в сообщении с равной вероятностью. Другими словами, появление в сообщении очередного символа — одно из N равновероятных событий. Но количество информации i, содержащееся в сообщении об одном из N равновероятных результатов некоторого события, определяется из формулы 2i = N. Алгоритм вычисления информационного объёма сообщения выглядит так: 1) определить мощность используемого алфавита N; 2) из соотношения 2i = N определить i — информационный вес символа алфавита в битах (длину двоичного кода символа из используемого алфавита мощности N); 3) вычислить информационный объём сообщения I, умножив информационный вес символа i на количество символов в сообщении К.
Для регистрации на некотором сайте пользователю надо придумать пароль, состоящий из 10 символов. В качестве символов можно использовать десятичные цифры и шесть первых букв латинского алфавита, причём буквы используются только заглавные. Пароли кодируются посимвольно. Все символы кодируются одинаковым и минимально возможным количеством бит. Для хранения сведений о каждом пользователе в системе отведено одинаковое и минимально возможное целое число байт. Необходимо выяснить, какой объём памяти потребуется для хранения 100 паролей.
|
Пример 6. Для двоичного представления текстов в компьютере чаще всего используется равномерный восьмиразрядный код. С его помощью можно закодировать алфавит из 256 символов (28 = 256). Фрагмент кодовой таблицы ASCII представлен на рисунке 1.8.
Соотношение для определения информационного веса символа алфавита можно получить и из следующих соображений.
При алфавитном подходе информационный объём сообщения I, состоящего из К символов, вычисляется по формуле:
Пример 7.
|
|