01. Измерение информации

Содержательный и алфавитный подходы к измерению информации

В жизни нам очень часто приходится что-либо измерять. Свой рост, вес, расстояния, длину или высоту и так далее.

А как быть с информацией? Можно ли измерить её количество? Для ответа на этот вопрос разберём, какие методы используют для определения информационного объёма.

При измерении информации следует учитывать как объём передаваемого сообщения, так и его смысловую нагрузку. В связи с этим в информатике существуют разные подходы к измерению информации.

Одно и то же сообщение для одного получателя может нести информацию, а для другого — нет. Если кто-то по ошибке пришлёт вам сообщение: «Ключи оставил там, где всегда», то для вас объём информации в таком сообщении практически равен нулю. Так как вы не знаете, кто оставил ключи, кому, какие и где. Если это сообщение дойдёт до адресата, то для него оно будет нести много информации — скорее всего, он поймёт, о каких ключах идёт речь и куда их положили.

Другой пример: вывеска на японском языке для японца несёт гораздо больше информации, чем для человека, который не умеет читать по-японски.

С точки зрения человека, информация равна знаниям, которые мы получаем. Например, статья в научном журнале. Люди, получившие одно и то же сообщение, по-разному оценивают количество информации, содержащееся в нём, так как знания людей об этих событиях, явлениях до получения сообщения были различны. Те, кто знал об этом мало, сочтут, что получили много информации. Те же, кто знал больше, чем написано в статье, скажут, что не получили информации вообще. Количество информации при таком подходе тем больше, чем больше оно пополняет знания.

Содержательный подход — такой подход, при котором количество информации определяется объёмом знаний, который она в себе содержит.

С другой стороны, как подсчитать, сколько информации в книге, содержащей 300 000 знаков (буквы, знаки препинания, цифры, пробелы и так далее), или в журнале, который содержит 5000 знаков? В информатике с точки зрения содержательности информация не оценивается. Важен объём — количество знаков, потому что каждый символ занимает определённый объём. 256 символов будут занимать один и тот же объём, независимо от того, рассказ это или просто набор букв.

Вопрос определения количества информации очень важен, так как нужно знать, носитель какого объёма потребуется для сохранения информации или какое время понадобится для передачи её по каналам связи.

В этом случае говорят об информационном объёме информации. Такой подход к измерению информации называют алфавитным, или объёмным.

Алфавитный подход — это способ измерения информационного объёма текста, не связанного с его содержанием. Алфавитный подход к измерению информации используется при хранении и передаче информации. Так как в компьютере применяется представление информации с использованием двоичного алфавита, имеет значение только объём хранимого и передаваемого кода. Таким образом, алфавитный подход к измерению информации позволяет определить количество информации, заключённое в тексте, записанном с помощью некоторого алфавита. И смысл информации в данном случае не важен.

В алфавитном подходе учитываются не только буквы и символы, но и знаки препинания, пробелы — всё, что можно ввести с клавиатуры. При таком подходе каждый символ имеет значение. Пробел, например, тоже является символом и тоже занимает место, как бы странно это ни звучало.

«Навес» — защита от дождя, «на вес» — способ продажи продуктов в супермаркете.

Или знак 0 в математике. Его присутствие или отсутствие в записи числа влияют на значение: 35 и 305 — разные числа.

Единицы измерения информации

Как известно, компьютер при хранении и передаче информации каждый символ кодирует — записывает в виде нулей и единиц. Ноль или единицу называют битом.

Бит — минимальная единица измерения информации. Один символ в компьютерном алфавите можно закодировать с помощью 8 нулей и единиц, то есть 8 бит. 8 бит называется байтом.

На основании одного байта можно получить 28 = 256 уникальных двоичных кодов, так как на каждое из 8 мест можно поставить одну из двух цифр.

Действительно, если место одно, то вариантов всего два: 0 или 1. Если места два, то вариантов уже 2 × 2, так как на каждое из 2 мест можно поставить 0 или 1: 00, 01, 10, 11. Для 8 мест будет 2 × 2 × 2 × 2 × 2 × 2 × 2 × 2 = 28 = 256.

Кроме битов и байтов, есть и другие единицы измерения:

• 1 килобайт = 210 байт (1024 байт);

• 1 мегабайт = 210 килобайт (1024 килобайт);

• 1 гигабайт = 210 мегабайт (1024 мегабайт);

• 1 терабайт = 210 гигабайт (1024 гигабайт);

• 1 петабайт = 210 терабайт (1024 терабайт).

Обратим внимание на приставки перед единицами измерения: кило-, мега-, гига- и так далее. Некоторые из них заимствованы из метрической системы мер. Вы уже встречались с приставками кило- и мега-:

• 1 километр = 1000 метров;

• 1 мегапаскаль = 1 000 000 паскалей;

• 1 килограмм = 1000 грамм.

Под приставкой кило- понимаем 1000 = 10 × 10 × 10, то есть 103.

В информатике 10 не является базисом умножения. В информатике базисом является цифра «2», так как двойка — основа двоичного счисления, на котором основаны принципы организации памяти современных компьютеров. Одна ячейка памяти позволяет закодировать 2 символа — 0 или 1.

Получим число 1000 из двоек. Возведём 2 в степень 10, умножим 2 на 2 10 раз:

Таким образом, 210 бит = 1024 бит.

Если посмотреть на 1000 и 1024, то они довольно близки по значению.

Попробуем возвести 2 в 20-ю степень, или перемножим двойку 20 раз. Получим 1024 × 1024 = 1 048 576 — примерно это можно приравнять к 1 000 000, то есть получаем приставку мега-. Эти единицы применимы и к другим измерениям, связанным с компьютерами, а не только по отношению к памяти.

Решим примеры.

Пример № 1.

Сколько бит информации содержится в 3 Кб?

Решение:

1) Переводим килобайты в байты.

3 Кб = 3 × 1024 = 3072 байт.

2) Байты переведём в биты. 1 байт = 8 бит.

3072 × 8 = 24 576 бит.

Пример № 2.

Сколько Мб информации содержит в 14 336 байт?

Решение:

1) Переводим байты в килобайты.

14336 : 1024 = 14 Кб.

2) Переведём килобайты в мегабайты.

14 : 1024 = 0,013 Мб.

Пример № 3.

Сколько бит информации содержит 210 байт?

Решение:

210 байт = 1024 байт.

1) Переведём байты в биты. 1 байт = 8 бит.

1024 × 8 = 8192 бит.

Подход А. Н. Колмогорова к определению количества информации

Как можно измерить информацию? Количество информации зависит от количества символов и мощности алфавита.

Мощность алфавита — количество всех знаков языка.

Следовательно, для определения информационного объёма сообщения нужно подсчитать количество символов и знать информационный вес одного символа.

Разберём пример. Нам нужно определить количество информации в сообщении
«Я изучаю информатику».

Предположим, что в алфавите содержится 86 знаков: А–Я, а–я, цифры, знаки препинания («.», «,», «;», «!», «?», скобки, тире), кавычки, пробел. Значит, мощность алфавита N = 86.

Одна ячейка (один бит) позволяет закодировать 2 символа. Две ячейки — уже 4 (2 × 2), три ячейки — 8 (2 × 2 × 2), и так далее. Для начала нам нужно определить минимальное количество ячеек, которого хватит для кодирования всех элементов алфавита.

В используемом алфавите 86 символов. 6 ячеек не хватит, так как с их помощью можно закодировать 26 = 64 (64 < 86). 7 ячеек будет достаточно, так как 27 = 128 (128 > 86). То есть для кодирования всех букв нашего алфавита достаточно 7 бит.

В нашей фразе 20 символов. Всего нужно 7 × 20 = 140 бит.

Идея измерения количества информации в сообщении через длину двоичного кода этого сообщения принадлежит выдающемуся советскому математику Андрею Николаевичу Колмогорову.

Задача 1.

Информационный вес одного символа сообщения составляет 6 бит.

Определите максимальную мощность алфавита, с помощью которого записано это сообщение.

Дано: i = 6 бит.

Определить: N = ?

Решение:

По условию задачи для кодирования одного символа понадобится 6 бит.

2i = N.

26 = N.

26 = 64 — это максимально возможное количество символов, которое может содержать данный алфавит.

Ответ: мощность алфавита — 64 символа.

Количество битов, байтов, килобайтов и так далее, которое потребуется для записи фрагмента текста в двоичном коде, называют информационным объёмом фрагмента текста.

Задача 2.

Текст записан с использованием 256-символьного алфавита. Каждая страница содержит 30 строк по 70 символов в строке. Определите объём информации, содержащийся на 5 страницах документа, в килобайтах.

Дано:

N = 256.

К = 30 × 70 × 5.

Определить: I = ?

Решение:

2i = N.

I = K × i.

2i = 256.

i = 8 бит.

К = 30 × 70 × 5 = 10 500.

I = 10 500 × 8 = 84 000 бит.

I = 84 000 : 8 : 1024 = 10,25 Кб.

Ответ: объём информации в документе равен 10,25 Кб.

Мы выяснили, что объём информации равен длине двоичного кода.

Бит — минимальная единица измерения информации.

Для вычисления количества информации в текстовом сообщении достаточно знать вес одного символа и количество символов в сообщении. Такой подход к измерению называют алфавитным. Содержание информации в данном случае не важно.

Список литературы

Босова Л. Л., Босова А. Ю. Информатика. 7-й класс: учебник. — М.: БИНОМ. Лаборатория знаний, 2023. — С. 36–41.

Домашнее задание

1. Назовите подходы к измерению информации. В чём их принципиальное отличие?

2. Какие единицы измерения информации вы знаете?

3. Что такое мощность алфавита?

4. От чего зависит информационный вес символа?

5. Какая формула используется для определения информационного объёма текста?

6. Сколько бит в 2,5 Кб?

7. Определите и выразите в байтах информационный объём текста, состоящего из 100 символов 40-символьного алфавита.