Формула Шеннона
Формула определения количества информации, учитывающая возможную разную вероятность сообщений в наборе.
Формула Шеннона используется при оценке минимальной пропускной способности канала связи, создании алгоритмов сжатия, при разработке оптимальных кодов, повышающих эффективность передачи данных. Информация по формуле Шеннона выражается в битах. В случае получения нецелого числа его округляют в большую сторону.