Шеннон доказал, что шум не мешает точности. Он ограничивает только скорость

Когда в трубке трещит и голос пропадает, мы повторяем громче и медленнее. Так же сто лет поступали инженеры связи: усиливали сигнал и надеялись, что он перекричит помехи. В 1948 году американский математик Клод Шеннон доказал, что всё это время они боролись не с тем врагом. Шум, как выяснилось, не мешает передать сообщение без единой ошибки. Он только ставит предел скорости.

Инженеры сто лет воевали с шумом и проигрывали

В 1858 году по дну Атлантики проложили первый телеграфный кабель между Европой и Америкой. Сигналы приходили слабыми и размытыми, и один из инженеров решил подать на кабель высокое напряжение. Через несколько недель изоляция не выдержала, и кабель замолчал навсегда.

Эта история хорошо показывает тогдашний способ мыслить. Помеха казалась грязью, которая налипает на сигнал, и её пытались отмыть грубой силой. Но усилитель поднимает всё сразу, вместе с сигналом растёт и треск. Инженеры Гарри Найквист и Ральф Хартли в 1920-х годах уже пытались подсчитать, сколько сигналов пролезет в провод за секунду. Единой меры у них не было, потому что никто не знал, что именно нужно мерить.

Шеннон предложил измерять не смысл, а неожиданность

Шеннон работал в Bell Labs, исследовательском центре телефонной компании. Ещё студентом, в 1937 году, он показал, что электрические реле можно описывать логикой «да — нет». В 1948 году он опубликовал «Математическую теорию связи» и сделал главный шаг: выбросил из информации смысл.

По Шеннону, информация измеряет снятую неопределённость. Подброшенная монета даёт ровно одну единицу, один бит: было два равных варианта, остался один. Слово «бит» придумал его коллега Джон Тьюки, а Шеннон первым ввёл его в науку. Сообщение, которое вы и так ожидали, почти ничего не стоит. Неожиданное стоит дорого. Среднюю неожиданность Шеннон назвал энтропией и научился считать её для любого текста, звука или картинки.

Отсюда сразу следует, что обычная речь сильно избыточна: в английском тексте можно стереть заметную часть букв, и его всё равно прочтут. Шеннон увидел, что эта избыточность и есть оружие против шума.

Шум ставит предел скорости, но не точности

Самое странное утверждение статьи звучит почти как фокус. У каждого канала связи есть пропускная способность, число бит в секунду, которое зависит от ширины полосы частот и от отношения силы сигнала к силе шума. Если передавать медленнее этого предела, ошибки можно сделать сколь угодно редкими. Если быстрее, надёжной связи не будет никогда, сколько ни усиливай.

Представьте, что диктуете номер телефона по плохой линии. Можно повторить его трижды, это надёжно, но долго. А можно назвать цифры и добавить их сумму: если собеседник ошибся, сумма не сойдётся, и он поймёт где. Шеннон доказал, что существуют коды гораздо умнее, которые подходят вплотную к пределу. Но его доказательство не говорило, как такие коды построить. Оно лишь утверждало, что они есть.

Полвека инженеры догоняли одну формулу

Уже в 1950 году Ричард Хэмминг из той же Bell Labs придумал код, который сам находит и исправляет ошибку. В 1960 году Ирвинг Рид и Гюстав Соломон предложили коды, которые потом защитили музыку на компакт-дисках. Поэтому поцарапанный диск часто играет без сбоев, а надорванный QR-код всё равно считывается. Коды исправления ошибок помогли и «Вояджерам» передавать снимки планет с окраин Солнечной системы.

Почти вплотную к пределу Шеннона подошли только в 1990-х годах: появились турбокоды и заново открытые коды Роберта Галлагера из 1960-х. Сегодня они работают в Wi-Fi и мобильных сетях. Те же идеи сжимают файлы, музыку и видео, выбрасывая предсказуемое. Даже языковые модели учатся по мере Шеннона: ошибку предсказания следующего слова считают в битах, а сам Шеннон ещё в 1948 году генерировал правдоподобную белиберду по статистике букв.

Свою границу теория обозначила сама

Теория информации ничего не говорит о смысле. Сообщение о пожаре и случайный набор букв той же длины могут нести одинаковое число бит. Когда в 1950-х её стали применять к психологии, биологии и экономике, Шеннон в 1956 году написал короткую заметку с предостережением: модное слово не делает математику универсальной. Предел пропускной способности тоже строг, к нему можно приблизиться, но превзойти его нельзя.

Читайте также: Жизнь записана четырьмя буквами, а форма ДНК сама выдала, как её копировать

Порядок, вырванный у шума

Каждый звонок, сообщение и фотография сегодня проходят через провода и эфир, полные треска, и всё же доходят точно до бита. Это работает избыточность, которую мы веками носили в языке, не замечая её: именно она позволяет понять собеседника на шумной улице, а при расшифровке аудиозаписей восстановить неразборчивую фразу по смыслу соседних. Шеннон доказал, что тишина для связи не нужна. Нужно только говорить так, чтобы даже искажённое сообщение можно было однозначно восстановить.

Ещё в «Высоких технологиях»

Ядро хранит в миллион раз больше энергии, чем огонь. Городу хватило граммаГорох из монастырского сада доказал: наследственность цифроваяШум в антенне оказался светом рождения Вселенной. И голуби ни при чём

Все материалы раздела →