Группа израильских и американских специалистов анонсировала концепт нестандартной атаки. Эксперты предложили использовать обычные микрофоны для снятия звуковых сигналов, исходящих от LCD-экранов, после чего использовать полученные данные для определения содержимого экрана.

Во время работы экранов данного типа устройства издают очень тихий звук, причем, он изменяется при смене картинки на экране. Анализ показал, что различные типы контента имеют собственные звуковые сигнатуры. Звуковые колебания возникают, поскольку для вывода различного контента необходимо затратить разное количество энергии.

Исследователи отметили, что атакующим в каждом случае понадобится создавать соответствующие звуковые модели. При этом необходимо учитывать другие факторы – внешний шум, тип микрофона, расстояние между устройствами и т.п. Для эффективной атаки злоумышленникам необходимо предварительно определить маркеры для разных типов контента (видео, текст, интернет-страница), после чего задействовать машинное обучение для конкретной модели монитора.

Любопытно, что запись звука можно осуществлять в процессе звонков через VoIP и аналогичные службы. Также можно использовать для атаки смартфон, «умные» колонки, а также направленный микрофон, расположенный на расстоянии до 10 метров от атакуемого ПК.

Все тесты проводились в обстановке, приближенной к обычному офису – рядом работала другая техника, постоянно разговаривали люди. На первом этапе эксперимента были созданы «звуковые отпечатки» 97 различных интернет-сайтов. От ПО требовалось определить, какой ресурс отображается в текущий момент на мониторе.

На следующем этапе эксперты попробовали извлекать текстовое содержимое. В этом случае предполагается, что тип контента уже определен, а шрифт достаточно большой. Точность распознавания отдельных символов была высока – от 88% до 98%. Для проверки использовался список из 100 тестовых слов, алгоритм использовал предварительно составленную базу из 55 тысяч слов.