Заглядываем за угол по-научному

Специалисты по компьютерному зрению обнаружили мир тайных оптических сигналов: по еле заметным движениям можно понять, о чем говорят в комнате, а по нечетким изображениям на углу здания — что находится за углом.

Ссылки на подкаст: Podster | iTunes | YouTube | Скачать | Telegram

В 2012 году, во время отдыха на побережье Испании, специалист по компьютерному зрению Антонио Торральба заметил на стене своего номера беспризорные тени: что их отбрасывает, было неясно. Через некоторое время ученый понял, что темные участки на стене — вовсе не тени, а нечеткое перевернутое вверх ногами изображение террасы за окном. Окно сыграло роль отверстия в камере-обскуре (в статье используется термин pinhole camera — прим. Newочём). Это простейшее устройство для получения изображений . Оно работает по следующему принципу: световые лучи проходят через небольшое отверстие, и на противоположной стороне создается перевернутое изображение. На освещенной стене изображение было практически незаметно. Ученого осенило: мир полон оптических сигналов, недоступных человеческому глазу.

«Эти изображения не видны, но они все время вокруг нас», – рассказывает Торральба.

Тот случай привлек внимание Торральбы и его коллеги Билла Фримена (оба преподают в Массачусетском технологическом институте — MIT) к повсеместности так называемых случайных камер. Окна, углы, комнатные растения и другие самые обычные предметы создают едва заметные изображения всего, что их окружает. Эти изображения обычно не видны невооруженным глазом: их яркость в тысячу раз меньше по сравнению с другими объектами. «Мы придумали, как получать эти изображения и делать их видимыми», — объяснил Фримен.

Ученые обнаружили, как много визуальной информации скрывается буквально у всех на виду. В своей первой статье Фримен и Торральба показали, что если обработать фотографии одной и той же стены в комнате при разных условиях освещения, можно получить вид из окна этой комнаты. Осенью прошлого года вместе с другими коллегами ученые сообщили о том, что если снять пространство на углу здания, можно отследить движение объекта за ним. Этим летом они продемонстрировали, что по фотографии комнатного растения, а точнее по теням от его листьев, можно восстановить трехмерное изображение всего помещения. А можно превратить листья в «оптический микрофон»: усилив вибрации листьев, услышать, о чем говорят вокруг.

В 2014 году был проведен эксперимент. В помещении со звуконепроницаемым окном находился человек. Он произносил строчки из детской песенки «У Мэри был барашек…» (Именно эти слова Томас Эдисон первыми записал на фонограф в 1877 году). Также в комнате находилась пустая упаковка из-под чипсов. Речь человека была восстановлена по записанным на камеру вибрациям упаковки.

Изучение способов заглянуть за угол и получить информацию о том, чего не видно (визуализации объектов вне поля зрения), началось в 2012 году со статьи Торральба и Фримена о случайных камерах и еще одной прорывной работы независимой группы из MIT под руководством Рамеша Раскара. В 2016 году, под впечатлением от этих результатов и по ряду других причин, Управление перспективных исследовательских проектов Министерства обороны США (DARPA) запустило программу REVEAL (англ. Revolutionary Enhancement of Visibility by Exploiting Active Light-fields — ‘Революционное улучшение видимости с помощью активных световых полей’) с бюджетом в $27 млн для финансирования новых лабораторий по всей стране. С тех пор благодаря притоку новых идей и математических приемов визуализация объектов вне поля зрения становилась все более эффективной и практичной.

Помимо очевидного применения этой технологии в вооруженных силах и в разведке, ученые рассматривают возможность ее использования при создании беспилотных автомобилей, систем технического зрения роботов, в диагностической визуализации, в астрономии, в космических исследованиях и при проведении поисково-спасательных операций.

Как вспоминает Антонио Торральба, в самом начале у них с Фрименом не было никаких идей по поводу применения технологии. Они просто пытались разобраться в том, как появляется изображение, и что представляет собой камера. Это естественным образом вылилось в более полное исследование поведения света и его взаимодействия с окружающими предметами и поверхностями. Они смогли увидеть то, что никто и не думал искать. Торральба отмечает, что, согласно психологическим исследованиям, «люди очень плохо распознают тени. Может быть потому, что большая часть того, что мы видим, и не тени вовсе. Глаза оставляют попытки найти объяснение некоторым явлениям».

Случайные камеры

Лучи света, передающие изображение предметов вне нашего поля зрения, постоянно отражаются от стен и других поверхностей и попадают в глаза. Но почему эти явления так незаметны? Проблема в том, что лучей слишком много и перемещаются они в разных направлениях: изображения расплываются.

Для формирования изображения необходимо строго ограничить количество световых лучей, попадающих на поверхность, чтобы видны были только нужные. Именно в этом заключается эффект камеры-обскуры. В 2012 году разработки Торральба и Фримена начались с идеи о том, что нас окружает множество различных предметов, естественным образом ограничивающих количество световых лучей и образующих изображения, расплывчатые для глаза, но достаточно четкие для компьютера.

Чем меньше отверстие камеры-обскуры, тем четче получаемое изображение, поскольку только один луч света от каждой точки изображаемого объекта пройдет через отверстие под нужным углом. Окно в гостиничном номере было слишком велико для формирования четкого изображения, и Торральба с Фрименом поняли, что функциональные случайные камеры-обскуры встречаются редко. Вместе с этим они обнаружили, что камеры с обратным действием: мелкие предметы, которые препятствуют прохождению света, — создают изображения повсеместно (в статье используется термин pinspeck camera — прим. Newочём).

Представьте, что смотрите через объектив камеры на внутреннюю стену комнаты через щель в жалюзи. Почти ничего не видно. Вдруг в ваше поле зрения попадает чья-то рука. Сравнив интенсивность света на стене, когда рука есть и когда ее нет, можно получить информацию о помещении. Световые лучи, попадающие на стену в первом кадре, блокируются рукой в следующем. Если вычесть данные второго изображения из данных первого, объясняет Фримен, «можно увидеть то, что закрывала рука» — световые лучи, создающие изображение части комнаты. «Если замечать не только предметы, пропускающие свет, но и те, что свет заслоняют, можно увеличить количество ситуаций, при которых появляются изображения как в камере-обскуре».

Вместе с исследованиями случайных камер, в ходе которых используются незначительные изменения интенсивности световых лучей, Фримен и его коллеги разработали алгоритмы для обнаружения и усиления слабых изменений цвета (например, когда кровь приливает к лицу и отливает от него), а также микроскопических движений (в них секрет говорящей упаковки из-под чипсов). Теперь они могут легко заметить движения даже в одну сотую пикселя, которые обычно теряются в шуме. Их метод заключается в том, чтобы математически преобразовать изображение в конфигурацию синусоид. Важно отметить, что в преобразованном пространстве сигнал не подавляется шумом, так как синусоида состоит из средних значений нескольких пикселей, поэтому шум равномерно распределяется между ними. Таким образом, ученые, двигаясь от кадра к кадру, могут обнаруживать изменения в положении синусоид, усиливать эти изменения, а затем преобразовывать изображение в исходный формат.

Они уже начали использовать эти разработки для получения скрытой визуальной информации. В октябре прошлого года, во время исследования под руководством тогда еще аспирантки Фримена, Кэти Буман (сейчас она работает в Гарвард-Смитсоновском центре астрофизики), ученые выяснили, что углы зданий выступают в качестве камер: создают нечеткие изображения происходящего за углом.

Края и углы ограничивают пропуск световых лучей по тому же принципу, что и камеры. С помощью стандартного записывающего оборудования, и даже iPhone, Буман с коллегами при дневном свете снимала на углу здания полутень — темноватую область, которую освещает подгруппа световых лучей, исходящих из невидимого пространства за углом. К примеру, если там пройдет человек в красной рубашке, рубашка спроецирует на полутень небольшое количество красного света, который будет скользить по полутени вслед за человеком. Это незаметно невооруженным взглядом, но после обработки становится прекрасно видно.

В июне Фримен с коллегами опубликовал новаторскую работу, в которой ученые воссоздали световое поле комнаты (картину интенсивности и направления движения световых лучей), используя тень густого растения у стены. Листья действуют как обратные камеры-обскуры, каждая из которых блокирует свой пучок световых лучей. При сопоставлении тени от одного листа с остальными выявляется недостающий пучок лучей, а вместе с ним и изображение части невидимого помещения. Сделав поправку на параллакс, исследователи собирают все кусочки воедино.

Подход с использованием светового поля дает гораздо более четкие изображения по сравнению со случайными камерами, поскольку в алгоритмы заранее внесены данные о внешней среде. Форма комнатного растения, допущения о характеристике естественных изображений и другие заранее известные детали позволяют исследователям делать выводы о зашумленных сигналах, за счет чего удается повысить резкость изображения. По словам Торральбы, метод светового поля требует обширных знаний об окружающей среде, зато предоставляет много информации.

Рассеянный свет

Пока Фримен, Торральба и их протеже занимаются обнаружением самопроизвольных изображений, там же, в кампусе MIT, специалист по компьютерному зрению и спикер TED Рамеш Раскар, прямо заявляющий о готовности «изменить мир», испытывает активную визуализацию. С помощью специальных систем из дорогостоящих камер и лазеров он получает высокочеткие изображения находящихся за углом объектов.

В 2012 году Раскар с командой воплощал в жизнь идею, которая пришла ему в голову за пять лет до этого, и разработал следующую методику. В стену напротив объекта вне поля зрения посылают лазерные импульсы. Небольшая часть рассеянного от объекта света возвращается из-за преграды. Сразу после каждого импульса с помощью электронно-оптической камеры, которая со скоростью миллиард кадров в секунду улавливает отдельные фотоны, ученые определяют, какие из них отскочили от стены. Измеряя время полета возвращающихся фотонов, исследователи могут вычислить преодоленное ими расстояние и во всех подробностях восстановить трехмерные очертания скрытых за стеной объектов, от которых отразились фотоны. Сложность в том, что для создания трехмерного изображения лазер приходится перемещать по стене как при растровом сканировании. Допустим, за углом стоит человек. «Световые лучи от отдельно взятых точек его головы, плеча и колена могут вернуться к камере в одно и то же время, — объясняет Раскар. — Но стоит мне посветить лазером слегка в другом направлении, и лучи из трех точек уже не смогут вернуться одновременно». Поэтому, чтобы воссоздать трехмерный объект, приходится объединять все сигналы и решать так называемую обратную задачу.

Первоначальный алгоритм Раскара для решения обратной задачи требовал большого количества вычислений, а способный их производить аппарат стоил полмиллиона долларов. Но исследователям удалось упростить выражения, изрядно тем самым сэкономив. Опубликованная в одном из мартовских номеров журнала Nature статья установила новые стандарты эффективной и экономичной визуализации трехмерного объекта за углом (на примере фигурки кролика). Ученые из Стэнфордского университета: Мэттью О’Тул, Дэвид Линделл и Гордон Вецстайн — разработали мощный алгоритм для решения обратной задачи и использовали сравнительно недорогую SPAD-камеру (англ. single-photon avalanche diode — ‘однофотонный лавинный диод’) — полупроводниковое устройство с более низкой по сравнению с электронно-оптической камерой частотой кадров. Раскар, в прошлом научный руководитель двух других авторов, назвал публикацию «очень толковой» и «одной из самых любимых».

Предыдущие алгоритмы стопорились из-за особенностей экспериментальной процедуры. Как правило, исследователи наблюдали за фотонами, которые возвращались не из тех точек на стене, куда первоначально был направлен лазер (чтобы в камеру не попал рассеянный свет самого лазера). Но направив лазер и камеру практически в одну точку, стэнфордским ученым удалось сделать так, чтобы испускаемые и отраженные фотоны очертили один и тот же световой конус. Рассеиваясь по поверхности, свет образует расширяющуюся сферу фотонов. В процессе расширения она очерчивает форму конуса. О’Тул (который ныне работает в университете Карнеги Меллон) перевел разработанную в начале 20 века Германом Минковским (учителем Альберта Эйнштейна) физику световых конусов в краткое математическое выражение, связывающее время полета фотонов и расстояние до рассеивающих поверхностей. Этот процесс он назвал преобразованием светового конуса.

В беспилотные автомобили уже встроены системы для прямой визуализации — лидары (англ. Light Identification Detection and Ranging — ‘обнаружение, идентификация и определение дальности с помощью света’). Не исключено, что с помощью SPAD-камер и лазеров они тоже в скором времени смогут «заглядывать за углы». «В ближайшем будущем датчики на основе лазера и SPAD-камер станут переносными», — прогнозирует Андреас Велтен, соавтор статьи Раскара 2012 года, ныне руководитель группы по активной визуализации в Висконсинском университете в Мадисоне. «Сейчас задача заключается в том, чтобы перейти к более сложным конфигурациям предметов и реалистичным сценариям, — рассказывает Велтен. — Обычно мы все старательно выстраиваем: чтобы на черном фоне был белый объект, а хочется просто навести камеру на любое нужное место».

Знать, где что находится

Исследователи из группы Фримена начали совмещать пассивный и активный подходы. В статье научного сотрудника Христоса Трампулидиса было показано, что при активной лазерной визуализации и наличии за углом обратной камеры-обскуры заранее известной формы, можно восстановить расположение невидимых предметов и без информации о времени пролета фотонов. «Уверен, что обычной ПЗС-матрицы будет достаточно», — заявил Трампулидис.

Когда-нибудь визуализация объектов вне поля зрения послужит на пользу спасательным отрядам, пожарным и автономным роботам. Велтен сотрудничает с Лабораторией реактивного движения NASA в рамках проекта по дистанционной визуализации внутреннего пространства лунных пещер. А Раскар тем временем использует свой подход, чтобы прочесть несколько страниц закрытой книги и получить изображение объекта в тумане.

Помимо воссоздания звуков алгоритм Фримена может пригодиться в конструкции медицинских приборов и систем безопасности, а также для обнаружения незаметных астрономических движений. «Такой алгоритм — очень хорошая идея, — заявил Дэвид Хогг, астроном и исследователь данных в Нью-Йоркском университете и Институте Флэтайрона (который, как и Quanta, финансируется Фондом Саймонса). — Думаю, нам стоит использовать его в астрономии».

Фримен много размышлял над проблемами конфиденциальности в свете недавних исследований. «Этот вопрос серьезно беспокоит меня на протяжении всей моей карьеры», — признается он. Инженер-очкарик, который с самого детства занимается фотографией, Фримен поначалу не хотел работать над тем, что может найти применение в вооруженных силах и разведке. Но со временем исследователь пришел к выводу, что любая технология — лишь инструмент, который можно использовать по-разному. Если избегать всего, что можно применить в военных целях, не сделаешь ничего полезного. Фримен добавил, что даже на войне «вариантов использования технологий великое множество. Наша технология может спасти кому-нибудь жизнь. И вообще, всегда полезно знать, где что находится».

Однако поражают его не столько технологические возможности, сколько то, что удалось обнаружить явление, скрытое у всех на виду. «В этом мире нам еще столько всего предстоит обнаружить», — уверен Фримен.

Оригинал: Quanta Magazine
Автор: Натали Волховер

Переводили: Мария Елистратова и Светлана Писковатскова
Редактировал: Александр Иванков

Понравилась статья или подкаст? Поддержи проект:
Patreon patreon.com/newochem
Сбербанк 5469 4100 1191 4078
Тинькофф 5536 9137 8391 1874
Рокетбанк 5321 3003 1271 6181
Альфа-Банк 5486 7328 1231 5455
Яндекс.Деньги 410015483148917
PayPal paypal.me/vsilaev
QIWI 89633244489
Bitcoin bc1qphwwt0vnjgkzju8mhwawyh54gc0x3g4cd8nv7e

Тарасов Валентин - Заглядываем за угол по-научному [Quanta magazine]

00:25