Как функционирует распознавание лиц в смартфонах

Зачем мы останавливаемся на разблокировку по лицевому распознаванию

В последние годы распознавание физиономий превратилось в одной из наиболее востребованных функций для открытия смартфонов. Всего пару лет тому назад большинство пользователей довольствовались пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением таких технологий, например вулкан россия, нам достаточно лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Что обуславливает данную особенность такой востребованной? Прежде всего, это удобно: не нужно помнить замысловатые пароли или отыскивать верный палец в мраке. Во-вторых, это оперативно: современные системы распознают лицо буквально за мгновение. В-третью очередь, это чувство футуризма — как будто в кинолентах про вулкан автомат разведчиков.

Впрочем за данной на первый взгляд несложностью таится целый мир комплексных методов и инженерных решений. Попробуем разобраться, как именно действует распознавание лиц в новейших мобильных телефонах, какие бывают способы, насколько они защищены и что нас предстоит.

Короткая история эволюции инноваций

Распознавание лиц как техника существует уже более 50 годов. Начальные эксперименты машинного анализа лица были осуществлены еще в 1960-х годах в лабораториях США. Тогда компьютеры умели лишь выделять силуэты головы и вычислять расстояния между глазами и ртом на ахроматических снимках.

Первые коммерческие системы появились в 1990-х годах, но они были неидеальны: функционировали медленно и нередко ошибались. Только с прогрессом искусственных сетей и таких платформ, как вулкан россии, высокопроизводительных мобильных чипов идентификация лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные решения.

Основные этапы работы механизма распознавания

Процесс распознавания лица можно примерно разделить на несколько ключевых этапов:

1. Идентификация лица — камера определяет наличие гуманного лица в кадре.
2. Выделение характеристик — система изучает черты облика: конфигурацию зрительных органов, носа, уст, положение надбровных дуг.
3. Построение структуры — создаётся неповторимый цифровой отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со образцом — созданный шаблон сверяется с записанной при регистрации биометрической сведениями владельца.
5. Принятие определения — если совпадение достаточно существенное, смартфон деблокируется.

Всякий из указанных стадий запрашивает специальных алгоритмов и улучшений для быстрой работы прямо на устройстве.

Железные компоненты: что прячется внутри них

Обычная фронтальная камера.

Самый простой вариант распознавания лица использует лишь переднюю камеру смартфона. Данный способ осуществлён во многих доступных версиях Android-устройств.

Положительные стороны:

• Не нуждается в требует дополнительных датчиков.
• Шустро действует при достаточном освещённости.

Недостатки:

• Несложно обмануть фотографией или роликом.
• Плохо действует при слабом освещённости или непривычных ракурсах.

ИК фотокамера и точечный проектор

Более совершенные системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс лежит в основе Face ID от Apple.

Каким способом это действует:

• Точечный проектор показывает на физиономию юзера невидимую решетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 пятен).
• Инфракрасная устройство записывает деформацию данной решетки по поверхности физиономии.
• Формируется трёхмерная глубинная карта глубины, которая почти что неподвластна для имитации стандартной снимком или маскировкой.

Выигрыши

• Надёжная работа даже в полной тьме.
• Высокая устойчивость к имитациям.
• Точность идентификации более 99%.

Добавочные датчики

В отдельных девайсах используются также экстра сенсорные устройства: ToF (Time-of-Flight), которые измеряют период распространения света до объекта и обратно; Цветные-датчики дальности; специальные световые дальномеры для построения более точной 3D-модели физиономии.

Эти инновации используются чаще всего во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: синтетический разум в исполнении

Текущие системы распознавания физиономий невозможны в отсутствие применения artificial intelligence и машинного обучения. Именно вследствие таким технологиям, как вулкан россии, гаджет в состоянии узнавать пользователя даже при метаморфозах внешнего вида: новая укладка, щетина, очки или косметика не становятся помехой для открытия.

Обнаружение лица

На первом стадии программа обязана мгновенно обнаружить лицо внутри целого изображения с камеры. Для этого используются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены распознавать человеческие лица среди множества других объектов.

Пример: метод MTCNN может обнаруживать физиономию даже с частичном закрытии (например, платком или ладонью).

Выделение ключевых моментов

После идентификации лица механизм, такая как вулкан россии, вычисляет положение основных точек: края глаз, конец носа, края губ и так далее. Часто применяется от 68 до 128 ключевых маркеров на лице.

Это действие нужно для нормализации изображения: если человек находится с мобильник под углом, или повернул головку, программа корректирует картинку до нормального состояния для последующего изучения.

Построение биометрического образца

Далее нейросеть строит сжатое математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный формат весьма сложно имитировать: он не хранит само изображение пользователя, а лишь исключительные характеристики его вида, что делает его совершенным для таких платформ, как vulkan russia.

Сравнительный анализ и вынесение решения

В случае, когда юзер желает разлочить телефон взглядом, механизм воспроизводит все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный уровень (обычно больше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ запрещается.

Адаптация к метаморфозам внешнего вида

Занимательная особенность нынешних систем — способность самообучения. Если вы регулярно разблокируете мобильное устройство с свежей прической или оптикой, алгоритм постепенно освежает базовый модель вашего внешности для увеличения точности действия без ухудшения безопасности.

Безопасность биометрических данных информации.

Большинство юзеры боятся сохранять свои био-идентификационные данные на телефоне из-за риска утечки данных или взлома гаджета. Некоторые организации, например vulkan russia, предлагают методы для повышения сохранности данных юзеров.

• Локальное сохранение: Основная часть устройств сохраняет биометрические шаблоны лишь внутрь безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают устройство и не доступны в том числе создателю.

• Шифрование: Все сведения сохраняются только в кодированном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Программы внешних девелоперов не обладают прямого возможности доступа к биометрическим данным; они могут лишь требовать подтверждение верификации идентичности через системный API.

Стоит подчеркнуть важную деталь: в случае, если кто-либо достанет доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании реализуют защиту от “слепого” разблокирования — в частности, заставляют открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются категории распознавания лиц на изображениях?

Сегодня можно выделить определить 3 главных способа к выполнению этой задачи:

Софтверное плоское определение

Эксплуатируется только фронтальная видеокамера без вспомогательных сенсоров глубины. Этот подход встречается наиболее часто в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота осуществления; минимальная затраты; оперативная работа при качественном освещении.
Минусы: несложно обмануть фотографией; неустойчивая деятельность ночью; низкая безопасность.

Техническое трёхмерное сканирование

Применяет ИК видеокамеру + проектор точек + датчики глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Достоинства: высокая достоверность; не получится обмануть изображение/видеозапись; стабильная деятельность при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с интеграцией ИИ

Используют комбинацию программируемых методов + аппаратную обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например вулкан россии и Google Pixel Face Unlock последних поколений, комбинируют фронтальную камеру c инфракрасным датчиком движения Soli Radar для предотвращения от подделок руками/масками/видеоэкранами чужих устройств.

Иллюстрации применения различных способов

• iPhone серии X/11/12/13/14 применяют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз предложил эквивалент Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как софтверное 2D идентификацию по снимку фронтальной камерой, так и сканер глазного ириса.
• Huawei Mate20 Pro использует систему из ИК-подсветки + Dot Projector + ToF-сенсор

Вопросы защиты и ложные сигналы

Несмотря на поразительный развитие инноваций за недавние лет, идеальных систем пока не наблюдается:

1. Вероятность обмана: Недорогие смартфоны просто “разблокируются” качественной фотографией владельца либо роликом с экрана другого устройства.
2. Идентичные близняшки: Даже самые безупречные системы могут спутать между монозиготными близнецами либо родичами с очень схожей внешностью.
3. Изменения внешности: Внезапное снижение веса/набор веса, хирургические вмешательства или травмы иногда требуют обновления данных биометрии.
4. Условия фотографирования: Яркая засветка солнечным светом или же плотная темнота могут уменьшить точность распознавания признаков.

Ниже некоторые советов для защищённому использованию:

• Для критически важных операций всегда применяйте двухфакторную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Систематически обновляйте прошивку прошивку смартфона для обеспечения безопасности от новых видов атак;
• Включайте функцию “Требовать открытых глаз” в тех местах, где она доступна.

Где дополнительно находится применение технология помимо мобильных телефонов?

Хотя тема данной статьи посвящена в частности мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

• Контроль доступа в рабочих помещениях и резиденциях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Цифровые идентификационные документы последнего типа;
• Установки видеонаблюдения муниципальных сервисов;
• Автоматизация регистрации посещаемости учебных заведений/вузов;
• Авторизация пользователей персональных компьютеров/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без пластика или телефона! Похожие инициативы развиваются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом изменяется техпроцесс сегодня?

Всякий годочек возникают новые идеи для повышения уровня работы систем распознавания лиц:

1. Увеличивается разрешение сенсорных устройств — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность неточности;
2. Улучшаются искусственные интеллекты — новейшие архитектуры вида MobileNetV3 обеспечивают возможность скоростно обучаться свежим чертам облика владельца напрямую на гаджете без отправки данных в облако.
3. Улучшаются методы антиспуфинга — теперь мобильные устройства умеют различать реальные движущиеся лица от статичных снимков/маскировок по мельчайшим микродвижениям.
4. Интеграция со смарт-гаджетами — умные часы могут самостоятельно закрыть доступ к мобильный телефон, если обладатель отошёл далеко.
5. Возникают гибридные системы — например совмещающие аудио идентификацию + лицо + дактилоскопический след.

Вот, которые тренды очень актуальны в данный момент:

1) Уменьшение деталей

Компании намереваются уменьшить габариты отверстия (“чёлки”) под датчики на дисплее за счёт встраивания миниатюрных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для увеличения личной безопасности всё больше обработки данных выполняется внутри устройства без передачи данных во дополнительный облачный сервис.

3) Стандартизация стандартов

Гугл энергично продвигает стандарт BiometricPrompt API, для того чтобы подобные системы, вроде вулкан россия, и все Android-программы были совместимы с различными типами биометрии унифицированно.

Какое выбрать на сегодня?

Когда вам необходима максимальная безопасность данных, остановите выбор на топовые аппараты со встроенным ИК-проектором или же ToF-датчиком глубины.

• iPhone всех последних поколений
• Huawei Companion/Series P линейки
• Mi Expert
• Vivo X серии
• Oppo Обнаружить Икс линейки.

Если средства ограничен – лучше предпочесть классическим способам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как второстепенную возможность удобства.

Как улучшить практичность использования возможности?

Есть несколько лайфхаков для тех, кто уже применяет разблокировку через лицо:

1. Часто обновляйте свою изображение-шаблон, если значительно изменяется внешность.
2. Не пренебрегайте протирать линзу фронтальной камеры – загрязнения могут уменьшить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам активирует фотоаппарат если вы берёте его в руки.
4. Во время регистрационного процесса старайтесь держать лицевую часть ровно напротив объектива исключая сильного наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвели взгляд от экрана.

Перспективы эволюции технологии

В ближайшие периоды можно ожидать возникновения полностью безконтактных способов распознавания персоны сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + походка + движения рук!

Также вероятно появление свежих методов защиты приватности – например, динамическое корректировка электронного паттерна после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из самых захватывающих инноваций нашего эпохи! Она обеспечивает интеракцию со смартфоном проще чем раньше, и такие программы, как vulkan russia, могут существенно оптимизировать ваш опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как функционирует эта технология в деталях, – сможете вдумчиво подбирать свой следующий девайс!