Как действует распознавание лицевых образов в телефонах

Зачем мы выбираем разблокирование по фейсу

В прошлые времена распознавание лиц стало одной из наиболее востребованных функций для деблокировки смартфонов. Всего пару лет ранее основная масса юзеров удовлетворялись PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какой аспект обуславливает эту функцию настолько популярной? Во-первых, это удобно: не нужно помнить замысловатые пароли или искать нужный палец в тьме. Кроме того, это мгновенно: современные системы распознают лицо буквально за доли секунды. В-третью очередь, это ощущение будущего — как будто в кинофильмах про адмирал x шпионов.

Впрочем за этой кажущейся несложностью прячется весь вселенная трудных технологий и инженерных разработок. Давайте разобраться, как точно работает фейсканирование в современных смартфонах, какие существуют технологии, насколько они безопасны и что нас ожидает в будущем.

Краткая хроника эволюции техники

Распознавание лиц как техника существует уже более 50 лет. Начальные попытки автоматического изучения лица были осуществлены еще в 1960-х годах в исследовательских центрах США. Тогда компьютеры способны были лишь выделять очертания головы и вычислять промежутки между глазами и устами на монохромных снимках.

Начальные коммерческие установки стали доступны в 90-х, но они были несовершенны: действовали неспешно и часто давали сбои. Только с эволюцией искусственных сетей и таких платформ, как адмирал х, высокопроизводительных мобильных процессоров идентификация лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные решения.

Основные стадии работы системы распознавания

Процесс определения лица можно условно разделить на несколько ключевых этапов:

1. Распознавание лиц — аппарат распознает наличие гуманного лица в снимке.
2. Извлечение характеристик — система исследует контуры облика: очертания глаз, носа, губ, расположение надбровных дуг.
3. Построение шаблона — создаётся неповторимый электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со эталоном — полученный образец сверяется со записанной при внесении биометрической данными владельца.
5. Принятие определения — если совпадение достаточно существенное, смартфон разблокируется.

Любой из этих стадий нуждается в специальных алгоритмов и оптимизаций для быстрой работы прямо на устройстве.

Аппаратные составляющие: что прячется внутри

Типичная передняя камера.

Простейший простой способ распознавания облика применяет только фронтальную видеокамеру смартфона. Данный подход осуществлён во многих бюджетных моделях Android-устройств.

Преимущества:

• Необходимо нуждается в внешних датчиков.
• Шустро работает при достаточном освещении.

Отрицательные стороны:

• Несложно одурачить фотографией или видеозаписью.
• Неудачно функционирует при слабом освещённости или необычных ракурсах.

Инфракрасная камера и пунктирный проекционный аппарат

Более совершенные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс составляет базу Face ID от Apple.

Как это работает:

• Точечный проектор показывает на лицо юзера невидимую сетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 точек).
• Инфракрасная устройство регистрирует деформацию этой сетки по плоскости лица.
• Формируется трехмерная карта глубины, которая практически невозможна для фальсификации типичной фотографией или маскировкой.

Преимущества

• Надёжная деятельность даже в полной темноте.
• Высокая устойчивость к подделкам.
• Точность определения выше 99%.

Дополнительные датчики

В определённых устройствах используются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые измеряют время прохождения света до цели и обратно; Трехцветные-датчики глубины; специальные лазерные измерители расстояния для построения более детализированной 3D-модели физиономии.

Эти инновации встречаются наиболее часто во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искусственный ум на исполнении

Текущие системы идентификации лиц немыслимы без применения искусственного интеллекта и машинного обучения. Именно благодаря таким разработкам, как адмирал х, гаджет может идентифицировать пользователя даже при трансформациях внешности: новая причёска, борода, оптика или макияж не становятся препятствием для деблокировки.

Детектирование лиц

При первом этапе алгоритм должна мгновенно распознать образ лица среди целого снимка с камеры. Для этого используются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены распознавать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен распознавать облик даже с частичном перекрытии (например, шалью или рукой).

Определение основных точек

После обнаружения лица устройство, такая как адмирал х, вычисляет местоположение основных точек: уголки глаз, кончик носа, края губ и так далее. Обычно применяется от 68 до 128 главных маркеров на лицевой области.

Это действие нужно для нормализации картинки: если юзер держит телефон под наклоненным, или повернул головку, программа корректирует изображение до обычного угла для последующего изучения.

Формирование биометрии модели

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Такой формат весьма трудно имитировать: он не удерживает само изображение юзера, а лишь исключительные черты его внешности, что делает его совершенным для таких площадок, как admiral-x.

Сравнительный анализ и осуществление заключения

В случае, когда пользователь хочет открыть телефон взором, механизм воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный границу (обычно выше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ блокируется.

Привыкание к изменениям внешности

Интересная черта нынешних систем — способность самостоятельного обучения. Если вы часто открываете смартфон с свежей прической или оптикой, алгоритм постепенно модернизирует базовый шаблон вашего лица для увеличения точности действия без ухудшения безопасности.

Защита биометрии данных.

Большинство клиенты опасаются сохранять свои биометрические идентификационные данные на мобильном устройстве из-за угрозы утечки информации или взлома гаджета. Определенные фирмы, например admiral-x, предлагают варианты для повышения сохранности данных юзеров.

• Локальное сбережение: Основная часть устройств хранит биометрические шаблоны лишь в пределах защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из устройство и недоступны в том числе изготовителю.

• Шифрование: Все информация сохраняются только в кодированном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних разработчиков не имеют прямого возможности доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Следует подчеркнуть важную деталь: в случае, если какой-то человек достанет физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие производители внедряют меры безопасности от автоматического разблокирования — например, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют категории идентификации лиц?

В настоящее время можно выделить 3 основных подхода к осуществлению этой задачи:

Софтверное плоское определение

Эксплуатируется только передняя камера без экстра датчиков дистанции. Этот метод встречается обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость осуществления; умеренная цена; быстрая функционирование при хорошем освещении.
Минусы: несложно ввести в заблуждение снимком; нестабильная функционирование ночью; слабая охрана.

Оборудование для трёхмерное оцифровка

Использует ИК камеру + проекционный модуль точек + сенсоры глубины (Face ID от Apple; подобные решения у Huawei Mate).
Плюсы: высокая надежность; не получится подделать изображение/видеозапись; стабильная работа при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с дополнением ИИ

Задействуют комбинацию программных методов + аппаратную обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например адмирал х и Google Pixel Face Unlock современных версий, объединяют фронтальную камеру c инфракрасным датчиком движения Soli Radar для защиты от подделок жестами/масками/видеодисплеями посторонних устройств.

Примеры использования различных техник

• iPhone линейки X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID среди Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как программное обеспечение двухмерное идентификацию по изображению селфи-камерой, так и сенсор глазного ириса.
• Huawei Mate20 Pro задействует систему из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Трудности охраны и ошибочные срабатывания

Несмотря на поразительный прогресс технологий за недавние лет, совершенных системы пока не имеется:

1. Возможность подвоха: Недорогие смартфоны без труда открываются четкой фотографией пользователя либо роликом с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые идеальные механизмы могут спутать между монозиготными близнецами либо семьями с очень аналогичной внешностью.
3. Изменения внешнего вида: Внезапное снижение веса/увеличение массы тела, косметические процедуры или травмы в некоторых случаях требуют обновления данных биометрии.
4. Условия съёмки: Сильная освещённость солнцем или же глубокая темнота могут уменьшить точность определения признаков.

Вот некоторые советов для безопасному эксплуатации:

• Для важных операций всегда используйте дополнительную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
• Постоянно обновляйте программное обеспечение мобильного устройства для предотвращения угроз от новых видов атак;
• Включайте настройку “Требовать раскрытых глаз” там, где она есть.

В каких областях ещё используется технологии за исключением смартфонов?

Пускай основная мысль данной публикации посвящена конкретно смартфонам и планшетам, необходимо сказать о прочих направлениях внедрения технологии:

• Контроль входа в рабочих помещениях и жилых домах;
• Платёжные терминалы банков (“Face Pay”);
• Электронные удостоверения личности нового типа;
• Установки видеоконтроля городских подразделений;
• Механизация учёта посещаемости школ/вузов;
• Аутентификация юзеров ПК/ноутбуков.

Например: В столичном метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без пластика или мобильника! Аналогичные программы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом изменяется техпроцесс в наше время?

Каждый годик появляются новые идеи для усовершенствования уровня функционирования систем идентификации лиц:

1. Увеличивается чёткость сенсоров — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность неточности;
2. Совершенствуются нейросети — современные конструкции вида MobileNetV3 обеспечивают возможность быстро обучаться свежим характеристикам вида обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь мобильные устройства умеют отличать настоящие анимированные лица от неподвижных снимков/маскировок по микроскопическим микродвижениям.
4. Интеграция со умными устройствами — смарт-часы могут автоматически закрыть доступ к смартфон, если обладатель ушёл далеко.
5. Появляются гибридные механизмы — к примеру комбинирующие речевую идентификацию + лицо + отпечаток пальца.

Здесь, какие тренды в особенности актуальны сейчас:

1) Миниатюризация компонентов

Изготовители стараются уменьшить размер отверстия (“чёлки”) под сенсоры на дисплее за счёт встраивания компактных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на устройстве

Для увеличения конфиденциальности всё больше обработки данных осуществляется внутри устройства без отправки данных во дополнительный облачный услугу.

3) Стандартизация стандартов

Гугл интенсивно пропагандирует норму BiometricPrompt API, чтобы аналогичные площадки, как admiral x, и все Android-аппы могли взаимодействовать с любыми видами биометрии стандартизированно.

Какое решить на сегодня?

В случае если вам всем важна максимальная безопасность данных, остановите выбор на флагманские модели со встроенным ИК-излучателем или же ToF-сенсором глубины.

• iPhone всех актуальных моделей
• Huawei Companion/P Series серии
• Xiaomi Professional
• Vivo X серии
• Оппо Найти Х серий.

Если финансы скромен – лучше предпочесть классическим методам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как опциональную возможность удобства.

Каким способом улучшить комфорт работы опции?

Есть пара лайфхаков для пользователей, кто уже применяет функцию распознавания лица:

1. Периодически меняйте свою изображение-шаблон, если значительно меняется внешность.
2. Не упускайте из виду чистить объектив передней камеры – разводы могут снизить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам включает камеру когда вы поднимаете его.
4. Во время регистрации пытайтесь удерживать голову прямо впереди камеры исключая сильного наклона головы.
5. Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвернулись от дисплея.

Будущее прогресса инноваций

В предстоящие периоды можно предвкушать появления полностью безконтактных способов опознания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + голос + манера ходьбы + жесты рук!

Также предполагается возникновение свежих способов охраны личной информации – к примеру, переменное корректировка диджитал паттерна после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее увлекательных инноваций нашего периода! Она предоставляет общение со телефоном комфортнее чем когда-либо прежде, и такие аппы, как admiral-x, могут существенно улучшить ваш опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы понимаете, как функционирует эта система внутри, – будете в состоянии вдумчиво определять свой следующий устройство!