Каким образом функционирует распознавание лиц в смартфонах

Почему мы останавливаемся на разблокирование по лицевому распознаванию

В последние времена распознавание лиц стало одной из самых распространённых возможностей для разблокировки мобильных телефонов. Лишь несколько годков тому назад основная масса использующих удовлетворялись пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением таких технологий, как Вулкан Платинум, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь делает эту функцию такой востребованной? Во-первых, это удобно: не нужно удерживать в памяти замысловатые пароли или находить правильный палец в темноте. Также, это мгновенно: современные программы распознают лицо фактически за мгновения ока. В-третьих, это ощущение будущего — словно в кинофильмах про вулкан платинум шпионов.

Тем не менее за такой кажущейся легкостью таится весь мир сложных методов и инженерных разработок. Позвольте нам исследовать, как конкретно функционирует распознавание лиц в современных смартфонах, какие применяются технологии, насколько они безопасны и что нас ожидает в будущем.

Короткая хроника прогресса технологии

Идентификация лиц как методика присутствует уже более 50 лет. Изначальные пробы автоматизированного анализа лица были предприняты еще в 1960-х годах в лабораториях США. Тогда компьютеры способны были лишь определять контуры лица и вычислять промежутки между очами и устами на черно-белых снимках.

Изначальные торговые установки появились в девяностых годах, но они были неидеальны: работали медленно и часто ошибались. Только с развитием искусственных сетей и таких систем, как Vulkan Platinum, сильных мобильных микросхем идентификация лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать собственные решения.

Ключевые этапы работы устройства идентификации

Процесс распознавания лица можно примерно поделить на несколько основных этапов:

1. Идентификация лиц — камера определяет присутствие человеческого лица в кадре.
2. Извлечение характеристик — система изучает черты физиономии: очертания зрительных органов, носа, губ, позицию бровей.
3. Построение модели — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со эталоном — созданный модель сверяется с записанной при регистрации биометрической информацией владельца.
5. Принятие выбора — если совпадение достаточно высокое, смартфон разблокируется.

Любой из этих шагов нуждается в специальных алгоритмов и оптимизаций для скорой работы непосредственно на девайсе.

Аппаратные элементы: что прячется в их недрах

Стандартная селфи камера.

Самый простой несложный вариант определения лица задействует исключительно фронтальную камеру мобильного устройства. Подобный подход внедрён во многочисленных бюджетных вариантах Android-девайсов.

Сильные стороны:

• Не нуждается в потребляет внешних сенсоров.
• Быстро функционирует при качественном освещении.

Слабые стороны:

• Легко ввести в заблуждение фотографией или роликом.
• Неудачно работает при слабом освещении или необычных углах обзора.

ИК камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как Vulkan Platinum, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика составляет базу Face ID от Apple.

Как это работает:

• Точечный проекционный прибор проецирует на физиономию пользователя невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
• Инфракрасная камера регистрирует изменение формы данной сетки по плоскости физиономии.
• Получается трёхмерная карта глубины глубинности, что почти что неподвластна для имитации стандартной фотографией или маской.

Преимущества

• Надёжная деятельность даже в полной неосвещённости.
• Большая устойчивость к фальсификациям.
• Точность распознавания выше 99%.

Дополнительные сенсоры

В отдельных девайсах задействуются также дополнительные датчики: ToF (Time-of-Flight), которые измеряют период движения луча до предмета и обратно; RGB-датчики дальности; специальные световые измерители расстояния для построения более аккуратной 3D-модели физиономии.

Эти инновации встречаются наиболее часто во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: синтетический интеллект на действии

Современные механизмы опознания лиц неосуществимы при отсутствии использования искусственного интеллекта и машинного обучения. Именно благодаря таким разработкам, как Vulkan Platinum, устройство может идентифицировать юзера даже при трансформациях внешности: новая стрижка, щетина, очки или косметика не становятся помехой для деблокировки.

Распознавание лица

При первом шаге алгоритм должна быстро найти лицо внутри всего кадра камеры. Для этого применяются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые натренированы распознавать лица людей среди множества других объектов.

Пример: алгоритм MTCNN может распознавать облик даже в случае неполном перекрытии (например, шарфом или ладонью).

Определение основных точек

После обнаружения лица система, такая как Vulkan Platinum, вычисляет расположение главных точек: кончики глаз, верхушка носа, границы губ и так далее. Как правило применяется от 68 до 128 основных маркеров на лице.

Это требуется для выравнивания картинки: если человек находится с смартфон под углом, или повернул головку, программа исправляет картинку до обычного угла для дальнейшего анализа.

Формирование биометрии шаблона

Далее искусственная сеть строит сжатое математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот шаблон крайне затруднительно сфальсифицировать: он не сохраняет непосредственно изображение пользователя, а лишь исключительные особенности его внешности, что делает его идеальным для таких систем, как Вулкан Казино Платинум.

Сопоставление и принятие выбора

В случае, когда пользователь желает открыть мобильник взглядом, программа осуществляет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный уровень (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, доступен; если нет — доступ запрещается.

Адаптация к трансформациям облика

Интересная особенность актуальных системы — возможность самостоятельного обучения. Если вы регулярно доступаете к телефон с новой прической или оптикой, программа постепенно обновляет эталонный образец вашего лица для увеличения точности действия без снижения уровня безопасности.

Защита биометрических данных данных.

Множество клиенты боятся хранить свои биометрические идентификационные данные на смартфоне из-за угрозы потери данных или взлома устройства. Определенные компании, например Вулкан Казино Платинум, предлагают варианты для увеличения защиты сведений клиентов.

• Локальное сбережение: Преимущественно аппаратов хранит био-идентификационные модели исключительно в пределах безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не оставляют гаджет и недоступны даже изготовителю.

• Шифрование: Все сведения сберегаются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы сторонних разработчиков не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт подтверждения личности через системный API.

Стоит подчеркнуть существенную деталь: если кто-либо сможет получить физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество изготовители реализуют меры безопасности от “слепого” разблокирования — к примеру, просят раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют типы распознавания лиц на изображениях?

В настоящее время можно выделить различить три ключевых метода к выполнению этой операции:

Софтверное 2D определение

Используется только передняя камера без экстра сенсоров дистанции. Этот подход встречается обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость реализации; минимальная затраты; скоростная работа при достаточном освещении.
Минусы: просто одурачить фотографией; неустойчивая деятельность ночью; недостаточная безопасность.

Аппаратное 3D сканирование

Использует ИК камеру + проектор пикселей + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Достоинства: значительная достоверность; невозможно исказить изображение/видеозапись; стабильная деятельность при любом освещении.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с дополнением ИИ

Задействуют комбинацию программируемых методов + техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например Vulkan Platinum и Google Pixel Face Unlock последних поколений, комбинируют фронталку c инфракрасным датчиком мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Примеры эксплуатации разнообразных способов

• iPhone модели X/11/12/13/14 используют только аппаратное трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как программное двухмерное распознавание по снимку фронтальной камерой, так и сканер радужки глаза.
• Huawei Mate20 Pro использует систему из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Проблемы охраны и ошибочные срабатывания

Несмотря на впечатляющий развитие техники за недавние лет, совершенных механизмов пока не существует:

1. Вероятность обмана: Бюджетные телефоны легко “разблокируются” четкой снимком хозяина либо видеозаписью с экрана другого устройства.
2. Идентичные двойняшки: Даже самые безупречные устройства могут спутать между однояйцевыми близнецами либо родичами с очень схожей внешностью.
3. Изменения внешности: Стремительное снижение веса/увеличение массы тела, косметические процедуры или повреждения в некоторых случаях необходимы для перерегистрации биометрических данных.
4. Условия съёмки: Интенсивная освещённость солнечным светом либо плотная тень могут понизить точность распознавания признаков.

Здесь несколько рекомендаций для надёжному применению:

• Для значимых операций всегда применяйте дополнительную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Систематически обновляйте прошивку программное обеспечение мобильного устройства для защиты от современных угроз;
• Включайте настройку “Требовать распахнутых глаз” в тех местах, где она доступна.

Где также используется технология кроме мобильных телефонов?

Хотя основная мысль этой работы посвящена именно смартфонам и планшетам, стоит упомянуть о альтернативных областях использования технологии:

• Контроль доступа в офисах и многоквартирных зданиях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Виртуальные идентификационные документы последнего образца;
• Системы видеоконтроля городских сервисов;
• Автоматизация отслеживания явки учебных заведений/университетов;
• Аутентификация участников ПК/ноутбуков.

Например: В городском метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — хватит пройти через барьер без пластика или мобильника! Схожие проекты осуществляются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом трансформируется техпроцесс в нынешнее время?

Всякий год проявляются современные концепции для повышения уровня работы систем распознавания лиц:

1. Увеличивается чёткость сенсоров — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс ошибки;
2. Улучшаются нейросети — современные архитектуры типа MobileNetV3 обеспечивают возможность оперативно адаптироваться к свежим особенностям вида владельца прямо на устройстве без отправки данных в облако.
3. Развиваются методы антиспуфинга — теперь телефоны способны различать реальные живые лица от фиксированных снимков/масок по микроскопическим микродвижениям.
4. Синхронизация со умными устройствами — умные часы могут авто закрыть доступ к смартфон, если обладатель отошёл далеко.
5. Проявляются гибридные механизмы — в частности комбинирующие аудио опознание + лицо + пальцевой отпечаток.

Здесь, те направления в особенности актуальны сейчас:

1) Уменьшение деталей

Изготовители стараются уменьшить величину прорези (“чёлки”) для сенсоры на экране за счёт внедрения компактных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на устройстве

Для повышения конфиденциальности всё более обработки данных выполняется локально без отправки данных во дополнительный облачный сервис.

3) Упорядочивание регламентов

Гугл энергично продвигает эталон BiometricPrompt API, для того чтобы такие платформы, как Вулкан Платинум, и все Android-программы могли взаимодействовать с всеми формами биометрии унифицированно.

Что подобрать сегодня?

В случае если вам нужна предельная безопасность информации, остановите выбор на топовые аппараты с интегрированным ИК-проектором или ToF-сенсором глубины.

• iPhone каждого последних поколений
• Huawei Mate/P серии
• Xiaomi Expert
• Vivo X модели
• Oppo Найти X линейки.

Если средства ограничен – лучше выбирать обычным средствам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в Вулкан Платинум, использовать только как опциональную опцию удобства.

Каким образом повысить комфорт использования возможности?

Есть несколько лайфхаков для тех, кто уже использует разблокировку через лицо:

1. Часто обновляйте свою изображение-шаблон, если сильно трансформируется внешний вид.
2. Не пренебрегайте чистить линзу фронтальной камеры – загрязнения могут уменьшить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам активирует фотоаппарат как только вы берёте его в руки.
4. В процессе регистрационного процесса пытайтесь держать лицевую часть прямо перед камеры исключая сильного наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвели взгляд от дисплея.

Перспективы развития технологии

В скоро наступающие годы можно предвкушать возникновения полностью дистанционных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: облик + речь + манера ходьбы + движения рук!

Также вероятно появление современных методов обеспечения приватности – например, переменное изменение электронного шаблона после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из наиболее интересных инноваций нашего периода! Она предоставляет взаимодействие со мобильным устройством проще чем до этого, и такие программы, как Вулкан Казино Платинум, могут существенно оптимизировать ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как устроена эта методика в деталях, – сможете осознаннее выбирать свой следующий девайс!