- Регистрация
- 19 Июн 2017
- Сообщения
- 116
- Реакции
- 530
Медицина, банкинг и метрополитен: где нейросети уже помогают человеку
Владимир Черницкий, сооснователь и технический директор Faceter, рассказывает, что уже сегодня умеют нейронные сети в области анализа видео и изображений, а что пока находится за пределами их математических возможностей.
За последнее десятилетие произошел качественный скачок в эволюции нейросетей, и сегодня уже можно утверждать, что в определенных кейсах система работает. Так, специалисты Samsung научились по изображению человека создавать анимацию его мимики, а алгоритм Facebook изменяет лица людей на видео, чтобы обмануть системы распознавания.
Но применяя computer vision в области видеоаналитики, мы сталкивались с тем, насколько сложно было раньше нейросетям отличать, например, кошек от собак, мужские лица от женских, иногда даже лицо от ботинка. Потратив более десяти тысяч часов на разработку в режиме 24/7 мы верим в будущее нейроинтеллекта и его глубокие перспективы.
Чему научились нейросети в области видеонаблюдения
Новые технологии в видеонаблюдении упрощают работу во многих сферах. С применением рекуррентных нейросетей (тех, где есть обратная связь) существенно улучшилось качество работы интеллектуальных систем видеонаблюдения.
Раньше видеопоток рассматривался как простой набор кадров, каждый из которых анализировался отдельно. В итоге система слишком часто принимала ошибочные решения и возникала масса возможностей для мошенничества.
С появлением рекуррентных сетей видео анализируется уже как совокупность кадров, когда информация с предыдущих кадров влияет на информацию с текущего кадра, то есть видеопоток начинают рассматривать в разрезе времени. Фактически это технология работы с контекстом, и чаще всего она используется для анализа речи, где значение слова зависит от контекста.
При анализе видеопотока более плавная детекция кадров по ключевым точкам, выравнивание изображения, извлечение более полного вектора признаков, основанного на совокупности кадров, обеспечивает высокий уровень распознавания, а значит, и более широкую область применения нейронок.
Распознавание лиц
Технология распознавания лиц решает наиболее сложные задачи идентификации личности, задействуя огромный спектр математических инструментов для обнаружения объектов, идентификации, контроля и прогнозирования.
Области применения систем распознавания лиц постоянно расширяются: это ритейл, банковская сфера, промышленность, медицинские и военные объекты.
Идентификация лица человека возможна на расстоянии нескольких метров от камеры, а время отклика составляет несколько миллисекунд. Распознать человека можно даже при изменении прически, макияжа, усов, бороды, очков.
Банковский скоринг по 3D-модели лица
Технологии видеонаблюдения могут упростить банкам взаимодействие с клиентами. Уже идут пилотные проекты по установке на банкоматы камер с технологией 3D-идентификации по модели лица (например, с модулями RealSense от Intel) для «бесшовной» работы с пользователями. Такие камеры с инфракрасными датчиками можно увидеть в том числе на банкоматах Сбербанка.
Подходя к банкомату, клиент проходит идентификацию с помощью алгоритма распознавания лиц с видеопотока камеры, затем проводится проверка на контроль компрометации изображения, а банк уже знает в этот момент о состоянии счета клиента, шаблонах платежей, привязанных услугах.
В зависимости от сочетания дня, недели и месяца пользователю можно предложить оплатить тот или иной счет, снять наличные или воспользоваться конкретным сервисом.
Московский метрополитен
В московском метро начали тестировать систему распознавания лиц, установив веб-камеры на турникетах на входе и выходе, они расположены на уровне лица взрослого человека.
Изначально камеры были нужны для поиска правонарушителей: система сравнивает лица из видеопотока с базой находящихся в розыске и передает сообщение о «находке» полицейским поблизости. Поскольку камеры расположены не под потолком, а на уровне лица, ложноположительных и ложноотрицательных срабатываний заметно меньше, но вероятность ошибки системы все еще присутствует — есть над чем работать.
Пока у системы есть «потолок» распознавания в толпе: без контекста невозможно со стопроцентной точностью распознать человека в потоке. Тем не менее, в конце 2019 года уже стартовал пилотный проект по использованию этой технологии для оплаты проезда в метро.
Домофоны
Очень популярны умные решения для домофонов в многоквартирных домах. Телеком-оператор «Дом.ru» совместно с компанией Ujin запустил проект по установке умных домофонов, позволяющих жителям открывать двери гостям с помощью мобильного приложения.
Также тестируется сервис Face ID — доступ в подъезд по лицу. Умный домофон оснащен функцией распознавания лиц, за счет чего появляется возможность открывать двери автоматически, без ключа.
В перспективе такие решения заменят консьержей и охрану, особенно в элитных жилых комплексах. Например, вместо пяти смотрителей могут оставить одного для отслеживания работы домофонов с функцией распознавания лиц.
Распознавание объектов
Российские ритейлеры тоже не стоят в стороне: они все активнее используют нейросети для решения задач маркетинга и продаж, например, для контроля раскладки и наличия товаров на полке с помощью камер наблюдения — такой проект развивает сейчас «Пятерочка».
Дополнительно X5 Retail Group тестирует «Пятерочку» без кассиров, работающую по принципу «умного дома». Видеокамеры фиксируют все пространство «Пятерочки», позволяя контролировать число товаров, купленных или только снятых с полки, с помощью нейросети. Это один из первых подобных проектов среди крупных российских торговых компаний, которые подтягиваются за Западом: в США открыто уже 18 точек магазина Amazon Go, где посетители могут делать покупки, используя лишь приложение.
Компания Budweiser внедрила систему выявления бракованных пивных банок на конвейере с помощью нейросети. Алгоритм анализирует видеопоток с камер наблюдения, через которые проезжает около 30 банок в секунду, и точно определяет, какие банки помяты, испорчены и не подходят под критерии отбора.
В сети пиццерий «Додо Пицца» есть схожий конвейер, по которому проходят готовые пиццы: по сути, это длинная печь, на входе и выходе которой расположены камеры. Встроенный алгоритм определяет качество пиццы по внешнему виду..
Распознавание эмоций
Новым витком развития компьютерного зрения стало умение алгоритмов распознавать эмоциональное состояние человека и реагировать на него.
На основании данных видеопотока, где фиксируется мимика, жесты, движения глаз, голос, речь, нейросеть определяет эмоции и настроение подошедшего.
К наиболее интересным областям применения таких технологий можно отнести маркетинговую аналитику (реакции клиентов на товар рекламные предложения), распознавание состояния водителя, робототехнику, системы видеоаналитики для умных городов, мониторинг студентов.
EmoNet
Исследователи из Университета Колорадо и Университета Дьюка разработали нейронную сеть EmoNet, которая способна распознавать эмоции — понимать, какие чувства у человека пробуждает просмотр того или иного изображения. Через EmoNet пропустили 25 тысяч изображений разного содержания, и в итоге нейросеть смогла точно категоризировать 11 эмоций, в том числе страстное желание и ужас.
Разработчики заявили, что их модель можно использовать в области психического здоровья. Теоретически подобная разработка может пригодиться и в телемедицине, и в безопасности (выявлять людей с неадекватным выражением лица, подходящим к защищенным объектам), и даже в HR — получать общую картину о настроении сотрудников на регулярной основе.
Над чем еще предстоит поработать
Несмотря на прогресс в области распознавания лиц и объектов, нейросети пока решают только точечные задачи, и алгоритмы далеки от того, чтобы превзойти человека в идентификации образа.
Режимные объекты
Системы пока не набрали достаточно информации и контекста, чтобы распознавать людей максимально точно. Необходимо собрать комплексные данные о человеке: его походке, голосе, манере одеваться — не набор черт лица, а совокупность особенностей внешнего вида каждого человека. Когда данные накопятся, можно ожидать рост эффективности подобных систем, в том числе для бизнеса.
Похожим путем пошел стартап Cherry Labs, создав систему наблюдения за домом, которая распознает людей по лицам, строению скелета и голосу. Но пока рынок дальше не продвинулся — в толпе такие технологии сильно теряют в точности идентификации.
На режимных объектах внедрение полной идентификации по лицу пока так же пробуксовывает. Подобные системы работают только в связке с парольной аутентификацией или пропусками. В простых офисных системах для учета времени и посещаемости (а особенно там, где небольшая ошибка в пропуске не будет критичной) вполне можно использовать верификацию по лицу, и постепенно технологию вводят в прогрессивных компаниях.
Медицина
Несмотря на то, что исследования в области распознавания рентгеновских снимков нейронными сетями ведутся давно и у индустрии есть успехи в этой сфере, моя точка зрения будет несколько пессимистичной.
Нейронные сети уже умеют интерпретировать снимки и даже ставить диагнозы, выявляя патологии, но пока они в общем случае «выравнивают» разный уровень квалификации специалистов, нивелируя ошибки начинающих врачей, но заметно уступая опытным докторам.
Кроме того, для использования алгоритма необходимо отладить процессы, в частности стандартизировать формат и качество снимков на рентгеновском оборудовании, обеспечить регулярный контроль качества модели выборки и ее валидацию врачами, встроить порог уверенности — когда снимок перепроверяется врачом при превышении пороговых значений. Пока врачи используют модель как советчика, и о замене специалистов алгоритмами computer vision речи не идет.
Куда движется отрасль
Автоматизация рутины
Нейросеть постепенно готовится стать помощником человека, открывая новые возможности и даже в перспективе создавая новые рабочие места. Системы пока тренируются и накапливают информацию. Как только наберется необходимый массив, запустится активная автоматизация, что сократит ресурсы, отведенные на рутинную работу.
В энергетике, логистике, промышленности ИИ позволяет «большим» машинам стать умнее, автономнее, снизить количество поломок. Искусственный интеллект забирает на себя простые функции, оставляя людям сложные операции.
Со временем будут внедряться гибридные системы: если раньше один сотрудник мог обслужить одного клиента, то теперь это соотношение будет 1:10, то есть деятельность одного специалиста будет многократно масштабироваться, что упростит работу с большим потоком потребителей.
Сельское хозяйство, дроны и искусственный интеллект
Стоит обратить внимание на сферу сельского хозяйства — вот где ожидается большой прогресс нейросетей. Для распознавания состояния участков сельскохозяйственных полей начинают применять дроны и системы ИИ.
Когда речь идет о десятках гектаров земли, труда специалистов не хватает, и нейросеть может выявлять дефектные участки земли, пораженные болезнями, по изображениям с дронов.
Также алгоритмы могут прогнозировать урожайность, предупреждать о температурных скачках и других факторах. Диагностика заболевания сельскохозяйственных культур и других растений по фото — ценный способ оптимизации земледелия, особенно в развивающихся странах, где нет специальных лабораторий и необходимых специалистов.
Дороги
Нейросети, обрабатывающие большие массивы данных, со временем облегчат проблему пробок. Система может анализировать данные от светофоров, информацию о плотности движения и погодных условиях, чтобы построить прогноз загруженности дорог и самостоятельно переключать светофоры на основании этих данных.
Например, в Москве запущен проект по строительству «умных» дорог. Система включает в себя датчики мониторинга транспортных потоков, светофорные объекты, дорожные табло, камеры телеобзора и метеостанции. Анализируя данные от всех устройств, можно эффективно управлять трафиком.
Нейросети также привлекают для развития способностей к самообучению у автономных роботов-автомобилей. Так, по прогнозам Allied Market Research, рынок технологий для беспилотного транспорта вырастет с $54 млрд в 2019 году до $556 млрд в 2026 году.
Логистика для склада
Логистическая обработка грузов — перспективная отрасль для нейросетей. ИИ повышает производительность складского комплекса и снижает затраты на складскую обработку товаров.
Так, компания Daiwa House приступила к разработке автоматизированной системы управления складами в Японии. Складские помещения будут оборудованы роботами-грузчиками Butler и начнут работать круглосуточно, что позволит уменьшить затраты на 30% за счет сокращения рабочих, так как большая часть расходов компании идет на оплату труда. Amazon использует около 30 тыс. роботов Kiva, за счет чего операционные расходы компании снизились примерно на 20%.
Большинство операций в логистике могут выполняться без участия человека: к этому постепенно движется отрасль, автоматизированное будущее которой не за горами.
Владимир Черницкий, сооснователь и технический директор Faceter, рассказывает, что уже сегодня умеют нейронные сети в области анализа видео и изображений, а что пока находится за пределами их математических возможностей.
За последнее десятилетие произошел качественный скачок в эволюции нейросетей, и сегодня уже можно утверждать, что в определенных кейсах система работает. Так, специалисты Samsung научились по изображению человека создавать анимацию его мимики, а алгоритм Facebook изменяет лица людей на видео, чтобы обмануть системы распознавания.
Но применяя computer vision в области видеоаналитики, мы сталкивались с тем, насколько сложно было раньше нейросетям отличать, например, кошек от собак, мужские лица от женских, иногда даже лицо от ботинка. Потратив более десяти тысяч часов на разработку в режиме 24/7 мы верим в будущее нейроинтеллекта и его глубокие перспективы.
Чему научились нейросети в области видеонаблюдения
Новые технологии в видеонаблюдении упрощают работу во многих сферах. С применением рекуррентных нейросетей (тех, где есть обратная связь) существенно улучшилось качество работы интеллектуальных систем видеонаблюдения.
Раньше видеопоток рассматривался как простой набор кадров, каждый из которых анализировался отдельно. В итоге система слишком часто принимала ошибочные решения и возникала масса возможностей для мошенничества.
С появлением рекуррентных сетей видео анализируется уже как совокупность кадров, когда информация с предыдущих кадров влияет на информацию с текущего кадра, то есть видеопоток начинают рассматривать в разрезе времени. Фактически это технология работы с контекстом, и чаще всего она используется для анализа речи, где значение слова зависит от контекста.
При анализе видеопотока более плавная детекция кадров по ключевым точкам, выравнивание изображения, извлечение более полного вектора признаков, основанного на совокупности кадров, обеспечивает высокий уровень распознавания, а значит, и более широкую область применения нейронок.
Распознавание лиц
Технология распознавания лиц решает наиболее сложные задачи идентификации личности, задействуя огромный спектр математических инструментов для обнаружения объектов, идентификации, контроля и прогнозирования.
Области применения систем распознавания лиц постоянно расширяются: это ритейл, банковская сфера, промышленность, медицинские и военные объекты.
Идентификация лица человека возможна на расстоянии нескольких метров от камеры, а время отклика составляет несколько миллисекунд. Распознать человека можно даже при изменении прически, макияжа, усов, бороды, очков.
Банковский скоринг по 3D-модели лица
Технологии видеонаблюдения могут упростить банкам взаимодействие с клиентами. Уже идут пилотные проекты по установке на банкоматы камер с технологией 3D-идентификации по модели лица (например, с модулями RealSense от Intel) для «бесшовной» работы с пользователями. Такие камеры с инфракрасными датчиками можно увидеть в том числе на банкоматах Сбербанка.
Подходя к банкомату, клиент проходит идентификацию с помощью алгоритма распознавания лиц с видеопотока камеры, затем проводится проверка на контроль компрометации изображения, а банк уже знает в этот момент о состоянии счета клиента, шаблонах платежей, привязанных услугах.
В зависимости от сочетания дня, недели и месяца пользователю можно предложить оплатить тот или иной счет, снять наличные или воспользоваться конкретным сервисом.
Московский метрополитен
В московском метро начали тестировать систему распознавания лиц, установив веб-камеры на турникетах на входе и выходе, они расположены на уровне лица взрослого человека.
Изначально камеры были нужны для поиска правонарушителей: система сравнивает лица из видеопотока с базой находящихся в розыске и передает сообщение о «находке» полицейским поблизости. Поскольку камеры расположены не под потолком, а на уровне лица, ложноположительных и ложноотрицательных срабатываний заметно меньше, но вероятность ошибки системы все еще присутствует — есть над чем работать.
Пока у системы есть «потолок» распознавания в толпе: без контекста невозможно со стопроцентной точностью распознать человека в потоке. Тем не менее, в конце 2019 года уже стартовал пилотный проект по использованию этой технологии для оплаты проезда в метро.
Домофоны
Очень популярны умные решения для домофонов в многоквартирных домах. Телеком-оператор «Дом.ru» совместно с компанией Ujin запустил проект по установке умных домофонов, позволяющих жителям открывать двери гостям с помощью мобильного приложения.
Также тестируется сервис Face ID — доступ в подъезд по лицу. Умный домофон оснащен функцией распознавания лиц, за счет чего появляется возможность открывать двери автоматически, без ключа.
В перспективе такие решения заменят консьержей и охрану, особенно в элитных жилых комплексах. Например, вместо пяти смотрителей могут оставить одного для отслеживания работы домофонов с функцией распознавания лиц.
Распознавание объектов
Российские ритейлеры тоже не стоят в стороне: они все активнее используют нейросети для решения задач маркетинга и продаж, например, для контроля раскладки и наличия товаров на полке с помощью камер наблюдения — такой проект развивает сейчас «Пятерочка».
Дополнительно X5 Retail Group тестирует «Пятерочку» без кассиров, работающую по принципу «умного дома». Видеокамеры фиксируют все пространство «Пятерочки», позволяя контролировать число товаров, купленных или только снятых с полки, с помощью нейросети. Это один из первых подобных проектов среди крупных российских торговых компаний, которые подтягиваются за Западом: в США открыто уже 18 точек магазина Amazon Go, где посетители могут делать покупки, используя лишь приложение.
Компания Budweiser внедрила систему выявления бракованных пивных банок на конвейере с помощью нейросети. Алгоритм анализирует видеопоток с камер наблюдения, через которые проезжает около 30 банок в секунду, и точно определяет, какие банки помяты, испорчены и не подходят под критерии отбора.
В сети пиццерий «Додо Пицца» есть схожий конвейер, по которому проходят готовые пиццы: по сути, это длинная печь, на входе и выходе которой расположены камеры. Встроенный алгоритм определяет качество пиццы по внешнему виду..
Распознавание эмоций
Новым витком развития компьютерного зрения стало умение алгоритмов распознавать эмоциональное состояние человека и реагировать на него.
На основании данных видеопотока, где фиксируется мимика, жесты, движения глаз, голос, речь, нейросеть определяет эмоции и настроение подошедшего.
К наиболее интересным областям применения таких технологий можно отнести маркетинговую аналитику (реакции клиентов на товар рекламные предложения), распознавание состояния водителя, робототехнику, системы видеоаналитики для умных городов, мониторинг студентов.
EmoNet
Исследователи из Университета Колорадо и Университета Дьюка разработали нейронную сеть EmoNet, которая способна распознавать эмоции — понимать, какие чувства у человека пробуждает просмотр того или иного изображения. Через EmoNet пропустили 25 тысяч изображений разного содержания, и в итоге нейросеть смогла точно категоризировать 11 эмоций, в том числе страстное желание и ужас.
Разработчики заявили, что их модель можно использовать в области психического здоровья. Теоретически подобная разработка может пригодиться и в телемедицине, и в безопасности (выявлять людей с неадекватным выражением лица, подходящим к защищенным объектам), и даже в HR — получать общую картину о настроении сотрудников на регулярной основе.
Над чем еще предстоит поработать
Несмотря на прогресс в области распознавания лиц и объектов, нейросети пока решают только точечные задачи, и алгоритмы далеки от того, чтобы превзойти человека в идентификации образа.
Режимные объекты
Системы пока не набрали достаточно информации и контекста, чтобы распознавать людей максимально точно. Необходимо собрать комплексные данные о человеке: его походке, голосе, манере одеваться — не набор черт лица, а совокупность особенностей внешнего вида каждого человека. Когда данные накопятся, можно ожидать рост эффективности подобных систем, в том числе для бизнеса.
Похожим путем пошел стартап Cherry Labs, создав систему наблюдения за домом, которая распознает людей по лицам, строению скелета и голосу. Но пока рынок дальше не продвинулся — в толпе такие технологии сильно теряют в точности идентификации.
На режимных объектах внедрение полной идентификации по лицу пока так же пробуксовывает. Подобные системы работают только в связке с парольной аутентификацией или пропусками. В простых офисных системах для учета времени и посещаемости (а особенно там, где небольшая ошибка в пропуске не будет критичной) вполне можно использовать верификацию по лицу, и постепенно технологию вводят в прогрессивных компаниях.
Медицина
Несмотря на то, что исследования в области распознавания рентгеновских снимков нейронными сетями ведутся давно и у индустрии есть успехи в этой сфере, моя точка зрения будет несколько пессимистичной.
Нейронные сети уже умеют интерпретировать снимки и даже ставить диагнозы, выявляя патологии, но пока они в общем случае «выравнивают» разный уровень квалификации специалистов, нивелируя ошибки начинающих врачей, но заметно уступая опытным докторам.
Кроме того, для использования алгоритма необходимо отладить процессы, в частности стандартизировать формат и качество снимков на рентгеновском оборудовании, обеспечить регулярный контроль качества модели выборки и ее валидацию врачами, встроить порог уверенности — когда снимок перепроверяется врачом при превышении пороговых значений. Пока врачи используют модель как советчика, и о замене специалистов алгоритмами computer vision речи не идет.
Куда движется отрасль
Автоматизация рутины
Нейросеть постепенно готовится стать помощником человека, открывая новые возможности и даже в перспективе создавая новые рабочие места. Системы пока тренируются и накапливают информацию. Как только наберется необходимый массив, запустится активная автоматизация, что сократит ресурсы, отведенные на рутинную работу.
В энергетике, логистике, промышленности ИИ позволяет «большим» машинам стать умнее, автономнее, снизить количество поломок. Искусственный интеллект забирает на себя простые функции, оставляя людям сложные операции.
Со временем будут внедряться гибридные системы: если раньше один сотрудник мог обслужить одного клиента, то теперь это соотношение будет 1:10, то есть деятельность одного специалиста будет многократно масштабироваться, что упростит работу с большим потоком потребителей.
Сельское хозяйство, дроны и искусственный интеллект
Стоит обратить внимание на сферу сельского хозяйства — вот где ожидается большой прогресс нейросетей. Для распознавания состояния участков сельскохозяйственных полей начинают применять дроны и системы ИИ.
Когда речь идет о десятках гектаров земли, труда специалистов не хватает, и нейросеть может выявлять дефектные участки земли, пораженные болезнями, по изображениям с дронов.
Также алгоритмы могут прогнозировать урожайность, предупреждать о температурных скачках и других факторах. Диагностика заболевания сельскохозяйственных культур и других растений по фото — ценный способ оптимизации земледелия, особенно в развивающихся странах, где нет специальных лабораторий и необходимых специалистов.
Дороги
Нейросети, обрабатывающие большие массивы данных, со временем облегчат проблему пробок. Система может анализировать данные от светофоров, информацию о плотности движения и погодных условиях, чтобы построить прогноз загруженности дорог и самостоятельно переключать светофоры на основании этих данных.
Например, в Москве запущен проект по строительству «умных» дорог. Система включает в себя датчики мониторинга транспортных потоков, светофорные объекты, дорожные табло, камеры телеобзора и метеостанции. Анализируя данные от всех устройств, можно эффективно управлять трафиком.
Нейросети также привлекают для развития способностей к самообучению у автономных роботов-автомобилей. Так, по прогнозам Allied Market Research, рынок технологий для беспилотного транспорта вырастет с $54 млрд в 2019 году до $556 млрд в 2026 году.
Логистика для склада
Логистическая обработка грузов — перспективная отрасль для нейросетей. ИИ повышает производительность складского комплекса и снижает затраты на складскую обработку товаров.
Так, компания Daiwa House приступила к разработке автоматизированной системы управления складами в Японии. Складские помещения будут оборудованы роботами-грузчиками Butler и начнут работать круглосуточно, что позволит уменьшить затраты на 30% за счет сокращения рабочих, так как большая часть расходов компании идет на оплату труда. Amazon использует около 30 тыс. роботов Kiva, за счет чего операционные расходы компании снизились примерно на 20%.
Большинство операций в логистике могут выполняться без участия человека: к этому постепенно движется отрасль, автоматизированное будущее которой не за горами.
Для просмотра скрытого содержимого вам нужно войти или зарегистрироваться.
