Студент и аспирант НовГУ научили машину менять эмоцию на лице автора селфи

В Новгородском университете прошёл масштабный хакатон PhotoHack. Участники разрабатывали предложения по превращению селфи пользователей соцсетей и мессенджеров в эмодзи.

Напомним, организатором хакатона выступили Photo Lab и Новгородский университет совместно с Amazon Web Services. Команды должны были придумать, как создать узнаваемые кастомизированные картинки из селфи пользователей, которые могли бы иллюстрировать сообщения, как это сейчас делают с помощью смайлов или эмодзи.

Участники из Великого Новгорода, Москвы, Санкт-Петербурга и Тулы разработали 10 проектов. Призовой фонд — 300 тысяч рублей — организаторы разделили между пятью командами.

Наиболее высокой оценки жюри удостоилась разработка команды «Интеграл-М», в состав которой вошли аспирант и студент Новгородского университета. Фирма «Интеграл-М» занимается ремонтом сложнейшего медицинского оборудования. Прототип, созданный командой, представил основатель предприятия Александр Виноградов.

— Наш проект состоит из двух частей. Текст обрабатывается методами машинного обучения. Выделяются семы ключевых эмоций. Нейронная сеть меняет фото в зависимости от выделенной эмоции. С каждой эмоцией мы сопоставили гифку, получили векторное представление исходной фотографии. Затем путём сложных математических преобразований получается окончательный результат, — рассказал о принципах работы системы Виноградов.

После обработки сервисов выражение лица автора селфи меняется, по сравнению с исходной фотографией.

Также денежные призы получили команды из Санкт-Петербурга, Москвы, Тулы и ещё один коллектив из Великого Новгорода. Наши студенты продемонстрировали прототип программы, которая превращает селфи в фотостикер с ключевыми словами фразы, которую готовится отправить пользователь мессенджера. Сервис уже сейчас запрограммирован на шесть-семь вариантов эмоционального содержания.

Вошедшая в число призёров команда RHT.ai, в состав которой вошли разработчики из Москвы и Санкт-Петербурга, предложили превращать автора селфи в героя комикса.

Предполагалось, что победители хакатона могут претендовать на контракт с Photo Lab для продолжения работы над проектом. Однако пока, по словам организаторов, решения о дальнейшем сотрудничестве с кем-либо из участников не принято.