MLTester – это комплексное b2b решение для проведения психологического и эмоционального анализа пользователя в реальном времени. Решение позволяет:
Создать детальный (долгосрочный, среднесрочный, краткосрочный) портрет состояния сотрудника на основе наблюдаемого поведения.
Связать состояние с целевыми показателями результативности работы сотрудника.
Корректировать состояние и выводить в зоны стабильной продуктивности сотрудника через формирования персонализированного трека действий (рекомендации).
В отличии от классических методов психологического профайлинга, МЛТестер фокусируется не на ответах,
а на поведении пользователя, снимая непрямые данные во время тестирования в том числе моторики, речи,
мимики и других характеристиках. Данные характеристики позволяют создать «цифровой близнец», с высокой чувствительностью к изменениям состояния пользователя.
Подобный подход позволяет эффективно использовать данные тестов в ИИ, для определения состояния сотрудника и выработки персонализированного трека рекомендаций.
Ключевые особенности MLTester
- Пополняемая библиотека игр и задач для замера состояния пользователя
- Прогнозная и рекомендательная аналитика по результатам тестов
- Обработка звука и видео
- Уведомления и отчетность
- Ролевая и матричная модель иерархии пользователей
- Современный модульный стэк
Важность замеров и аналитики состояния сотрудников и эффективность MLTester
- Долгосрочный рост производительности на 12-27%
- Снижение оттока сотрудников на 7-13%
- Оценка и повышение слаженности команды
- Снижение выгорания сотрудников
- Рост количества привлечения и качества обслуживания клиентов
- Точность опережающих прогнозов работы сотрудников
Состав решения
Микросервисная модульная архитектура MLTester размещается полностью или выбранными блоками внутри ИТ-контура Заказчика или доступна в формате «облако» и включает:
Фронт
- Классический кросс платформенный фронт, с нативными приложениями для IOS и Android.
- Стэк: React
Data Science
- Блок применения моделей и элементов ИИ:
- Расчет психологических и эмоциональных векторов
- Расчет прогнозов результативности сотрудника (бизнес метрики)
- Расчет трека рекомендаций
- Расчет фичей и предикторов датчиков устройств
- Нейронные сети обработки звука и видео
- Стэк – python, Postgresql
Бэк
- Совокупность модулей, контейнеров и моделей, которые обеспечивают функционирование системы:
- База данных
- Библиотека заданий
- Ролевая модель
- Сегментация и стратегии
- Прогнозная и рекомендательная аналитика (расчет скоров)
- Описательная аналитика (расчет векторов)
- Контроль качества моделей и популяции
- Обновление моделей и нейросетей
- Обработка видео
- Обработка звука
- Вспомогательные и служебные модули (балансировщик, логирование, no-code API, интеграции)
- Стэк – python, PHP, Postgresql, Docker, Nginx, RabbitMQ
Карта эмоционального самочувствия
Сопоставление полученных и обработанных данных с самим собой во времени, со сходной группой, со средними показателями всех пользователей позволяет сегментировать пользователей
по различным показателям – предикторам эмоционального состояния: усталость\воодушевление, гармония, самовосприятие, позитив\негатив, положительный\отрицательный стресс,
отношение к внешним факторам (деньги, коллеги, руководитель, здоровье, карьера, образование, семья, иные). Кроме задач оценки, обеспечивает привязку к классическому
эмоциональному профайлингу.
Карта психологического профиля
Совокупность числовых показателей и функционал расчетов следующих характеристик психологического профиля: положительный и отрицательный стресс, воля, фокусировка,
внимание, точность запоминания, зрительное запоминание, запоминание речи, запоминание чисел, осмысление, сметливость, комбинаторные способности, наблюдательность и воображение.
Формирует долгосрочный, среднесрочный, краткосрочный трек изменения психологического состояния, как базу для дальнейшего сопоставления с результатами работы сотрудника.
Кроме задач оценки, обеспечивает привязку к классическому эмоциональному профайлингу.
Игровые тесты. Тесты на моторику
Библиотека игровых тестов включает различные арифметические, образовательные, логические и мелко-моторные задачи для определения и сопоставления психоэмоционального
состояния пользователя. Помимо правильного \неправильного ответа записывается множество иных данных, на основе которых рассчитывается вектор пользователя.
Все показатели носят «механический» характер и описывают физическое изменение взаимодействия пользователя с устройством. Далее, показатели сопоставляются с правильностью
ответов на разные виды вопросов (на внимание, на фокусировку, на логику, на вычисления), сформулированные, в том числе, в игровой форме. Именно сопоставление ответов и сравнение
изменений показателей являются основой для практических предварительных выводов, прогнозов и рекомендаций системы.
Тесты с распознаванием видео потока
Обработка (распознавание) видео потока позволяет получить дополнительный блок данных для повышения точности сегментаций и определения состояния пользователя:
- Дрожание экрана
- Перемещение
- Освещенность
- Общий внешний вид пользователя
- Посторонние предметы
- Изменение мимики и жестов пользователя
В целевой модели пользователь также получает задания для выполнения:
- Ответить на вопросы (что запланировано, как прошел день, какую любите музыку, когда у вас отпуск, …)
- Повторить скрипт (холодного звонка, первой встречи, презентация продукта, …)
- Снять видео (рабочего места, окружения, офис конкурента, …)
- Иные
Полученный видеопоток передается на сервер для централизованной обработки нейросетями и включения в контур обработки ИИ.
Тесты с распознаванием голосового потока
Аудио поток также разбирается для получения дополнительного блока данных:
- Скорость и внятность речи
- Посторонние звуки
- Изменение тона, тембра и скорости речи в процессе записи
- Прерывания, запинания, повторы и иные факторы
- Нервозность, тревожность, спокойствие, уверенность, воодушевление
В целевой модели вопросы теста озвучиваются и речь обрабатывается языковыми LLM моделями.
Полученные данные передаются на сервер для централизованной обработки и включения в контур обработки ИИ.
Блок обработки телемедициной
Видео, полученное от пользователя, дополнительно обрабатывается пайплайном нейросетей телемедицины с целью расчета пульса, артериального давления и эмоционального
состояния методом дистанционной фотоплетизмографией (ДФПГ, rPPG). Метод базируется на регистрации едва заметных изменений цвета кожи при увеличении объёма
кровеносных сосудов после каждого сокращения (систолы) левого желудочка сердца.
Полученные показатели пульса и давления также формируют динамические показатели изменений в процессе теста и являются предикторами уровня положительного и отрицательного
стресса, накопленной усталости, анормально высоких и низких значений сердечно-сосудистой системы пользователя.
Полученные данные передаются на сервер для централизованной обработки и включения в контур обработки ИИ.
Блок обработки ИИ для формирования рекомендаций и персонального трека (долго, средне, краткосрочного) оптимизации состояния
Основная цель блока – сохранение (или возврат) сотрудников в «зеленую» зону психоэмоционального состояния для сохранения продуктивности. Для указанной цели ИИ выбирается
и персонализирует стратегии и конкретные действия для данного пользователя на основе лучших практик и индивидуальных показателей. Рекомендации предлагаются самому
пользователю, его руководителю и HR-партнеру, включают широкий спектр простых, сложных и комплексных действий. Например, смена деятельности, изменение расписания,
творчество, исследования, физическая активность, общение со специалистом, иные.
При первичной разработке и оценки влияния инструментов на сотрудников используется технология фокус групп с обратной связью об активности головного мозга в реальном времени.