Разработка ресурсов жестового языка с использованием искусственного интеллекта для людей с нарушениями слуха и речи
"Разрушая барьеры, соединяя жизни."
- Повышение доступности общения
- Социальная инклюзия и равные возможности
- Улучшение доступа к образованию и услугам
- Передовые решения на базе ИИ и машинного обучения
- Экономические и профессиональные преимущества
- Масштабируемость и технологическое развитие
Айгерим Еримбетова
Руководитель проекта
Позвоните нам
+7 701 583 3302
Функции
Вот три основные особенности проекта:
Распознавание и перевод языка жестов на основе искусственного интеллекта
- Система использует модели глубокого обучения (такие как Transformer, EfficientNet, ResNet) и алгоритмы компьютерного зрения для точного распознавания и интерпретации жестов казахско-русского языка жестов.
- Он с высокой точностью преобразует жесты языка жестов в текст и звук, облегчая общение для людей с нарушениями слуха.
- Система распознавания обучена с использованием MediaPipe для обнаружения ключевых точек и моделей машинного обучения для классификации, что обеспечивает точное распознавание жестов в режиме реального времени.
Двунаправленное преобразование речи в жесты и жестов в речь
- Система позволяет в режиме реального времени переводить устную речь на язык жестов и наоборот.
- Он оснащен интерактивным аватаром, который визуально отображает жесты языка жестов, что позволяет слышащим пользователям эффективно общаться с глухими людьми.
- Распознавание речи осуществляется на основе моделей Conformer и Wave2Vec2, что обеспечивает высокую точность преобразования устной речи в текст и язык жестов.
- Система также включает технологию синтеза речи (FastSpeech2, Tacotron2) для преобразования распознанного текста в естественную речь, что упрощает взаимодействие с миром для пользователей с нарушениями слуха.
Интеграция с образовательными и цифровыми платформами
- Технология предназначена для внедрения в системы управления обучением (LMS), мобильные приложения и веб-платформы, расширяя доступ к образованию для людей с нарушениями слуха.
- Он поддерживает транскрибацию и перевод в режиме реального времени лекций, онлайн-курсов и образовательных видеороликов, обеспечивая доступность для глухих студентов.
- Проект включает в себя настраиваемые инструменты обучения, такие как словарь языка жестов на базе искусственного интеллекта и интерактивные учебные пособия, которые помогут пользователям эффективно изучать и практиковать язык жестов.
В результате программы ожидается
ИИ для распознавания языка жестов
Оптимизированный ИИ улучшает распознавание казахско-русских жестов, делая систему более доступной для людей с нарушениями слуха и речи.
Мостовая коммуникация
ИИ переводит речь на казахско-русский язык жестов, а жесты — в текст/аудио для полного понимания.
Адаптивный перевод ИИ
Самообучающаяся система повышает скорость и точность перевода за счет постоянного совершенствования.
Технологии для инклюзивного образования
Интеграция технологий в образовательные платформы улучшает доступ к знаниям, способствуя социальной и профессиональной интеграции людей с нарушениями слуха и речи.
Эксперименты
краткое описание наиболее важных экспериментов
Сеть классификации жестов (трансляция жестов в текст)
Цель: Разработка и обучение модели распознавания жестов и преобразования их в текст. Данные: Использование MediaPipe для сбора данных о ключевых точках руки. Процесс: Подготовка данных, обучение моделей машинного обучения (например, ResNet, YOLOv8) и оценка их точности. Оценка: Метрики, такие как точность, полнота, достоверность, F1-мера и другие. Результат: Текстовое представление жестов для последующей обработки.
Перевод текста аватара на язык жестов
Цель: Разработка модели перевода текста в жесты с визуализацией на 3D-аватаре. Данные: Параллельное тело казахского языка KSL Gloss. Процесс: Подготовка данных, обучение моделей (например, Transformer, Seq2Seq) и оценка их точности. Оценка: Метрики, такие как точность, полнота, BLEU и другие. Результат: Визуализация жестов на 3D-аватаре для отображения переведённого текста.
Синтез речи
Цель: Разработка модели синтеза речи из текста. Данные: Текстовые данные. Процесс: Подготовка данных, обучение моделей (например, Tacotron 2, WaveNet) и оценка их качества. Оценка: Метрики, такие как MOS, MCD и другие. Результат: Аудиоформат синтезированной речи для озвучивания текста.
Аудио в текст
Цель: Разработать модель преобразования аудио в текст. Данные: Аудиозаписи речевых данных. Процесс: Подготовка данных, обучение моделей (например, Conformer, Wav2Vec2) и оценка их точности. Оценка: Такие показатели, как точность, полнота, WER, CER и другие. Результат: Текстовое представление распознанной речи.