ИИ для жестового языка — доступно каждому
Разработка ресурсов казахско-русского жестового языка с использованием искусственного интеллекта — для доступного образования, общения и цифровой жизни людей с нарушениями слуха и речи.
Попробовать SignBridge
Разработка ресурсов жестового языка с использованием искусственного интеллекта для людей с нарушениями слуха и речи
"Разрушая барьеры, соединяя жизни."
- Повышение доступности общения
- Социальная инклюзия и равные возможности
- Улучшение доступа к образованию и услугам
- Передовые решения на базе ИИ и машинного обучения
- Экономические и профессиональные преимущества
- Масштабируемость и технологическое развитие
Айгерим Еримбетова
Руководитель проекта
Позвоните нам
+7 701 583 3302
Функции
Три основных технических возможности проекта
Распознавание и перевод жестового языка на основе ИИ
- Система использует модели глубокого обучения (Transformer, EfficientNet, ResNet) и алгоритмы компьютерного зрения для точного распознавания казахско-русского жестового языка.
- Преобразует жесты в текст и аудио с высокой точностью, облегчая общение для людей с нарушениями слуха.
- Обучена с использованием MediaPipe для обнаружения ключевых точек, обеспечивая точное распознавание жестов в реальном времени.
Двунаправленное преобразование речи в жесты и жестов в речь
- Перевод устной речи на язык жестов и обратно в режиме реального времени.
- Интерактивный 3D-аватар, визуально отображающий жесты языка жестов для слышащих пользователей.
- Распознавание речи на базе Conformer и Wave2Vec2 с высокой точностью преобразования речи в текст.
- Синтез речи с помощью FastSpeech2 и Tacotron2 для преобразования текста в естественную речь.
Интеграция с образовательными и цифровыми платформами
- Предназначена для внедрения в LMS, мобильные приложения и веб-платформы для доступного образования.
- Поддерживает транскрибацию и перевод лекций и онлайн-курсов в реальном времени для глухих студентов.
- Включает словарь жестового языка на базе ИИ и интерактивные учебные пособия.
Ожидаемые результаты
Основные результаты программы
ИИ для распознавания жестового языка
Оптимизированный ИИ улучшает распознавание казахско-русских жестов, делая систему более доступной.
Мостовая коммуникация
ИИ переводит речь на казахско-русский жестовый язык и жесты в текст/аудио.
Адаптивный перевод ИИ
Самообучающаяся система повышает скорость и точность перевода за счёт постоянного совершенствования.
Технологии для инклюзивного образования
Интеграция технологий в образовательные платформы улучшает доступ к знаниям и способствует инклюзии.
Эксперименты
Ключевые эксперименты и их методологии
Сеть классификации жестов (жест в текст)
Цель: Разработка модели распознавания жестов и преобразования их в текст.
Данные: Ключевые точки руки, собранные с помощью MediaPipe.
Модели: ResNet, YOLOv8.
Метрики: Точность, полнота, F1-мера.
Перевод текста аватара на жестовый язык
Цель: Перевод текста в жесты с визуализацией на 3D-аватаре.
Данные: Параллельный корпус Kazakh-KSL Gloss.
Модели: Transformer, Seq2Seq.
Метрики: Точность, полнота, BLEU.
Синтез речи
Цель: Генерация естественной речи из текста.
Данные: Казахско-русский текстовый корпус.
Модели: Tacotron 2, WaveNet.
Метрики: MOS, MCD.
Аудио в текст
Цель: Преобразование аудиозаписей речи в текст.
Данные: Аудиозаписи казахско-русской речи.
Модели: Conformer, Wav2Vec2.
Метрики: WER (Word Error Rate), CER.