АЕТИ Зерттеу Жобасы

Барлығына арналған ЖИ Ымдау Тілі

Жасанды интеллект арқылы қазақ-орыс ымдау тілінің ресурстарын дамыту — есту және сөйлеу қабілеті бұзылған адамдар үшін білімді, байланысты және цифрлық өмірді қолжетімді ету.

Толығырақ SignBridge-ті қолданып көру
ЖИ Ымдау Тілін Тану
Толық Ақпарат

Есту және сөйлеу қабілеті бұзылған адамдар үшін жасанды интеллект арқылы ымдау тілі ресурстарын дамыту

"Кедергілерді бұзу, өмірді байланыстыру."

  • Жетілдірілген байланыс қолжетімділігі
  • Әлеуметтік қамту және тең мүмкіндіктер
  • Білім мен қызметтерге қолжетімділік жақсарды
  • Жетілдірілген ЖИ және МЛ шешімдері
  • Экономикалық және кәсіптік артықшылықтар
  • Масштабтау және технологиялық прогресс
Айгерім Еримбетова

Айгерім Еримбетова

Жоба Менеджері

Қоңырау шалу

+7 701 583 3302

Өзгешіліктері

Жобаның үш негізгі техникалық мүмкіндіктері

Жасанды интеллектпен жұмыс істейтін ым тілін тану және аудару

  • Жүйе қазақ-орыс ымдау тіліндегі қимылдарды дәл тану үшін терең оқыту үлгілерін (Transformer, EfficientNet, ResNet) және компьютерлік көру алгоритмдерін пайдаланады.
  • Ымдау тілі қимылдарын жоғары дәлдікпен мәтінге және дыбысқа түрлендіреді, есту қабілеті бұзылған адамдар үшін қарым-қатынасты жеңілдетеді.
  • Нақты уақытта дәл қимылды тануды қамтамасыз ету үшін MediaPipe және машиналық оқыту үлгілері арқылы оқытылады.
ЖИ Ым Тілін Тану

Екі бағытты сөйлеуден қолтаңбаға және қолтаңбадан сөйлеуге түрлендіру

  • Жүйе сөйлеу тілін ым тіліне және керісінше нақты уақытта аударуға мүмкіндік береді.
  • Ымдау тілі қимылдарын көрнекі түрде көрсететін интерактивті 3D аватар бар.
  • Сөйлеуді тану Conformer және Wave2Vec2 үлгілерімен жұмыс істейді, жоғары дәлдікті қамтамасыз етеді.
  • FastSpeech2, Tacotron2 арқылы табиғи сөйлеу синтезін қамтиды.
Екі жақты аудару

Білім беру және цифрлық платформалармен интеграция

  • Технология оқытуды басқару жүйелерінде (LMS), мобильді қосымшаларда және веб-платформаларда енгізуге арналған.
  • Саңырау студенттерге қолжетімділікті қамтамасыз ететін сыныптағы дәрістерді нақты уақытта транскрипциялауды қолдайды.
  • ЖИ-мен жұмыс істейтін ымдау тілінің сөздігі және интерактивті оқулықтарды қамтиды.
Білім берумен интеграция

Күтілетін нәтижелер

Бағдарлама нәтижесінде күтілетін негізгі нәтижелер

Ым тілін тануға арналған ЖИ

Оңтайландырылған ЖИ қазақ-орыс белгілерін тануды жақсартады, қолжетімділікті арттырады.

Көпірлік коммуникация

ЖИ сөзді қазақ-орыс ымдау тіліне және ым-ишараны мәтінге/аудиоға аударады.

Бейімделетін ЖИ аудармасы

Өзін-өзі оқыту жүйесі үздіксіз жетілдіру арқылы аударма жылдамдығы мен дәлдігін арттырады.

Инклюзивті білім беру технологиясы

Технологияларды оқу платформаларына біріктіру білімге қолжетімділікті жақсартады.

Тәжірибелер

Негізгі эксперименттер және олардың әдістемелері

Қимылдарды жіктеу желісі (Ымды мәтінге)

Мақсаты: Қимылдарды тану және мәтінге айналдыру үлгісін жасау.
Деректер: MediaPipe арқылы жинақталған қол нүктелері.
Үлгілер: ResNet, YOLOv8.
Көрсеткіштер: Дәлдік, еске түсіру, F1-өлшем.

Қол қоюға арналған аватар мәтіні

Мақсаты: 3D аватарымен мәтінді ым-ишараға аудару.
Деректер: Kazakh-KSL Gloss параллель корпусы.
Үлгілер: Transformer, Seq2Seq.
Көрсеткіштер: Дәлдік, еске түсіру, BLEU.

Сөйлеу синтезі

Мақсаты: Мәтіннен табиғи сөйлеу генерациялау.
Деректер: Қазақ-орыс мәтін корпусы.
Үлгілер: Tacotron 2, WaveNet.
Көрсеткіштер: MOS, MCD.

Аудиодан мәтінге

Мақсаты: Аудио сөйлеу жазбаларын мәтінге түрлендіру.
Деректер: Қазақ-орыс сөйлеу аудио жазбалары.
Үлгілер: Conformer, Wav2Vec2.
Көрсеткіштер: WER, CER.