ТОЛЫҚ АҚПАРАТ

Есту және сөйлеу қабілеті бұзылған адамдар үшін жасанды интеллект арқылы ымдау тілі ресурстарын дамыту

"Кедергілерді бұзу, өмірді байланыстыру."

Жетілдірілген байланыс қолжетімділігі
Әлеуметтік қамту және тең мүмкіндіктер
Білім мен қызметтерге қолжетімділік жақсарды

Жетілдірілген ЖИ және МЛ шешімдері
Экономикалық және кәсіптік артықшылықтар
Масштабтау және технологиялық прогресс

Айгерім Еримбетова

Жоба & Менеджері

Қоңырау шалу

+7 701 583 3302

Өзгешіліктері

Мұнда жобаның үш егжей-тегжейлі негізгі ерекшеліктері берілген:

Жасанды интеллектпен жұмыс істейтін ым тілін тану және аудару

Жүйе қазақ-орыс ымдау тіліндегі қимылдарды дәл тану және түсіндіру үшін терең оқыту үлгілерін (Tranformer, EfficientNet, ResNet сияқты) және компьютерлік көру алгоритмдерін пайдаланады.
Ол ымдау тілі қимылдарын жоғары дәлдікпен мәтінге және дыбысқа түрлендіреді, бұл есту қабілеті бұзылған адамдар үшін қарым-қатынасты жеңілдетеді.
Тану жүйесі нақты уақыттағы және дәл қимылды тануды қамтамасыз ететін негізгі нүктелерді анықтау үшін MediaPipe және жіктеу үшін машиналық оқыту үлгілері арқылы оқытылады.

Екі бағытты сөйлеуден қолтаңбаға және қолтаңбадан сөйлеуге түрлендіру

Жүйе сөйлеу тілін ым тіліне және керісінше нақты уақытта аударуға мүмкіндік береді.
Онда ымдау тілі қимылдарын көрнекі түрде көрсететін интерактивті аватар бар, бұл есту қабілеті бар пайдаланушыларға саңырау адамдармен тиімді байланысуға мүмкіндік береді.
Сөйлеуді тану Conformer және Wave2Vec2 үлгілерімен жұмыс істейді, бұл ауызша сөздерді мәтінге және ым тіліне түрлендіруде жоғары дәлдікті қамтамасыз етеді.
Жүйе сонымен қатар танылған мәтінді табиғи дыбысты сөйлеуге түрлендіру үшін сөйлеу синтезі технологиясын (FastSpeech2, Tacotron2) қамтиды, бұл есту қабілеті нашар пайдаланушылардың әлеммен әрекеттесуін жеңілдетеді.

Білім беру және цифрлық платформалармен интеграция

Технология оқытуды басқару жүйелерінде (LMS), мобильді қосымшаларда және веб-платформаларда енгізуге арналған, бұл есту қабілеті бұзылған адамдардың білімге қолжетімділігін кеңейтеді.
Ол саңырау студенттерге қолжетімділікті қамтамасыз ететін сыныптағы дәрістерді, онлайн курстарды және оқу бейнелерін нақты уақытта транскрипциялау мен аударуды қолдайды.
Жоба пайдаланушыларға ымдау тілін тиімді үйренуге және жаттықтыруға көмектесу үшін AI-мен жұмыс істейтін ымдау тілінің сөздігі және интерактивті оқулықтар сияқты теңшелетін оқу құралдарын қамтиды.

Бағдарлама нәтижесінде күтілуде

Ым тілін тануға арналған ЖИ

Оңтайландырылған ЖИ қазақстандық-орысша белгілерді тануды жақсартады, есту және сөйлеу қабілеті нашар адамдар үшін қолжетімділікті жақсартады.

Көпірлік коммуникация

ЖИ сөзді қазақ-орыс ымдау тіліне және ым-ишараны мәтінге/аудиоға біркелкі түсіну үшін аударады.

Бейімделетін ЖИ аудармасы

Өзін-өзі оқыту жүйесі үздіксіз жетілдіру арқылы аударма жылдамдығы мен дәлдігін арттырады.

Инклюзивті білім беру технологиясы

Технологияларды оқу платформаларына біріктіру білімге қолжетімділікті жақсартады, есту және сөйлеу қабілеті бұзылған адамдар үшін әлеуметтік және кәсіби инклюзияға ықпал етеді.

Жобаның толық түсіндірмесі

Жүктеу

Клиент

Проект

Сағат

Жұмысшы

Тәжірибелер

ең маңызды эксперименттердің қысқаша сипаттамасы

Қимылдарды жіктеу желісі (Ымды мәтінге)

Мақсаты: Қимылдарды тану және мәтінге айналдыру үлгісін әзірлеу және жаттықтыру. Деректер: негізгі қол нүктелері бойынша деректерді жинау үшін MediaPipe пайдалану. Процесс: деректерді дайындаңыз, машиналық оқыту үлгілерін үйретіңіз (мысалы, ResNet, YOLOv8) және олардың дәлдігін бағалаңыз. Балл: дәлдік, еске түсіру, дәлдік, F1-өлшем және т.б. сияқты көрсеткіштер. Нәтиже: Кейінгі өңдеуге арналған ым-ишараның мәтіндік көрінісі.

Қол қоюға арналған аватар мәтіні

Мақсаты: 3D аватарындағы визуализация арқылы мәтінді ым-ишараға аудару үлгісін жасау. Деректер: Kazakh-KSL Gloss параллель дене. Процесс: Деректерді дайындаңыз, үлгілерді жаттықтырыңыз (мысалы, Transformer, Seq2Seq) және олардың дәлдігін бағалаңыз. Бағалау: дәлдік, еске түсіру, BLEU және т.б. сияқты көрсеткіштер. Нәтиже: Аударылған мәтінді көрсету үшін 3D аватарындағы қимылдарды визуализациялау.

Сөйлеу синтезі

Мақсаты: Мәтіннен сөйлеу синтезінің үлгісін жасау. Деректер: Мәтіндік деректер. Процесс: Деректерді дайындау, модельдерді оқыту (мысалы, Tacotron 2, WaveNet) және олардың сапасын бағалау. Бағалау: MOS, MCD және т.б. сияқты көрсеткіштер. Нәтиже: дауысты мәтінге арналған синтезделген сөйлеудің аудио форматы.

Аудиодан мәтінге

Мақсаты: Дыбысты мәтінге түрлендіру үлгісін жасау. Деректер: сөйлеу деректерінің аудио жазбалары. Процесс: Деректерді дайындаңыз, үлгілерді жаттықтырыңыз (мысалы, Conformer, Wav2Vec2) және олардың дәлдігін бағалаңыз. Бағалау: дәлдік, еске түсіру, WER, CER және т.б. сияқты көрсеткіштер. Нәтиже: танылған сөйлеудің мәтіндік көрінісі.

Сұрақ бар ма? Жиі қойылатын сұрақтар бөлімін қараңыз

Сіз өзіңіздің сұрақтарыңыз бен оларға жауаптарыңызды осы жерден таба аласыз

Q1

Feugiat pretium nibh ipsum consequat. Tempus iaculis urna id volutpat lacus laoreet non curabitur gravida. Venenatis lectus magna fringilla urna porttitor rhoncus dolor purus non.

Q2

Dolor sit amet consectetur adipiscing elit pellentesque habitant morbi. Id interdum velit laoreet id donec ultrices. Fringilla phasellus faucibus scelerisque eleifend donec pretium. Est pellentesque elit ullamcorper dignissim. Mauris ultrices eros in cursus turpis massa tincidunt dui.

Q3

Eleifend mi in nulla posuere sollicitudin aliquam ultrices sagittis orci. Faucibus pulvinar elementum integer enim. Sem nulla pharetra diam sit amet nisl suscipit. Rutrum tellus pellentesque eu tincidunt. Lectus urna duis convallis convallis tellus. Urna molestie at elementum eu facilisis sed odio morbi quis

Q4

Q5

Molestie a iaculis at erat pellentesque adipiscing commodo. Dignissim suspendisse in est ante in. Nunc vel risus commodo viverra maecenas accumsan. Sit amet nisl suscipit adipiscing bibendum est. Purus gravida quis blandit turpis cursus in

Q6

Enim ea facilis quaerat voluptas quidem et dolorem. Quis et consequatur non sed in suscipit sequi. Distinctio ipsam dolore et.