NVIDIA Audex’ni taqdim etdi: endi bitta AI modeli ham eshitadi, ham gapiradi

NVIDIA Audex (Nemotron-Labs-Audex-30B-A3B) nomli yangi sun’iy intellekt modelini taqdim etdi. Bu model audio va matn bilan bir vaqtda ishlay oladigan yagona yirik til modeli (LLM) bo’lib, nafaqat nutqni tushunadi, balki ovoz yaratish, tarjima qilish va turli tovushlarni generatsiya qilish imkoniyatiga ham ega.

Eng muhim jihati shundaki, Audex audio imkoniyatlari qo’shilgan bo’lsa ham, matnni tushunish va mantiqiy fikrlash bo’yicha asosiy modelining kuchli tomonlarini deyarli saqlab qolgan.

Audex nimasi bilan ajralib turadi?

Ko’plab multimodal AI modellari audio yoki video imkoniyatlariga ega bo’lgach, matn bilan ishlash sifati pasayadi. Bu holat AI sohasida ba’zan «text tax» deb ataladi.

NVIDIA’ning ta’kidlashicha, Audex aynan shu muammoni hal qilish uchun ishlab chiqilgan. Model audio va matnni bitta tizim ichida qayta ishlaydi va shu bilan birga matn bo’yicha yuqori natijalarni saqlab qoladi.

Audex nimalarni qila oladi?

Yangi model quyidagi vazifalarni bajaradi:

• Nutqni matnga aylantirish (Speech-to-Text)
• Nutqni boshqa tillarga tarjima qilish
• Matndan tabiiy ovoz yaratish (Text-to-Speech)
• Turli tovushlarni, masalan qushlar sayrashi, yomg’ir yoki tabiat shovqinlarini generatsiya qilish
• Ovozdan ovozga javob qaytarish (Speech-to-Speech)
• Audio fayllarni tahlil qilish va mazmunini tushunish

Shunday qilib, Audex faqat ovozni matnga aylantirish bilan cheklanmaydi, balki to’liq audio va matn ekotizimi bilan ishlay oladi.

Model qanday ishlaydi?

Audex NVIDIA’ning Nemotron-Cascade-2-30B-A3B modeli asosida yaratilgan.

Model audio signallarini maxsus kodlash orqali matn bilan bir xil formatda qayta ishlaydi. Shu sababli audio va matn uchun alohida AI modellari kerak bo’lmaydi — barchasi bitta model ichida bajariladi.

Audex 30 milliard parametrga ega Mixture-of-Experts (MoE) arxitekturasidan foydalanadi. Bir vaqtning o’zida esa taxminan 3 milliard parametr faollashadi, bu esa hisoblash resurslarini samaraliroq ishlatishga yordam beradi.

Bundan tashqari, model 1 million tokenli kontekstni qo’llab-quvvatlaydi, ya’ni juda uzun suhbatlar yoki hujjatlar bilan ishlay oladi.

O’qitish jarayoni

NVIDIA Audex’ni bosqichma-bosqich o’qitgan.

Dastlab model faqat matn bilan ishlashni o’rgangan. Keyinchalik unga audio yaratish, audio tushunish va boshqa ovozli vazifalar qo’shilgan.

Kompaniyaning aytishicha, aynan shu usul modelning matn bo’yicha sifatini pasaytirib yubormagan.

Modelni tayyorlash davomida:

• 320 milliarddan ortiq matn tokenlari;
• 157 milliarddan ortiq audio tokenlari ishlatilgan.

O’qitish jarayonida model quyidagi vazifalarni o’rgangan:

• Speech-to-Text (ASR)
• Speech Translation (AST)
• Text-to-Speech (TTS)
• Text-to-Audio
• Audio Understanding

Benchmark natijalari

NVIDIA e’lon qilgan natijalarga ko’ra, Audex matn bo’yicha deyarli o’zining asosiy Nemotron modeliga teng natijalarni ko’rsatgan.

Shuningdek, ayrim reasoning va instruction-following testlarida Qwen3.5-35B-A3B modelidan ham yuqori natija qayd etgan.

Nutqni matnga aylantirish (ASR) bo’yicha esa Audex ochiq AI modellari orasida eng yaxshi natijalardan birini ko’rsatgan va Step-Audio-R1.1-33B hamda Qwen3-Omni-30B-A3B-Thinking modellarini ortda qoldirgan.

Audio tushunish bo’yicha esa natijalar aralash. Ba’zi benchmarklarda yetakchi bo’lsa-da, MMAR va MMSU kabi testlarda kuchli audio modellardan ortda qolgan.

Qayerlarda foydalanish mumkin?

Audex ko’plab amaliy vazifalarda qo’llanilishi mumkin.

Masalan:

• xalqaro call-markazlarda qo’ng’iroqlarni avtomatik tarjima qilish;
• ovozli AI yordamchilar yaratish;
• audiokitoblar uchun tabiiy ovoz hosil qilish;
• nogironligi bo’lgan foydalanuvchilar uchun ovozli imkoniyatlar yaratish;
• film va o’yinlar uchun turli tovush effektlarini generatsiya qilish;
• kontent yaratishda sun’iy intellekt yordamida audio ishlab chiqish.

Afzalliklari

Audex’ning asosiy ustunliklari quyidagilar:

• Audio qo’shilgan bo’lsa ham matn sifati deyarli saqlanib qoladi.
• Audio va matn uchun bitta yagona model ishlatiladi.
• Nutq, tarjima va audio generatsiyasini bir tizimda bajaradi.
• Ochiq model sifatida taqdim etilgan.
• Turli tovushlarni generatsiya qila oladigan kam sonli ochiq AI modellardan biri hisoblanadi.

Kamchiliklari

Modelning ayrim cheklovlari ham mavjud.

• Hozircha NVIDIA OneWay Noncommercial License ostida tarqatilmoqda, ya’ni tijorat maqsadlarida erkin foydalanish mumkin emas.
• Ayrim audio tushunish benchmarklarida hali eng kuchli modellarga yeta olmagan.
• Speech-to-Speech jarayoni to’liq real vaqt rejimida emas, bosqichma-bosqich ishlaydi.
• Reinforcement Learning hozircha faqat matn bilan ishlash uchun qo’llangan.

Xulosa

Audex NVIDIA’ning multimodal sun’iy intellekt yo’nalishidagi muhim qadami hisoblanadi. Kompaniya audio va matn imkoniyatlarini bitta modelga birlashtirish bilan birga, matn bo’yicha yuqori aniqlikni ham saqlab qolishga erishganini ta’kidlamoqda.

Agar amaliy natijalar ham benchmarklardagi ko’rsatkichlarni tasdiqlasa, Audex kelajakdagi ovozli AI yordamchilari, tarjimonlar va multimedia agentlari uchun muhim asoslardan biriga aylanishi mumkin.