Nemotron-Labs-Audex-30B-A3B는 총 30B·활성 3B의 전문가혼합(MoE) 구조로 음성 인식·번역·음성 합성·오디오 이해를 한 모델에 담으면서도, 백본인 텍스트 전용 LLM의 지능을 그대로 유지한다고 엔비디아가 2026년 7월 7일 공개한 통합 오디오-텍스트 모델이다. 백본은 텍스트 전용 MoE인 Nemotron-Cascade-2-30B-A3B이며, 최대 100만 토큰 문맥을 지원하고 허깅페이스에 NVIDIA Oneway Noncommercial License로 올라와 있다. 핵심은 오디오 능력을 얹고도 텍스트 추론이 깎이지 않았다는 주장이다.

무엇이 공개됐나: 한 모델로 듣고 말하는 30B-A3B

Audex는 오디오 이해, 음성 인식(ASR), 음성 번역, 텍스트 음성 변환(TTS), 오디오 생성, 그리고 음성 입력에서 음성 출력까지 이어지는 스피치-투-스피치를 하나의 모델로 처리한다. 총 파라미터는 30B이지만 토큰당 활성 파라미터는 3B에 그쳐, 30B급 표현력을 쓰면서 추론 비용은 3B급으로 억제하는 MoE의 전형적 이점을 노린다. 함께 공개된 Audex-2B는 더 가벼운 변형이다.

구조를 뜯어보면 기존 텍스트 LLM에 오디오 경로를 붙인 방식이다. 마크테크포스트가 전한 세부에 따르면 오디오 입력은 AF-Whisper 인코더(16kHz)로 받고, 음성은 X-Codec2, 일반 오디오는 X-Codec으로 토큰화한 뒤 백본에 흘려보낸다. 즉 소리를 텍스트와 같은 시퀀스 위의 토큰으로 바꿔, 언어 모델이 이미 잘하는 시퀀스 추론 능력을 그대로 활용하는 설계다.

'텍스트 지능 보존'이 진짜 자랑거리인 이유

"텍스트 지능을 보존한다"는 이름표는 오디오 멀티모달 학습의 오래된 상충, 즉 소리를 배우면 텍스트 추론이 뒷걸음질치는 문제를 정면으로 겨냥한 선언이다. 겸손해 보이는 이 문구가 사실은 이 모델의 가장 공격적인 주장인 셈이다. 언어 모델에 소리를 가르치면 텍스트만 풀던 시절의 추론·지식 성능이 흔히 뒷걸음질친다. 새 능력을 얻는 대가로 원래 잘하던 것을 잃는 상충이 발생하는 것이다.

엔비디아가 함께 공개한 벤치마크는 이 상충을 피했다는 근거로 제시된다. 마크테크포스트가 정리한 수치로는 텍스트 지식 벤치마크 MMLU-Redux에서 86.4, 오디오 인식 지표 OpenASR 단어오류율(WER) 6.82, 오디오 이해 벤치마크 MMAU 75.6 등이 보고됐다. 텍스트 점수가 백본 대비 크게 무너지지 않았다는 것이 핵심 메시지다.

다만 이 대목은 신중히 읽어야 한다. 벤치마크 수치는 엔비디아 자체 공개 자료에서 나온 것이고, 허깅페이스 모델카드에서는 상당수 지표가 이미지 형태로 실려 있어 텍스트로 재확인하기 어렵다. '크게 안 떨어졌다'는 평균적 인상이지, 모든 세부 과제에서 무손실을 뜻하지는 않는다. 통합 모델의 성능 주장은 언제나 비교 대상과 과제 구성에 따라 체감이 달라진다.

라이선스라는 함정: 오픈웨이트지만 상업 금지

가중치가 허깅페이스에 올라와 있다는 사실만 보고 '오픈소스'로 넘겨짚으면 곤란하다. Audex의 라이선스는 NVIDIA Oneway Noncommercial License, 즉 비상업 라이선스다. 연구·실험·내부 검증에는 열려 있지만, 제품에 넣어 매출을 내는 상업적 사용은 원칙적으로 막혀 있다는 뜻이다.

이 구분은 실무에서 결정적이다. 아파치 2.0 같은 허용적 라이선스로 풀린 모델은 스타트업이 곧바로 서비스에 태울 수 있지만, 비상업 라이선스 모델은 아무리 성능이 좋아도 프로덕션 도입 전에 별도 상업 계약이나 대체 모델 검토가 필요하다. 강력한 오디오 성능과 상업 사용 가능성을 혼동하지 않는 것이 첫 단추다.

한국 음성 서비스 관점에서 남는 물음

통합 오디오 LLM은 한국의 콜센터·음성비서·회의록 서비스에 매력적인 그림을 던진다. 인식·번역·합성을 각각 다른 모델로 이어 붙이던 파이프라인을 한 모델로 합치면 지연과 운영 부담이 줄고, 100만 토큰 문맥은 긴 통화나 장시간 회의 오디오를 한 번에 다루는 데 유리하다. 활성 3B의 MoE 구조도 서빙 비용 측면에서 반가운 설계다.

그러나 판단은 한국어로 다시 해봐야 한다. 공개된 벤치마크는 영어권 데이터가 중심이고, 한국어 인식률·합성 자연스러움·방언 대응이 어느 정도인지는 이 자료만으로 알 수 없다. 비상업 라이선스라는 제약까지 겹치면, 국내 팀에게 Audex는 당장의 프로덕션 후보라기보다 '통합 오디오 모델이 어디까지 왔는지'를 가늠하는 참조점에 가깝다. 소리와 언어를 한 백본에 묶는 흐름 자체는 분명해졌고, 남은 질문은 그 통합이 한국어와 상업 조건 아래서도 유지되느냐다.

참고: NVIDIA Releases Audex (Nemotron-Labs-Audex-30B-A3B) (MarkTechPost, 2026-07-07) · 모델카드 (Hugging Face, nvidia/Nemotron-Labs-Audex-30B-A3B)