소형 언어 모델(SLM)은 파라미터가 대략 10억~100억 개 규모로 경량화돼 적은 자원으로도 구동되는 언어 모델이다. 수천억 개 파라미터를 쓰는 LLM과 달리, SLM은 2023년 Microsoft Phi와 Google Gemma가 등장하며 본격화됐고 2026년 현재 스마트폰·노트북·산업 기기에서 직접 추론하는 표준 선택지로 자리잡았다. 핵심은 작은 크기로 특정 작업에 집중해 LLM에 근접한 품질을 훨씬 낮은 비용으로 내는 것이다.

'더 크게'에서 '더 가깝게'로: 방향이 바뀐 이유

지난 몇 년의 경쟁은 파라미터를 키우는 싸움이었다. SLM은 그 방향을 뒤집는다. 모델을 무한정 키워도 데이터센터 밖으로는 나오지 못하고, 토큰당 과금과 지연이 그대로 사용자 부담으로 남기 때문이다. 10억~100억 개라는 크기는 임의로 정한 숫자가 아니라, 4비트 양자화 시 모델 용량이 2GB 안팎으로 줄어 스마트폰·노트북 메모리에 통째로 올라가는 경계선에 맞춰져 있다. 즉 SLM의 설계 목표는 '가장 똑똑한 모델'이 아니라 '기기 안에서 끝나는 모델'이다. 성능을 조금 양보하는 대신 실행 환경 자체를 데이터센터에서 손안으로 옮긴 것이 이 흐름의 본질이다.

표의 숫자를 어떻게 읽어야 하나

항목	소형 언어 모델(SLM)	대형 언어 모델(LLM)
파라미터	약 10억~100억 개	수백억~수천억 개
실행 환경	스마트폰·노트북·단일 GPU	데이터센터 GPU 클러스터
추론 비용	토큰당 비용 낮음·로컬 무료	토큰당 과금 높음
응답 속도	빠름(작은 연산량)	상대적으로 느림
강점	특정 작업 특화·온디바이스	범용 추론·장문 생성
대표 모델	Phi-3, Gemma 2, Llama 3.2	GPT-4, Claude, Gemini Ultra

이 표에서 놓치기 쉬운 지점은 '추론 비용 낮음'과 '응답 속도 빠름'이 공짜가 아니라는 것이다. 로컬 무료는 서버 과금이 없다는 뜻이지 연산이 무료라는 뜻이 아니며, 기기 배터리와 발열이 새로운 비용으로 등장한다. 응답 속도도 '작은 연산량' 덕분이지, 네트워크를 타는 LLM보다 항상 빠른 것은 아니다. 표의 각 항목은 절대 우위가 아니라 트레이드오프의 목록으로 읽어야 한다. SLM을 고르는 순간 정확도 상한을 스스로 낮추는 대가로 비용·속도·프라이버시를 가져오는 셈이다.

한국 시장과 온디바이스: 비용이 아니라 데이터가 관건

SLM의 대표적 활용 사례는 온디바이스 비서, 사내 문서 검색, 고객 응대 챗봇처럼 작업 범위가 좁고 응답 속도가 중요한 분야다. 2026년 기준 Apple과 Google은 스마트폰 메시지 요약·번역에 3B 안팎 모델을 탑재하고 있고, 기업은 민감한 내부 데이터를 외부로 보내지 않으려고 사내 서버에 SLM을 올려 RAG 검색에 쓴다. 산업 현장에서도 코드 자동완성, 음성 명령 처리 같은 단일 목적 작업에 SLM이 널리 쓰인다.

국내 관점에서 더 중요한 변수는 비용 절감보다 데이터 통제다. 개인정보·영업기밀을 외부 API에 태우기 어려운 규제·보안 환경에서는, 성능이 조금 낮더라도 기기·사내망 안에서 끝나는 SLM이 유일하게 현실적인 선택지가 되는 경우가 많다. 여기에 Qwen2.5가 2026년 들어 한국어를 포함한 다국어 품질을 크게 개선하면서, 그동안 한국어 로컬 모델의 발목을 잡던 언어 품질 문제도 상당 부분 풀렸다. 온디바이스가 '실험'에서 '기본 선택지'로 넘어온 배경에는 이런 조합이 있다.

대표 모델과 각자의 포지션

대표적인 SLM 모델은 Microsoft Phi-3, Google Gemma 2, Meta Llama 3.2, Alibaba Qwen2.5 네 가지다. Phi-3 mini는 3.8B 크기로 작은 규모 대비 추론 성능이 뛰어나고, Gemma 2는 2B·9B 버전으로 오픈소스 생태계에서 널리 포팅된다. Llama 3.2의 1B·3B는 모바일 이식이 활발하며, Qwen2.5는 2026년 들어 한국어를 포함한 다국어 품질이 크게 개선돼 로컬 챗봇에 실사용되고 있다. 네 모델은 경쟁 관계이면서도 역할이 갈린다. 추론 밀도를 노리면 Phi 계열, 이식성과 커뮤니티 자산을 노리면 Gemma·Llama, 다국어와 한국어를 노리면 Qwen으로 정리된다. 'SLM 하나'를 고르는 문제가 아니라 작업에 맞는 크기와 언어를 고르는 문제라는 점이 중요하다.

ASAP의 관점: SLM의 한계와 남는 질문

SLM의 핵심 한계는 작은 파라미터 규모 탓에 복잡한 추론과 폭넓은 지식 작업에서 LLM보다 정확도가 떨어진다는 점이다. 10억~100억 개 파라미터 모델은 수천억 개 규모의 GPT-4나 Claude가 푸는 다단계 논리·장문 생성·전문 지식 질의에서 한계를 보인다. 또한 학습 데이터 범위가 좁아 환각이 늘 수 있어, 2026년 현재 대부분의 실서비스는 SLM에 RAG 검색을 결합해 정확도를 보완한다. 다만 RAG가 정확도를 '보완'한다는 말은, 순수 SLM 단독으로는 신뢰 구간이 좁다는 뜻이기도 하다. 실무에서 SLM은 단독 두뇌가 아니라 검색·규칙·필요 시 LLM 호출을 붙인 파이프라인의 한 부품에 가깝다. 남는 질문은 명확하다. 어디까지를 기기 안에서 끝내고, 어디부터 클라우드 LLM에 넘길 것인가. SLM의 성패는 모델 크기 경쟁이 아니라 이 경계선을 얼마나 정교하게 긋느냐에 달려 있다.