내 게이밍 PC에서 돌리는 125B 대형 AI 모델
Strata · 내 PC 안에서만 도는 무료 AI 엔진
Strata는 1,250억 파라미터 모델 Qwen3.8-Flash-Next를 집에 있는 게이밍 PC에서 돌려 주는 무료 오픈소스 엔진입니다. 대화 내용은 PC 밖으로 나가지 않습니다.
VRAM 12GB 이상인 NVIDIA·AMD 그래픽카드와 RAM 32GB 이상이면 윈도우와 리눅스에서 돌아갑니다.
모델을 그래픽카드·RAM·SSD에 나눠 싣는 방식이라 RTX 5070에서도 초당 53~94토큰으로 답합니다.
채팅과 코드 작성, 이미지 읽기를 하고 OpenAI·Anthropic 호환 주소로 Claude Code 같은 코딩 에이전트도 붙일 수 있습니다.
윈도우는 START-HERE.bat, 리눅스는 ./setup.sh를 실행하면 사양에 맞는 모델을 골라 약 70GB를 내려받습니다.
처음 켤 때 1~3분쯤 PC가 멈춘 듯 느려질 수 있습니다. 엔진은 MIT 라이선스지만 모델은 각자 라이선스를 따릅니다.
Niko1221/Strata
Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.
- GitHub 별
- 30,783
- 라이선스
- MIT
- 언어
- C++
- 확인한 날
- 2026.10.23
도커 · 출처 저장소
docker compose up -d (docker-compose.yml)출처 Strata (github.com/Niko1221/Strata)
카드 내용
- 공식 데모RTX 5070에서 돌린 AI가 한 번에 짠 3D 정원
프롬프트 한 번으로 브라우저에서 도는 코드를 짰습니다. 그래픽카드는 12GB짜리 RTX 5070 한 장입니다.
출처: Strata 공식 GitHub - 속도12GB 그래픽카드로 읽는 것보다 빠르게 씁니다
RTX 5070에서 초당 53~94토큰씩 답을 씁니다. 초당 60토큰이면 눈으로 읽는 속도보다 빠릅니다.
출처: Strata 공식 GitHub - 작동 방식서버용 모델을 PC 전체에 나눠 싣습니다
모델은 작은 전문가 2만 4,576개로 나뉩니다. 자주 쓰는 것만 그래픽카드에, 전부는 RAM에 둡니다.
출처: Strata 공식 GitHub
