브라우저에서 소형 LLM 7개를 직접 실행하는 MicroLLM Lab

AI 모델을 사용하려면 반드시 클라우드 서버나 별도의 API가 필요하다고 생각하기 쉽습니다. 하지만 MicroLLM Lab은 이러한 방식과 달리 브라우저에서 소형 언어 모델(SLM)을 직접 실행하고, 모델의 응답 속도와 정확도를 비교할 수 있도록 구성된 실험 도구입니다.

별도의 설치나 계정 없이 모델을 내려받아 브라우저에서 실행할 수 있으며, WebGPU를 이용해 사용 중인 기기의 GPU를 추론에 활용합니다. 또한 21개의 테스트와 256토큰 연속 생성 테스트를 통해 모델별 성능을 직접 확인할 수 있습니다.

이 글에서는 제공된 정보를 기준으로 MicroLLM Lab의 실행 방식부터 WebGPU와 Q4, 제공 모델 7종, 벤치마크, 사용자 정의 평가 기능까지 정리합니다.

브라우저에서 실행하는 소형 LLM 실험실

MicroLLM Lab은 소형 언어 모델을 브라우저에서 직접 실행하고 속도와 정확도를 비교할 수 있는 실험 도구입니다.

사용자는 모델을 선택해 내려받은 뒤 채팅 패널에서 프롬프트를 입력할 수 있습니다. 내려받은 모델은 브라우저의 IndexedDB에 캐시되기 때문에 이후에도 브라우저에서 활용할 수 있습니다.

특히 별도의 서버로 프롬프트를 전송하는 방식이 아니라 사용자의 기기에서 모델 추론을 수행한다는 점이 특징입니다.

실행 과정에서 실시간으로 초당 토큰 생성 속도를 확인할 수 있으며, 여러 모델을 대상으로 벤치마크를 실행해 성능을 비교할 수도 있습니다.

또한 측정한 결과를 바탕으로 기기 하드웨어 정보와 생성 속도를 포함한 성능 인증서를 만들고 이미지와 텍스트 형태로 공유할 수 있습니다.

WebGPU로 기기의 GPU를 활용하는 방식

MicroLLM Lab의 브라우저 실행에서 중요한 역할을 하는 것이 WebGPU입니다.

WebGPU는 브라우저에서 하드웨어 GPU의 컴퓨트 셰이더를 실행할 수 있도록 하는 W3C 표준 API입니다. 제공된 정보에 따르면 Apple Silicon에서는 Metal, 그 외 환경에서는 DirectX 12와 Vulkan 기반 GPU 실행을 활용할 수 있습니다.

MicroLLM Lab은 WebGPU를 우선적으로 사용합니다. WebGPU를 사용할 수 없는 환경에서는 WASM을 사용하고, 이후 JavaScript를 이용하는 방식으로 대체 실행합니다.

페이지 안내 기준으로 제시된 실행 속도는 다음과 같습니다.

• WASM CPU 실행: 약 8~20토큰/초
• WebGPU 실행: 약 100~300+토큰/초
• 안내된 속도 차이: 약 10~20배

다만 실제 속도는 사용하는 하드웨어에 따라 달라질 수 있습니다. 따라서 위 수치는 모든 기기에서 동일하게 적용되는 절대적인 성능값이 아니라 페이지에서 안내하는 실행 기준으로 볼 수 있습니다.

WebGPU를 사용하려면 지원 브라우저와 하드웨어 가속이 필요합니다. 안내 대상 브라우저에는 Chrome 113+, Edge 113+, Brave, WebGPU를 활성화한 Firefox가 포함됩니다.

Q4 양자화로 모델 크기를 줄이는 구조

브라우저에서 소형 언어 모델을 실행하려면 모델의 메모리 사용량 역시 중요합니다.

MicroLLM Lab에서는 Q4 방식이 사용됩니다. 제공된 설명에 따르면 Q4는 16비트 부동소수점 가중치를 매개변수당 4비트로 압축하는 방식으로, 가중치 메모리 사용량을 약 75% 줄이는 것을 목표로 합니다.

이를 통해 생성 품질을 거의 유지하면서 1억 개 이상의 매개변수를 가진 모델을 약 50~84MB 수준의 브라우저 메모리에 담는 것을 목표로 합니다.

결국 Q4는 모델을 더 작은 메모리 공간에 저장할 수 있도록 하고, WebGPU는 이렇게 준비된 모델을 기기의 GPU를 이용해 실행하는 역할을 담당합니다.

MicroLLM Lab에서 제공하는 7개 모델

MicroLLM Lab에서는 다양한 크기의 소형 모델을 선택해 실행할 수 있습니다.

모델	매개변수	용량	라이선스
PetitGPT research-v1	125M	74.4MB	Apache-2.0
SmolLM2 135M Instruct	135M	80.3MB	Apache-2.0
L20-Edu 135M	135M	80.3MB	Apache-2.0
SmolLM2 360M Instruct	362M	215.9MB	Apache-2.0
MiniMind2 104M	104M	62.1MB	Apache-2.0
MiniMind2 Small 26M	25.8M	15.4MB	Apache-2.0
GPT-2 124M (nanoGPT-shaped)	124M	77.1MB	MIT

모델 크기는 약 15.4MB부터 215.9MB까지 구성되어 있습니다. 따라서 사용자는 모델의 크기와 특성을 확인하면서 브라우저에서 직접 실행하고 비교할 수 있습니다.

PetitGPT

PetitGPT는 제공된 모델 가운데 하나이며, 연구용 기준선으로 활용됩니다.

PetitGPT GitHub 저장소에 따르면 해당 모델은 Llama 스타일 디코더 구조를 기반으로 합니다.

제공된 정보에서는 124.6M 매개변수 규모로 설명되며, pre-norm RMSNorm, 그룹 쿼리 어텐션 9/3, RoPE, SwiGLU, 임베딩 가중치 공유 등의 구조를 사용합니다.

MicroLLM Lab에서는 해당 아키텍처와 체크포인트를 WebGPU 환경으로 이식했습니다. 원래 연구 자체를 대체하는 것이 아니라 브라우저에서 모델을 실험하기 위한 형태입니다.

소형 언어 모델은 어디에 활용할 수 있을까?

소형 언어 모델은 폭넓은 상식을 가진 대형 모델을 그대로 대체하는 것보다 특정 작업을 효율적으로 처리하는 것에 초점을 둘 수 있습니다.

제공된 정보에서는 다음과 같은 활용 사례가 제시됩니다.

• 질의 분류
• 스팸 필터링
• 사용자 의도 추출
• 엣지 환경에서의 AI 처리
• 자동 완성
• 실시간 에이전트

예를 들어 모든 사용자 요청을 대형 클라우드 LLM으로 보내기 전에 작은 모델을 이용해 먼저 요청을 분류할 수 있습니다.

사용자의 요청이 단순한 분류나 의도 추출처럼 소형 모델로 처리할 수 있는 작업이라면 로컬에서 처리하고, 더 복잡한 작업에 대해서만 고비용 클라우드 LLM 호출을 사용하는 방식입니다.

또한 휴대전화나 노트북처럼 사용자가 직접 가지고 있는 기기에서 실행할 수 있기 때문에 프롬프트와 사용자 데이터가 외부로 나가지 않는 로컬 처리 방식도 가능합니다.

21개 테스트로 모델 성능 비교

MicroLLM Lab은 단순히 모델과 대화하는 데 그치지 않고 모델별 성능을 비교할 수 있는 벤치마크 기능을 제공합니다.

기본 평가에서는 모델마다 21개의 객관적인 테스트를 실행합니다.

테스트의 통과 여부는 정규식이나 정확한 토큰 일치 등을 통해 판단합니다. 따라서 일반적인 글쓰기 품질을 평가하는 테스트가 아니라, 특정 답변을 정확하게 생성했는지를 확인하는 방식입니다.

사용자는 활성화된 하나의 모델만 평가하거나 불러온 모든 모델을 대상으로 평가를 실행할 수 있습니다.

이를 통해 모델별로 다음과 같은 결과를 비교할 수 있습니다.

• 테스트별 실행 시간
• 테스트별 정확도
• 모델별 평균 토큰 생성 속도
• 최신 평가 통과율
• 전체 평가에 걸린 시간

256토큰 생성으로 지속적인 속도 측정

모델의 성능은 순간적인 최고 속도만으로 판단하기 어렵습니다.

MicroLLM Lab에서는 256토큰 연속 생성 테스트를 별도로 제공해 지속적인 생성 속도도 확인할 수 있습니다.

측정 결과에서는 다음과 같은 지표를 확인할 수 있습니다.

• 단일 테스트 최고 속도
• 최고 지속 속도
• 평균 지속 속도
• 평가 묶음의 전체 경과 시간

또한 최근 측정한 초당 토큰 수를 기반으로 실행 시간을 추정합니다. 첫 생성 전에는 약 80토큰/초를 가정하며, 기본 안내에서는 활성 모델 평가에 약 18초가 예상됩니다.

다만 실제 결과는 사용하는 기기의 하드웨어와 브라우저 환경에 따라 달라집니다.

TTFT와 실행 상태도 확인할 수 있다

MicroLLM Lab의 런타임 패널에서는 단순한 생성 속도뿐 아니라 모델이 현재 어떤 방식으로 실행되고 있는지도 확인할 수 있습니다.

확인할 수 있는 항목은 다음과 같습니다.

• 백엔드
• 모델
• 초당 토큰 수
• 첫 토큰 지연 시간(TTFT)
• 전체 경과 시간
• 종료 상태
• JavaScript 힙 사용량
• GPU 버퍼 사용량
• IndexedDB 사용량
• GPU 어댑터 상태

특히 TTFT(Time To First Token)는 프롬프트를 입력한 뒤 첫 번째 토큰이 생성될 때까지 걸리는 시간을 보여주는 지표입니다.

제공된 정보에서는 10ms 미만의 첫 토큰 지연 시간을 활용하는 자동 완성과 실시간 에이전트 활용 가능성도 언급하고 있습니다.

JavaScript로 직접 벤치마크를 만들 수 있다

MicroLLM Lab에서는 제공된 테스트만 실행하는 것이 아니라 JavaScript를 이용해 사용자 정의 벤치마크를 작성할 수도 있습니다.

사용자 정의 벤치마크는 객체 또는 함수 형태로 작성할 수 있으며, 현재 출처에서 eval()을 이용해 편집기 코드를 실행합니다.

각 check는 모델이 생성한 디코딩 텍스트를 검사해 테스트 통과 여부를 결정합니다.

예를 들어 제공된 예제에서는 다음과 같은 방식의 테스트를 구성합니다.

• 프랑스의 수도를 질문
• 독일의 수도를 질문
• 일본의 수도를 질문
• 모델의 답변에 Paris, Berlin, Tokyo가 포함됐는지 확인
• 대소문자를 구분하지 않는 정규식으로 결과 판정
• maxNewTokens: 32로 생성 길이 제한

즉, 특정 업무에서 필요한 조건을 직접 테스트 항목으로 만들어 소형 모델이 해당 작업을 제대로 수행하는지 확인할 수 있는 구조입니다.

모델을 직접 실행하고 결과를 비교하는 과정

MicroLLM Lab을 이용하는 과정은 크게 단순화할 수 있습니다.

먼저 브라우저에서 MicroLLM Lab에 접속한 뒤 사용할 모델을 선택합니다. 선택한 모델은 브라우저로 내려받아 IndexedDB에 저장됩니다.

이후 채팅 패널에서 원하는 프롬프트를 입력하고 모델의 답변과 초당 토큰 생성 속도를 확인합니다.

그 다음 벤치마크를 실행하면 21개 테스트를 통해 모델의 통과율과 실행 시간을 확인할 수 있습니다. 필요하다면 256토큰 연속 생성 테스트를 이용해 지속적인 생성 속도도 측정할 수 있습니다.

여러 모델을 불러온 경우 모델별 결과를 차트로 비교할 수 있으며, 자신의 기기에서 측정된 하드웨어 정보와 생성 속도를 포함한 성능 인증서를 만들어 공유할 수도 있습니다.

로컬 실행 환경에서 확인할 수 있는 의미

MicroLLM Lab의 핵심은 단순히 작은 AI 모델을 브라우저에서 실행하는 데 있지 않습니다.

소형 언어 모델과 브라우저의 GPU 가속을 결합하면 사용자의 기기 자체를 AI 추론 환경으로 활용할 수 있다는 점을 직접 확인할 수 있습니다.

특히 모델을 브라우저에 저장하고 WebGPU를 통해 GPU에서 실행하기 때문에 별도의 API 호출이나 클라우드 서버를 거치지 않고 모델을 실행하는 구조를 경험할 수 있습니다.

또한 모델 크기, 생성 속도, 첫 토큰 지연 시간, 테스트 통과율 등을 자신의 환경에서 직접 측정할 수 있기 때문에 동일한 모델이라도 기기 성능에 따라 실행 결과가 어떻게 달라지는지 확인할 수 있습니다.

직접 실행할 때 확인할 사항

MicroLLM Lab은 WebGPU를 우선적으로 사용하기 때문에 WebGPU 지원 여부가 중요합니다.

지원되는 브라우저와 하드웨어 가속 환경이 필요하며, WebGPU를 사용할 수 없는 경우에는 WASM과 JavaScript 방식으로 실행 환경이 대체됩니다.

또한 제공된 GitHub 저장소와 ZIP 파일을 이용해 직접 실행할 수도 있습니다.

MicroLLM Lab GitHub 저장소가 제공되며, 직접 실행할 때는 HTTP로 제공해야 하고 file:// 방식으로 열면 안 됩니다.

728x90

MicroLLM Lab은 브라우저에서 소형 언어 모델을 직접 실행하고 모델별 속도와 정확도를 비교할 수 있도록 구성된 실험 도구입니다.

약 15.4MB부터 215.9MB까지 다양한 크기의 7개 모델을 제공하며, 모델을 브라우저에 저장하고 WebGPU를 이용해 사용자의 GPU에서 추론할 수 있습니다.

Q4 양자화는 모델의 메모리 사용량을 줄이는 역할을 하고, WebGPU는 브라우저에서 하드웨어 GPU를 활용할 수 있도록 합니다. 이를 통해 별도의 API 호출 없이 로컬 환경에서 소형 LLM을 실행하는 구조를 확인할 수 있습니다.

또한 21개 테스트와 256토큰 연속 생성 테스트를 통해 모델의 정확도와 지속적인 생성 속도를 측정할 수 있으며, TTFT와 GPU 버퍼, IndexedDB 사용량 같은 런타임 정보도 확인할 수 있습니다.

여기에 JavaScript 기반 사용자 정의 벤치마크까지 지원하기 때문에 단순히 모델과 대화해보는 것을 넘어 특정 작업에 적합한 소형 모델을 직접 시험하고 비교할 수 있습니다.

결국 MicroLLM Lab은 “작은 언어 모델을 실제 사용자의 브라우저와 GPU에서 실행하면 어떤 결과가 나오는가”를 직접 확인할 수 있는 실험 환경이라는 점에서 의미가 있습니다. 특히 로컬 AI와 엣지 환경에서 소형 모델을 활용하는 방식을 이해하고 직접 성능을 측정해보고 싶다면, 브라우저만으로 그 과정을 경험할 수 있도록 구성되어 있다는 것이 핵심입니다.

300x250

https://stateofutopia.com/experiments/microllmlab/

MicroLLM lab — tiny LLMs, Q4, in your browser