Java에서 로컬 LLM을 실행하는 방법: Jlama로 시작하기

최근 대규모 언어 모델(LLM)을 활용한 애플리케이션이 빠르게 늘어나고 있습니다. 하지만 대부분의 경우 외부 API에 의존해야 하고, 이는 비용, 지연 시간, 데이터 보안 측면에서 부담이 될 수 있습니다.

이번 글에서는 Java 환경에서 LLM을 로컬로 실행할 수 있게 해주는 추론 엔진 Jlama를 소개합니다. Jlama가 무엇인지, 어떤 방식으로 Java 프로젝트에 통합되는지, 그리고 실제로 모델을 다운로드해 프롬프트를 실행하는 방법까지 단계별로 살펴봅니다.

반응형

---

Jlama란 무엇인가

Jlama는 Inference Engine(추론 엔진) 입니다. 즉, 이미 학습된 AI 모델을 불러와 결과를 생성하는 역할만 수행하며, 모델을 직접 학습시키지는 않습니다.

핵심적인 특징은 다음과 같습니다.

• 사전 학습된 대규모 언어 모델(LLM) 을 로컬 머신에서 실행
• 외부 API 호출 없이 Java 애플리케이션 내부에서 직접 사용 가능
• Java 기반 프로젝트에서 AI 기능을 상대적으로 간단하게 통합 가능

정리하면, Jlama는 Java 개발자가 로컬 환경에서 LLM을 실행할 수 있도록 해주는 도구라고 볼 수 있습니다.

---

Jlama의 구성 방식과 활용 시나리오

Jlama는 사용 목적에 따라 여러 모듈을 제공합니다.

1. jlama-cli

• CLI 기반 도구
• 빠른 실험이나 인터랙티브 테스트에 적합

2. jlama-net

• HTTP 통합이 필요한 애플리케이션용
• OpenAI 호환 엔드포인트를 제공하는 REST API 서비스 형태로 배포 가능

3. jlama-native

• Java 코드 내부에 직접 추론 기능을 임베드
• Maven 기반 프로젝트에서 가장 일반적인 사용 방식

이번 글에서는 Maven 프로젝트에 jlama-native를 직접 통합하는 방식을 기준으로 설명합니다.

---

Maven 프로젝트에 Jlama 통합하기

1. 의존성 추가

Jlama를 사용하기 위해 pom.xml에 아래 두 가지 의존성을 추가합니다.

<dependency>
    <groupId>com.github.tjake</groupId>
    <artifactId>jlama-native</artifactId>
    <!-- supports linux-x86_64, macos-x86_64/aarch_64, windows-x86_64 -->
    <classifier>${jlama-native.classifier}</classifier>
    <version>0.8.4</version>
</dependency>

<dependency>
    <groupId>com.github.tjake</groupId>
    <artifactId>jlama-core</artifactId>
    <version>0.8.4</version>
</dependency>

• jlama-native: 실제 추론 엔진 실행을 담당
• jlama-core: Java API를 통해 Jlama와 상호작용할 수 있도록 지원

---

2. JVM 옵션 설정

Jlama는 Java 21의 Preview 기능, 특히 Vector API를 활용합니다.
이를 사용하기 위해 JVM 옵션을 반드시 활성화해야 합니다.

set JDK_JAVA_OPTIONS=--add-modules jdk.incubator.vector --enable-preview

이 설정을 통해 고성능 연산에 대한 최신 최적화를 활용할 수 있습니다.

---

Jlama로 프롬프트 실행하기

1. 모델 다운로드 및 로드

Jlama는 Hugging Face에 등록된 모델을 자동으로 다운로드하거나, 로컬에 이미 존재하는 모델을 로드할 수 있습니다.

아래 예제는 Hugging Face에서 모델을 내려받아 로드하는 코드입니다.

static AbstractModel loadModel(String workingDir, String model) throws IOException {
    File localModelPath = new Downloader(workingDir, model)
        .huggingFaceModel();

    return ModelSupport.loadModel(localModelPath, DType.F32, DType.I8);
}

여기서 눈여겨볼 부분은 데이터 타입 설정입니다.

• DType.F32: 32비트 부동소수점 연산 (정확도 중심)
• DType.I8: 8비트 정수 기반 저장 (메모리 효율 중심)

---

2. 프롬프트 실행 예제

모델을 로드한 후, 프롬프트를 전달해 텍스트를 생성할 수 있습니다.
Jlama는 Builder 패턴을 사용해 생성 옵션을 직관적으로 설정할 수 있습니다.

public static void main(String[] args) throws IOException {

    // available models: https://huggingface.co/tjake
    AbstractModel model = loadModel("./models", "tjake/Llama-3.2-1B-Instruct-JQ4");

    PromptContext prompt = PromptContext.of("Why are llamas so cute?");

    Generator.Response response = model.generateBuilder()
        .session(UUID.randomUUID())
        .promptContext(prompt)
        .ntokens(256)
        .temperature(0.3f)
        .generate();

    System.out.println(response.responseText);
}

주요 설정 값은 다음과 같습니다.

• session: 여러 프롬프트 간 맥락을 유지하기 위한 세션 ID
• ntokens: 생성할 최대 토큰 수
• temperature: 응답의 창의성 조절 (낮을수록 안정적인 결과)

이 코드만으로 모델 다운로드 → 로컬 추론 → 응답 출력까지 모두 실행됩니다.

---

이번 글에서는 Jlama를 활용해 Java 환경에서 LLM을 로컬로 실행하는 방법을 살펴봤습니다.

핵심 내용을 정리하면 다음과 같습니다.

• Jlama는 학습이 아닌 추론에 특화된 엔진
• 외부 API 없이 로컬 머신에서 LLM 실행 가능
• Maven 기반 Java 프로젝트에 비교적 간단히 통합
• Hugging Face 모델을 바로 활용 가능
• 프롬프트, 토큰 수, 온도 등 세부 제어 지원

이를 기반으로 다양한 모델과 프롬프트 설정을 실험하며, Java 애플리케이션에 AI 기능을 직접 내장하는 것이 가능합니다.
특히 외부 의존성을 줄이고 싶은 환경이나, 로컬 추론이 필요한 프로젝트에서 Jlama는 충분히 검토해볼 만한 선택지라고 할 수 있습니다.

300x250

https://www.baeldung.com/java-jlama-llm?fbclid=IwY2xjawPRzjNleHRuA2FlbQIxMQBzcnRjBmFwcF9pZBAyMjIwMzkxNzg4MjAwODkyAAEeDSfG5neCqzLxDSAdE4_p0iRxIKUz8l2_JbBo1lIqvCpfeU7QExeBRBUoCkQ_aem_dbKQwLmHtnnslc4v5XqIXg