본문 바로가기

인공지능

SKT A.X K2 공개, 국내 최대 6,880억 매개변수 오픈 LLM의 특징과 성능 분석

728x90
반응형
728x170

AI 모델 규모와 성능을 한 단계 끌어올린 SKT A.X K2

SK텔레콤이 자체 개발한 대규모 언어모델(LLM) A.X K2(A.닷엑스 K2)를 오픈 공개했습니다. 이번 공개는 단순히 새로운 AI 모델을 선보인 것이 아니라, 국내 최대 규모인 6,880억(688B) 매개변수를 갖춘 오픈웨이트(Open Weight) 모델을 누구나 활용할 수 있도록 공개했다는 점에서 의미가 있습니다.

A.X K2는 전문가 혼합(MoE) 구조를 기반으로 모델의 규모를 크게 확장하면서도 추론 효율을 유지했으며, 긴 문맥 처리 성능과 한국어 및 수학·과학 추론 능력을 크게 향상시켰습니다. 또한 비전(Vision), 음성(Speech) 등 다양한 산업 환경에서 활용할 수 있는 파생 모델도 함께 공개하며 AI 생태계 확장을 목표로 하고 있습니다.

이번 글에서는 A.X K2의 주요 특징과 기술적 변화, 성능 향상 요소, 활용 분야를 중심으로 살펴보겠습니다.

반응형

SKT A.X K2란?

A.X K2는 SK텔레콤이 허깅페이스(Hugging Face)를 통해 공개한 오픈웨이트(Open Weight) 기반의 대규모 언어모델입니다.

Apache 2.0 라이선스를 적용해 누구나 다운로드하여 자유롭게 사용할 수 있으며, 연구와 서비스 개발 등 다양한 목적으로 활용할 수 있습니다.

이번 공개 라인업은 다음과 같습니다.

  • A.X K2 (688B)
  • A.X K2 VL Light-Preview (21B)
  • A.X K2 ALM (22B)
  • A.X K2 Raon-Speech

메인 모델뿐 아니라 이미지와 음성까지 지원하는 다양한 파생 모델을 함께 제공하여 산업별 활용 범위를 넓혔습니다.


국내 최대 규모 6,880억 매개변수

A.X K2의 가장 큰 특징은 모델 규모입니다.

이전 모델인 A.X K1(5,190억 매개변수)보다 더욱 확장된 6,880억 개의 매개변수(Parameter)를 갖추면서 국내 공개 모델 가운데 가장 큰 규모를 기록했습니다.

이는 독자 파운데이션 모델 프로젝트에 참여 중인 다른 국내 모델들과 비교해도 큰 차이를 보입니다.

모델 매개변수 규모
A.X K2 688B
A.X K1 519B
솔라 오픈2 250B
모티프 3 314B
K-엑사원 236B

SK텔레콤은 여기에서 그치지 않고, 후속 모델은 조(Trillion) 단위 매개변수까지 확장해 글로벌 경쟁력을 확보한다는 계획을 밝혔습니다.


전문가 혼합(MoE) 구조 적용

A.X K2는 MoE(Mixture of Experts) 구조를 채택했습니다.

이번 모델에서는

  • 전문가(Expert) 256개 구성
  • 추론 시 8개 전문가만 활성화

하는 방식을 사용합니다.

기존 K1은 전문가 수가 192개였지만, K2에서는 선택 가능한 전문가를 더욱 늘려 다양한 문제에 대응할 수 있도록 개선했습니다.

반면 실제 계산에 사용되는 활성 매개변수는 33B로 유지해 모델이 커졌더라도 추론 효율은 유지하도록 설계되었습니다.


긴 문맥 이해 능력 강화

A.X K2는 최대 256,000 토큰(Context Window)을 지원합니다.

이는 이전 모델보다 약 2배 증가한 수준으로,

  • 긴 보고서
  • 논문
  • 계약서
  • 기술 문서

등을 한 번에 처리할 수 있는 범위를 더욱 확대했습니다.

글로벌 최상위 모델들의 100만 토큰 수준에는 미치지 않지만, 이전 세대 대비 장문 처리 능력이 크게 향상된 것이 특징입니다.


Sparse Gated Attention으로 성능 향상

SK텔레콤은 성능 향상의 핵심 기술로 Sparse Gated Attention 구조를 소개했습니다.

이 구조는 긴 문서를 처리할 때 모든 정보를 동일하게 참조하지 않고,

관련성이 높은 정보만 선택적으로 집중하여 처리하는 방식입니다.

이를 통해

  • 장문 이해 성능 향상
  • 추론 정확도 개선
  • 운영 효율 향상

등을 목표로 설계되었습니다.

또한 SK텔레콤은 성능 향상이 단순히 학습 데이터의 양이 아닌,

  • 모델 아키텍처
  • 모델 구성
  • 학습 방식

등의 개선을 통해 이루어졌다고 설명했습니다.


다양한 산업을 위한 파생 모델

A.X K2는 텍스트 모델뿐 아니라 다양한 형태의 AI 모델도 함께 공개했습니다.

A.X K2 VL Light-Preview

비전 언어(Vision Language) 모델입니다.

이미지와 텍스트를 동시에 이해할 수 있으며,

활용 예시는 다음과 같습니다.

  • 영수증 인식
  • 논문 분석
  • 이미지 형태 계약서 분석
  • 법률 문서 리스크 분석
  • 산업용 배관 이미지 해석
  • 현장 매뉴얼 분석

활용 예시

예를 들어 기업에서 스캔된 계약서를 입력하면,

  1. 문서를 인식하고
  2. 주요 내용을 분석하며
  3. 위험 요소를 검토하는 형태로 활용할 수 있습니다.

A.X K2 ALM

고객센터 음성 상담 활용을 검토 중인 모델입니다.

음성 기반 상담 업무의 자동화와 응답 품질 향상을 목표로 개발되었습니다.


A.X K2 Raon-Speech

오디오 인코더·디코더 기반 음성 모델입니다.

컨소시엄 참여사인 크래프톤이 개발했습니다.


이전 모델 대비 크게 향상된 성능

SK텔레콤에 따르면 A.X K2는 K1 대비 국내외 14개 벤치마크 평균 성능이 32.2%p 향상됐습니다.

주요 결과는 다음과 같습니다.

평가 항목 향상 결과
장문 이해(AA-LCR) +40점
고난도 수학(Apex) +44점
과학·전문지식(HLE) +20점
한국어 추론(KoBALT) +22점
과학 코딩(SciCode) +17점

특히

  • 한국어 추론
  • 장문 이해
  • 수학 문제 해결

분야에서 큰 향상을 보였습니다.

또한 최근 공개된 해외 오픈소스 모델들과도 유사한 수준의 벤치마크 결과를 보였다고 밝혔습니다.

다만 기사에서는 각 모델의 테스트 조건이 동일하지 않아 직접적인 성능 비교는 어렵다고 설명하고 있습니다.


제조부터 고객센터까지 산업 현장으로 확대

SK텔레콤은 A.X K2를 다양한 산업 분야에 적용할 계획입니다.

모델 공개 전 총 4차례의 사후 학습(Post Training)을 진행해 응답 품질과 안정성, 운영 효율을 점검했으며, 다음과 같은 분야에서 활용 사례를 발굴하고 있습니다.

  • 제조
  • 국방
  • 바이오
  • 고객센터
  • AI 서비스

기사에서는 KG스틸 당진공장, SK하이닉스, 에이닷 서비스 등을 적용 사례로 소개했습니다.


728x90

A.X K2는 국내 최대 규모인 6,880억 매개변수를 갖춘 오픈웨이트 대규모 언어모델로, 모델 규모뿐 아니라 장문 이해, 한국어 추론, 수학·과학 성능 등 다양한 영역에서 이전 세대 대비 성능 향상을 목표로 개발되었습니다.

특히 MoE 구조와 Sparse Gated Attention을 적용해 대형 모델의 효율성과 정확도를 함께 높였으며, 이미지와 음성을 처리하는 파생 모델까지 함께 공개해 다양한 산업 현장에서의 활용 가능성을 넓혔습니다.

또한 Apache 2.0 라이선스를 통해 누구나 사용할 수 있도록 공개한 점은 국내 AI 생태계 확산에도 의미 있는 행보로 볼 수 있습니다. 향후 SK텔레콤이 계획한 조 단위 매개변수 모델 개발과 산업 적용 확대가 실제 경쟁력으로 이어질지 지속적인 관심이 필요한 부분입니다.

300x250

https://huggingface.co/skt/A.X-K2?fbclid=IwY2xjawTWd2ZleHRuA2FlbQIxMABicmlkETFPd1oxZGJrcFlNWHZWS1RYc3J0YwZhcHBfaWQQMjIyMDM5MTc4ODIwMDg5MgABHqHkY0UF3_H-Pa-SFbewW6j9ogFTM8Y4WdrOBfuIrD1nGzuanCXJRd0ujKUY_aem_U2BgChVpjm1C-GdWC9VQPw

 

skt/A.X-K2 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

728x90
반응형
그리드형