AI 에이전트가 단순히 질문에 답하는 수준을 넘어 실제 컴퓨터와 모바일 기기를 직접 조작하며 복잡한 업무를 수행하는 방향으로 발전하고 있습니다. 특히 여러 애플리케이션을 오가거나 화면을 확인하고 명령을 실행하는 작업에서는 단순한 텍스트 생성 능력만으로는 충분하지 않습니다.
Qwen-UI-Agent는 이러한 실사용 환경을 목표로 설계된 차세대 Foundation GUI 에이전트입니다. 모바일, 컴퓨터, 웹, DeepSearch 등 다양한 환경에서 GUI와 CLI를 통합해 사용할 수 있으며, 실제 기기에서 복잡한 작업을 자율적으로 수행하도록 설계됐습니다.
여기에 자동화된 Data Flywheel과 VLM 기반 평가, SFT와 강화학습을 결합한 학습 체계, Proactive Service와 Cross-platform Execution을 지원하는 Harness 계층을 더해 실제 환경에서의 적응력과 작업 수행 능력을 높였습니다.
이번 글에서는 Qwen-UI-Agent가 어떤 구조로 동작하는지, GUI와 CLI를 왜 함께 사용하는지, 데이터를 어떻게 학습에 활용하는지, 그리고 실제 모바일과 컴퓨터 환경에서 어떤 성능을 기록했는지 살펴보겠습니다.
Qwen-UI-Agent란 무엇인가
Qwen-UI-Agent는 모바일, 컴퓨터, 웹, DeepSearch 환경에서 사람이 직접 수행하던 복잡한 디지털 작업을 자율적으로 처리하도록 설계된 실세계 중심 GUI 에이전트입니다.
일반적인 GUI 자동화는 정해진 화면에서 특정 버튼을 클릭하거나 입력하는 방식에 가까웠습니다. 반면 Qwen-UI-Agent는 실제 환경에서 발생하는 다양한 상황을 고려해 GUI 조작뿐 아니라 CLI와 API 호출까지 하나의 행동 공간에서 활용합니다.
예를 들어 화면에서 특정 메뉴를 클릭하고 데이터를 입력하는 작업이 필요하다면 GUI 기능을 사용할 수 있습니다. 반대로 프로그램 실행이나 명령어 처리가 더 적합한 작업에서는 CLI를 활용할 수 있습니다. 구조화된 서비스에 접근해야 하는 경우에는 API 호출도 사용할 수 있습니다.
즉, 하나의 방식에 의존하는 것이 아니라 작업에 따라 적절한 방법을 선택할 수 있도록 구성한 것이 핵심입니다.
GUI와 CLI를 하나의 행동 공간으로 통합
Qwen-UI-Agent의 주요 특징 가운데 하나는 GUI와 CLI를 결합한 하이브리드 행동 공간입니다.
GUI 환경에서는 클릭, 입력, 스크롤과 같은 행동을 수행할 수 있고, CLI 환경에서는 Bash 명령을 실행할 수 있습니다. 여기에 API 호출을 통한 구조화된 서비스 접근까지 결합됩니다.
이러한 구조는 실제 업무 환경에서 중요한 의미를 갖습니다.
사용자가 컴퓨터에서 작업할 때 모든 일을 마우스로 처리하지 않는 것처럼 AI 에이전트도 GUI만 사용하는 것이 항상 효율적인 것은 아닙니다. 화면을 직접 조작하는 것이 적합한 작업이 있는 반면, 명령어를 이용하는 것이 더 효율적인 작업도 있기 때문입니다.
Qwen-UI-Agent는 이러한 차이를 고려해 GUI와 CLI를 함께 사용할 수 있도록 설계됐습니다.
여러 행동을 묶어 작업 효율을 높이는 Batched Action
Qwen-UI-Agent에는 여러 행동을 하나의 추론 단계에서 연속적으로 수행하는 Batched Action 방식도 적용됐습니다.
기존 방식처럼 한 번 행동하고 다시 화면을 확인한 뒤 다음 행동을 결정하는 과정을 반복하면 작업 단계가 길어질 수 있습니다.
반면 여러 행동을 묶어서 처리하면 불필요한 관찰 단계를 줄일 수 있습니다.
예를 들어 특정 화면에서 메뉴를 선택하고 필요한 항목을 입력한 뒤 다음 단계로 이동하는 과정이 있다면, 각각의 행동을 지나치게 잘게 나누기보다 연속적인 작업으로 처리할 수 있습니다.
결과적으로 복잡한 작업을 수행하는 데 필요한 단계를 줄이고 전체 작업 경로를 효율적으로 만드는 데 도움이 됩니다.
자동화된 Data Flywheel로 학습과 평가를 반복
실제 환경에서 AI 에이전트가 안정적으로 작업하려면 단순히 많은 데이터를 학습하는 것만으로는 부족합니다.
어떤 행동이 성공했는지, 어느 단계에서 문제가 발생했는지, 실패 이후 어떻게 복구했는지 등을 지속적으로 분석하고 다시 학습에 반영해야 합니다.
Qwen-UI-Agent는 이러한 과정을 자동화하는 Data Flywheel 구조를 활용합니다.
데이터를 생성하고 학습한 뒤 평가하고, 오류를 분석한 다음 다시 학습 데이터와 모델 개선에 활용하는 순환 구조입니다.
이 과정에서 중요한 역할을 하는 것이 Step-level VLM-as-Judge입니다.
단계별 행동을 평가하는 VLM-as-Judge
VLM은 화면과 언어를 함께 이해할 수 있는 Vision-Language Model입니다.
Qwen-UI-Agent는 이를 활용해 에이전트의 전체 작업이 성공했는지만 평가하는 것이 아니라 작업 과정의 각 단계를 분석합니다.
이를 통해 다음과 같은 정보를 얻을 수 있습니다.
- 어떤 중간 단계까지 올바르게 수행했는지
- 어느 단계에서 잘못된 행동이 발생했는지
- 실패 이후 어떤 구간에서 오류를 복구했는지
- 어떤 행동을 학습 데이터로 활용할 수 있는지
특히 연속적으로 올바르게 수행된 단계와 오류 복구 구간을 구분할 수 있다는 점이 중요합니다.
이렇게 만들어진 정밀한 학습 신호는 SFT를 위한 데이터로 활용될 수 있습니다.
결국 에이전트가 단순히 성공과 실패만 반복해서 경험하는 것이 아니라, 작업 과정에서 무엇을 잘했고 무엇을 개선해야 하는지를 보다 세밀하게 학습할 수 있는 구조입니다.
SFT와 강화학습을 결합한 통합 학습 체계
Qwen-UI-Agent는 하나의 학습 방식에만 의존하지 않고 SFT와 Action RL, Online RL을 결합한 학습 프레임워크를 사용합니다.
SFT로 도메인별 전문성을 통합
먼저 도메인별 전문가 모델을 학습한 뒤 이를 통합하는 방식으로 SFT를 진행합니다.
여기서 특정 작업에 대한 전문성만 높이는 데 그치지 않고 일반적인 에이전트 추론 능력을 유지할 수 있도록 일반 에이전트 데이터를 일부 함께 활용합니다.
이를 통해 특정 환경에 특화된 능력과 범용적인 작업 수행 능력을 함께 확보하는 방향으로 학습이 이뤄집니다.
Action RL로 반복적인 행동 오류 개선
실제 GUI 작업에서는 화면에서 정확한 위치를 찾지 못하거나 동일한 행동을 반복하는 등 다양한 문제가 발생할 수 있습니다.
Qwen-UI-Agent는 Action RL을 활용해 이러한 반복적인 행동 오류를 개선합니다.
대표적으로 다음과 같은 문제를 대상으로 합니다.
- GUI 요소를 정확하게 찾지 못하는 Grounding 실패
- 같은 행동을 반복하는 루프 발생
- 잘못된 행동을 선택하는 문제
즉, 단순히 최종 결과만 보는 것이 아니라 작업 과정에서 발생하는 행동 자체를 개선하는 데 초점을 맞춥니다.
Online RL로 장시간 작업에 대응
실제 업무는 짧은 명령 하나로 끝나지 않는 경우가 많습니다.
여러 화면을 이동하고, 정보를 확인하고, 데이터를 처리한 뒤 결과물을 만드는 등 수많은 단계를 거칠 수 있습니다.
Qwen-UI-Agent는 이러한 장기 작업을 위해 Online RL을 적용했습니다. 특히 100단계 이상의 장기 작업에서도 환경에서 얻은 보상을 활용해 에이전트의 정책을 최적화하는 방향으로 학습합니다.
이러한 접근은 짧은 단일 작업보다 긴 작업 흐름을 안정적으로 수행하는 능력을 높이는 데 초점을 맞춥니다.
Harness 계층으로 실제 사용자 중심 작업을 지원
Qwen-UI-Agent의 또 다른 특징은 모델 자체의 작업 수행 능력뿐 아니라 실제 사용 환경을 지원하는 Harness 계층입니다.
이 계층에서는 Proactive Service와 Cross-platform Execution이 중요한 역할을 합니다.
사용자가 지시하기 전에 대응하는 Proactive Service
일반적인 AI 에이전트는 사용자가 명령을 내리면 작업을 수행합니다.
하지만 실제 생활에서 필요한 모든 일을 사용자가 매번 직접 지시하는 것은 아닙니다.
Qwen-UI-Agent의 Proactive Service는 모바일 알림을 트리거로 활용하고, 지속적으로 관심을 가져야 하는 사항인 Affair 상태를 관리합니다.
이벤트가 발생하면 관련 정보를 구조화하고 해결책을 사전에 준비하는 방식으로 사용자 중심의 작업 수행을 지원합니다.
이는 AI 에이전트가 단순히 사용자의 명령에 반응하는 것을 넘어 지속적인 업무 흐름을 관리하는 방향으로 확장될 수 있음을 보여줍니다.
모바일과 컴퓨터를 연결하는 Cross-platform Execution
현실의 디지털 업무는 하나의 기기에서만 끝나지 않는 경우가 많습니다.
모바일에서 정보를 확인한 다음 컴퓨터에서 해당 정보를 처리하고 결과물을 만들어야 할 수도 있습니다.
Qwen-UI-Agent는 하드웨어 및 소프트웨어 계층을 통해 모바일과 컴퓨터 사이에서 상태를 공유하고 이러한 복합적인 워크플로우를 수행할 수 있도록 설계됐습니다.
예를 들어 모바일에서 데이터를 확보한 뒤 컴퓨터에서 해당 데이터를 처리하고 결과물을 만드는 형태의 작업이 가능합니다.
핵심은 각각의 기기를 독립적으로 사용하는 것이 아니라 여러 환경을 하나의 작업 흐름으로 연결한다는 데 있습니다.
실제 환경에서 확인된 Qwen-UI-Agent의 성능
Qwen-UI-Agent의 특징은 기술 구조에만 있는 것이 아닙니다. 실제 모바일과 컴퓨터 환경을 대상으로 한 벤치마크에서도 높은 성능을 기록했습니다.
MobileWorld-Real에서 92.2% 성공률 기록
실제 모바일 기기 환경을 평가하는 MobileWorld-Real에서 Qwen-UI-Agent는 92.2%의 성공률을 기록했습니다.
제공된 결과에 따르면 Gemini 3.1 Pro와 Claude Opus 4.8을 상회하는 성능입니다.
이는 단순한 가상 환경이 아니라 실제 모바일 기기를 대상으로 복잡한 작업을 수행하는 환경에서도 높은 작업 성공률을 보여줬다는 점에서 의미가 있습니다.
OSWorld-Verified에서 79.5% 성공률 기록
컴퓨터 사용 환경을 평가하는 OSWorld-Verified에서는 79.5%의 성공률을 기록했습니다.
이를 통해 Qwen-UI-Agent가 실제 컴퓨터 운영 환경에서도 정교한 OS 제어 능력을 보여줬다는 점을 확인할 수 있습니다.
특히 GUI와 CLI를 함께 활용하는 구조와 Batched Action을 통해 복잡한 작업을 보다 적은 단계로 수행할 수 있다는 점이 중요한 특징입니다.
Qwen-UI-Agent가 기존 GUI 에이전트와 다른 점
Qwen-UI-Agent를 이해할 때 중요한 부분은 단순히 화면을 보고 버튼을 클릭하는 자동화 도구로 바라보지 않는 것입니다.
핵심 차이는 크게 세 가지로 정리할 수 있습니다.
첫째, GUI와 CLI를 함께 활용합니다.
화면 조작만으로 모든 작업을 처리하는 것이 아니라 CLI 명령과 API 호출까지 함께 활용합니다. 이를 통해 작업에 적합한 행동 방식을 사용할 수 있습니다.
둘째, 작업 과정 자체를 지속적으로 개선합니다.
Data Flywheel과 VLM 기반 단계별 평가를 통해 성공한 행동과 실패한 행동을 분석하고 이를 학습에 다시 활용합니다.
셋째, 실제 환경에서 장시간 작업을 수행하는 것을 목표로 합니다.
100단계 이상의 장기 작업을 대상으로 Online RL을 적용하고, 모바일과 컴퓨터를 넘나드는 Cross-platform Execution까지 지원합니다.
따라서 Qwen-UI-Agent의 방향은 단순 GUI 자동화보다는 실제 디지털 환경에서 다양한 도구와 기기를 활용해 하나의 업무를 끝까지 수행하는 범용 에이전트에 가깝다고 볼 수 있습니다.
Qwen-UI-Agent의 핵심 특징 정리
Qwen-UI-Agent의 기술적 특징을 정리하면 다음과 같습니다.
| 구분 | 주요 특징 |
| 지원 환경 | 모바일, 컴퓨터, 웹, DeepSearch |
| 행동 공간 | GUI, CLI, API 호출을 통합 |
| 작업 방식 | 여러 행동을 묶는 Batched Action |
| 데이터 학습 | 자동화된 Data Flywheel |
| 평가 방식 | Step-level VLM-as-Judge |
| 학습 방식 | SFT, Action RL, Online RL |
| 장기 작업 | 100단계 이상의 작업 최적화 |
| 사용자 지원 | Proactive Service |
| 기기 연동 | Cross-platform Execution |
| 모바일 성능 | MobileWorld-Real 92.2% 성공률 |
| 컴퓨터 성능 | OSWorld-Verified 79.5% 성공률 |
Qwen-UI-Agent는 GUI를 인식하고 클릭하는 단순한 자동화 기술에서 한 단계 더 나아가, 실제 디지털 환경에서 복잡한 작업을 자율적으로 수행하는 것을 목표로 하는 GUI 에이전트 시스템입니다.
GUI와 CLI, API 호출을 통합한 행동 공간을 기반으로 다양한 방식의 작업 수행이 가능하며, Batched Action을 통해 불필요한 단계를 줄입니다.
또한 자동화된 Data Flywheel과 Step-level VLM-as-Judge를 통해 작업 과정에서 발생하는 성공과 실패를 분석하고, SFT와 Action RL, Online RL을 결합해 에이전트의 작업 수행 능력을 지속적으로 개선합니다.
여기에 Proactive Service와 Cross-platform Execution을 지원하는 Harness 계층을 더해 사용자의 명령에 반응하는 것을 넘어 모바일과 컴퓨터를 연결한 복합적인 작업까지 수행할 수 있도록 설계했습니다.
실제 성능에서도 MobileWorld-Real 92.2%, OSWorld-Verified 79.5%의 성공률을 기록하며 실세계 환경에서의 범용 에이전트 역량을 보여줬습니다.
결국 Qwen-UI-Agent가 보여주는 중요한 방향은 AI가 정보를 알려주는 도구를 넘어 실제 디지털 환경에서 사용자를 대신해 업무를 수행하는 에이전트로 발전하고 있다는 점입니다.
특히 모바일과 컴퓨터, GUI와 CLI, 단기 작업과 장기 작업을 하나의 워크플로우로 연결한다는 점에서 의미가 있습니다.
앞으로 AI 에이전트의 경쟁력은 단순히 얼마나 정확하게 답변하는가에만 머물지 않을 가능성이 높습니다. 실제 환경을 얼마나 잘 이해하고, 필요한 도구를 선택하며, 여러 단계를 거쳐 사용자가 원하는 결과까지 완성할 수 있는지가 더욱 중요해질 수 있습니다.
Qwen-UI-Agent는 이러한 실세계 중심 AI 에이전트의 발전 방향을 보여주는 사례라는 점에서 주목할 만합니다.
Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents
GUI agents have the potential to become a general purpose executor over existing digital devices. To advance them toward real-world use, we envision agents that operate reliably on real devices, execute workflows across platforms, combine GUI interaction w
arxiv.org
'인공지능' 카테고리의 다른 글
| Qwen3.8-Max 공개, 2.4조 파라미터로 코딩부터 장기 자율 작업까지 확장된 AI 모델 (0) | 2026.08.03 |
|---|---|
| qm, 조직 전체가 함께 사용하는 멀티플레이어 에이전트 하네스 (0) | 2026.08.03 |
| ByteDance Seedance 2.5, 최대 3분 장편 영상 제작으로 확장된 AI 영상 생성 기술 (0) | 2026.08.03 |
| Grok Imagine, 텍스트만으로 영상 생성 지원…1080p·캐릭터 일관성까지 강화 (0) | 2026.08.03 |
| MiniMax H3, 텍스트·이미지·영상·오디오를 하나로 이해하는 2K 영상 생성 모델 (0) | 2026.08.03 |
