에이전틱 테스팅: 목표 중심 E2E 테스트가 기존 방식에 던지는 질문

이 글은 Slack 엔지니어링팀이 실제로 수행한 실험을 바탕으로, 에이전트 기반 E2E(End-to-End) 테스트, 즉 에이전틱 테스팅이 무엇인지, 기존의 결정론적 테스트와 무엇이 다른지, 그리고 어디에 가장 효과적으로 쓰일 수 있는지를 정리한 글입니다.
전통적인 E2E 테스트가 정해진 UI 경로를 그대로 따라가는 방식이라면, 에이전틱 테스팅은 “목표를 달성했는가”를 기준으로 테스트를 수행합니다. 이 차이가 테스트의 신뢰성, 비용, 실행 시간, 그리고 활용 방식에 어떤 변화를 만드는지 하나씩 살펴봅니다.

반응형

---

에이전틱 테스팅이 등장한 배경

전통적 E2E 테스트의 한계

기존 E2E 테스트는 보통 다음과 같은 흐름을 가집니다.

• 특정 버튼 클릭
• 입력값 타이핑
• 화면 전환 확인
• 결과 단언(assert)

이 방식은 UI 여정(journey) 을 강하게 고정합니다.
UI가 조금만 바뀌어도 테스트가 깨지기 쉽고, 실제 사용자가 항상 동일한 경로로 행동하지 않는다는 점을 반영하기 어렵습니다.

목표로 전환된 테스트 관점

에이전틱 테스팅은 접근 방식이 다릅니다.

• “스레드에 메시지를 성공적으로 답글로 보낼 수 있는가?”
• “검색 결과에서 원하는 메시지를 찾을 수 있는가?”

이처럼 목표(goal) 를 먼저 정의하고, 에이전트가 UI를 관찰하며 그 목표에 도달할 수 있는 경로를 스스로 선택합니다.
핵심 차이는 한 문장으로 정리됩니다.

테스트는 여정을 강제하고, 에이전트는 목표를 검증한다.

---

Slack 엔지니어링팀의 실험 개요

이번 실험은 Slack 엔지니어링팀이 에이전틱 테스팅의 실효성을 검증하기 위해 진행했습니다.

실험 목적

• 에이전트 기반 E2E 테스트가 실제로 신뢰할 수 있는가
• 실행 속도와 비용은 어느 정도인가
• 기존 결정론적 테스트를 대체할 수 있는가, 아니면 보완재인가

실험 규모와 방식

• 총 200건 이상의 자동 실행
• 두 가지 난이도의 워크플로
  • Thread Reply: 비교적 단순한 플로
  • Search Discovery: 중간 복잡도의 플로
• 세 가지 실행 모델 비교
  • Agent + Playwright MCP
  • Agent + Playwright CLI
  • AI가 생성한 결정론적 Playwright 테스트

---

실험에서 사용한 실행 모델

1. Agent + Playwright MCP

• 에이전트가 브라우저와 직접 상호작용
• 클릭, 입력, DOM 상태 읽기 등을 구조화된 방식으로 수행
• DOM 스냅샷과 로그를 지속적으로 유지

이 방식은 실행 환경과 에이전트가 밀접하게 통합돼 있다는 점이 특징입니다.

2. Agent + Playwright CLI

• 셸 명령으로 Playwright를 한 단계씩 실행
• 각 단계마다 UI 상태를 다시 읽고 다음 행동 결정

중간 계층이 하나 더 생기면서, 인증이나 세션 문제 같은 실행 계층 이슈가 더 자주 발생했습니다.

3. Generated Playwright Tests

• 자연어 설명을 기반으로 AI가 결정론적 테스트 코드를 생성
• 테스트를 실행하고 실패하면 수정 반복

기존 E2E 테스트에 가장 가까운 방식이지만, 복잡도가 높아질수록 한계를 드러냈습니다.

---

관찰 결과: 신뢰성, 속도, 비용

신뢰성

• Playwright MCP
  • 단순 플로: 실패율 0%
  • 복잡 플로: 약 12%
• Playwright CLI
  • 단순 플로: 약 12%
  • 복잡 플로: 약 20%
• 생성된 결정론적 테스트
  • 단순 플로: 약 8%
  • 복잡 플로: 약 48%

플로가 복잡해질수록 에이전트 네이티브 실행 모델(MCP) 이 가장 안정적이었습니다.
CLI 방식의 실패는 대부분 모델 추론이 아니라 로그인, 내비게이션, 세션 불안정 같은 실행 환경 문제에서 발생했습니다.

속도

• 생성된 테스트: 평균 약 3분
• MCP 에이전트: 약 5–8분
• CLI 에이전트: 약 9–11분

결정론적 테스트는 반복 실행이 빠르지만, 에이전트 테스트는 매번 UI 관찰과 추론을 수행해야 하므로 시간이 더 걸립니다.

비용

• 에이전트 실행 비용: 회당 약 $15–30
• 비용의 대부분은 모델 출력이 아니라 컨텍스트 재전송
  • DOM 스냅샷
  • 이전 대화 이력
  • 오류 로그

즉, “무엇을 하느냐”보다 “어떻게 실행하느냐”가 비용을 좌우했습니다.

---

728x90

실험에서 가장 흥미로운 결과는 동일한 목표에 도달하는 경로가 대부분 달랐다는 점입니다.

• 검색 추천을 클릭하기도 하고 Enter 키를 사용하기도 함
• 메뉴를 여는 순서가 달라짐
• 중간 단계가 추가되거나 생략됨

전통적인 E2E 테스트에서는 실패로 처리될 상황이, 에이전틱 테스팅에서는 정상적인 성공 경로로 인정됩니다.
이 적응성은 실제 사용자 행동에 훨씬 가깝습니다.

 

---

테스트 피라미드에서의 위치

Slack 엔지니어링팀의 결론은 명확합니다.

• 에이전틱 테스팅은 기존 테스트를 대체하지 않는다
• 대신 테스트 피라미드 최상단에 새로운 계층으로 추가된다

역할 정리

• 결정론적 E2E 테스트
  • CI에서 빠르고 반복 가능한 회귀 테스트
  • 비용이 낮고 안정적
• 에이전틱 테스팅
  • 복잡한 UI 동작 탐색
  • flaky 테스트 디버깅
  • 프로덕션 버그 재현

둘을 함께 사용하는 것이 가장 현실적인 전략입니다.

---

에이전틱 테스팅은 “테스트를 더 싸고 빠르게 만들자”는 해법이 아닙니다.
대신, 기존 방식으로는 검증하기 어려운 영역을 다루기 위한 도구입니다.

• 비용과 실행 시간은 분명히 부담
• 하지만 복잡한 사용자 행동을 목표 중심으로 검증할 수 있음
• 특히 디버깅과 탐색적 테스트에서 강력한 가치를 가짐

앞으로 모델과 실행 인프라가 개선된다면, 에이전틱 테스팅의 활용 범위는 더 넓어질 가능성이 큽니다.
지금 시점에서의 가장 현실적인 접근은, 결정론적 테스트 위에 에이전틱 테스팅을 얹는 전략입니다.

300x250

https://slack.engineering/agentic-testing-where-agents-fit-in-the-e2e-testing-stack/