Skill Recorder로 작업 과정을 AI 자동화로 만드는 방법

반복해서 수행하는 작업이 있다면 매번 같은 과정을 직접 실행하는 것보다 한 번의 작업을 기록하고 이후 재사용할 수 있다면 훨씬 효율적일 수 있습니다.

Skill Recorder는 이러한 방식으로 사용자의 실제 작업 과정을 기록하고, GitHub Copilot을 통해 작업의 의도와 순서를 분석한 뒤 재사용 가능한 Skill 또는 Automation으로 만드는 도구입니다.

단순히 화면을 녹화하는 데 그치지 않는다는 점이 핵심입니다. 사용자가 실제로 작업하는 과정을 기록하고, 그 결과를 AI가 분석해 다른 작업에도 활용할 수 있는 절차로 일반화합니다.

이번 글에서는 Skill Recorder가 어떤 방식으로 동작하는지부터 설치와 사용 방법, 기록되는 정보와 보안상 주의해야 할 사항, 소스 코드로 직접 실행하는 방법까지 제공된 내용을 기준으로 정리합니다.

반응형

Skill Recorder란 무엇인가

Skill Recorder는 사용자가 실제 컴퓨터에서 수행한 작업을 기록하고, 이를 AI가 재사용할 수 있는 형태로 만드는 도구입니다.

일반적인 화면 녹화 프로그램이라면 작업 과정을 영상으로 남기는 것이 주된 목적입니다. 반면 Skill Recorder는 기록한 작업을 GitHub Copilot이 분석해 작업의 전체적인 의도와 단계별 절차를 파악하는 데 초점을 둡니다.

전체 과정은 크게 다음 세 단계로 구성됩니다.

Record → Analyze → Create

먼저 사용자가 실제 작업을 수행하면서 기록합니다. 이후 Analyze를 실행하면 GitHub Copilot이 녹화된 작업을 분석해 하나의 전체적인 의도와 순서가 있는 작업 단계로 정리합니다.

마지막으로 분석 결과를 검토하고 승인하면 재사용 가능한 Skill 또는 Automation을 만들 수 있습니다.

즉, 한 번 수행한 작업을 단순한 기록으로 남기는 것이 아니라 AI가 다시 활용할 수 있는 작업 절차로 발전시키는 방식입니다.

Record, Analyze, Create로 이어지는 작업 흐름

1. Record: 실제 작업을 그대로 기록

첫 번째 단계는 사용자가 평소처럼 작업하는 것입니다.

Skill Recorder는 백그라운드에서 화면과 작업 활동을 기록합니다. 사용자는 별도의 자동화 절차를 처음부터 작성하는 대신 실제로 필요한 작업을 직접 수행하면 됩니다.

macOS에서는 처음 실행할 때 화면 기록 권한을 허용해야 합니다.

녹화 중에는 항상 위에 표시되는 작은 바를 통해 기록 및 마이크 상태를 확인할 수 있으며, 필요한 경우 마이크를 음소거하거나 다시 활성화할 수 있습니다.

작업이 끝나면 기록을 마무리합니다.

2. Analyze: AI가 작업의 의도와 단계를 분석

기록이 끝났다면 Analyze를 실행합니다.

처음 Analyze를 사용할 때 GitHub Copilot에 로그인되어 있지 않다면 Copilot 로그인을 진행할 수 있습니다.

이 단계에서 중요한 점은 Skill Recorder가 단순히 녹화 영상을 보관하는 데 그치지 않는다는 것입니다.

GitHub Copilot은 기록된 정보를 기반으로 사용자가 수행한 작업에서 전체적인 의도와 순서가 있는 단계를 재구성합니다.

예를 들어 사용자가 특정 작업을 수행하기 위해 여러 화면과 애플리케이션을 이동했다면, 이러한 과정을 단순한 화면 변화가 아니라 하나의 작업 흐름으로 정리하는 것입니다.

분석 결과는 사용자가 직접 검토하고 수정할 수 있습니다.

3. Create: 재사용 가능한 Skill 또는 Automation 생성

분석 결과가 원하는 작업을 제대로 설명하고 있다면 이를 기반으로 Skill 또는 Automation을 생성할 수 있습니다.

여기서 Skill은 특정 작업을 필요할 때 AI가 수행할 수 있도록 재사용 가능한 절차로 만드는 방식이고, Automation은 같은 절차를 일정이나 특정 트리거에 따라 실행할 수 있도록 활용하는 방식입니다.

따라서 Skill Recorder의 핵심은 다음과 같이 정리할 수 있습니다.

한 번 직접 수행한 작업 → 작업 과정 기록 → AI 분석 → 재사용 가능한 Skill 또는 Automation

이 구조를 통해 사용자가 반복적으로 수행하던 작업을 AI가 활용할 수 있는 절차로 전환할 수 있습니다.

Skill Recorder의 주요 특징

실제 작업을 기반으로 자동화할 수 있다는 점

자동화의 가장 큰 진입장벽 가운데 하나는 자동화할 작업을 처음부터 절차로 정의해야 한다는 것입니다.

Skill Recorder는 이 과정을 반대로 접근합니다.

먼저 사용자가 실제로 작업합니다. Skill Recorder가 그 작업 과정을 기록하고, 이후 GitHub Copilot이 작업의 의도와 순서를 분석합니다.

따라서 사용자가 작업을 직접 수행하면서 필요한 과정을 보여주는 것부터 시작할 수 있습니다.

AI를 활용해 작업 과정을 일반화

Skill Recorder는 한 번의 작업을 그대로 반복하는 것만을 목적으로 하지 않습니다.

분석 단계에서 Copilot이 작업을 하나의 의도와 순서가 있는 단계로 정리하고, 이후 Skill 또는 Automation을 생성할 수 있도록 합니다.

즉, 특정 화면을 그대로 따라가는 방식보다 한 번의 실제 작업에서 재사용 가능한 절차를 만드는 데 초점이 맞춰져 있습니다.

Skill과 Automation으로 확장

분석된 작업은 단순히 한 번 보고 끝나는 결과물이 아닙니다.

승인된 분석 결과를 기반으로 Skill과 Automation을 생성할 수 있습니다.

이를 통해 한 번의 기록을 이후 반복적으로 활용할 수 있는 형태로 전환할 수 있습니다.

Skill Recorder 설치 방법

Skill Recorder는 소스 릴리스 형태로 제공됩니다.

최신 릴리스에서 사용하는 플랫폼에 맞는 명령을 복사해 설치하는 방식이며, 각 릴리스는 특정 커밋을 고정해 사용합니다.

따라서 설치 과정에서 다운로드되는 스크립트와 빌드되는 소스가 지정된 릴리스 커밋에 고정됩니다.

GitHub 계정과 Copilot 접근 권한이 필요하며 Copilot CLI는 앱과 함께 제공됩니다.

macOS가 주요 대상이며 Windows 11의 x64 및 ARM64 환경도 지원합니다. Ubuntu 환경에 대한 설치 방식도 제공됩니다.

macOS 및 Ubuntu

최신 릴리스에서 <40-character-release-commit> 부분을 해당 릴리스의 실제 40자리 커밋 값으로 변경해 설치 명령을 실행합니다.

commit="<40-character-release-commit>"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" bash

터미널을 종료한 뒤에도 앱을 실행 상태로 유지하려면 SKILL_RECORDER_DETACHED=1을 추가할 수 있습니다.

commit="<40-character-release-commit>"; curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | SKILL_RECORDER_COMMIT="$commit" SKILL_RECORDER_DETACHED=1 bash

macOS에서는 ~/Applications에 Skill Recorder (Source) 앱이 추가되며 Spotlight, Launchpad 또는 Dock에서 다시 실행할 수 있습니다.

Ubuntu에서도 이에 해당하는 애플리케이션 항목이 추가됩니다.

Windows PowerShell

Windows에서는 PowerShell을 사용합니다.

$commit="<40-character-release-commit>"; $env:SKILL_RECORDER_COMMIT=$commit; irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

설치가 완료되면 바탕화면과 시작 메뉴에 Skill Recorder (Source) 바로가기가 추가됩니다.

실제 사용하는 방법

설치가 끝났다면 사용 과정은 비교적 단순합니다.

1단계. 화면 기록 권한 설정

macOS에서 처음 실행하면 화면 기록 권한을 요청합니다.

화면 기록을 허용하면 작업을 기록할 준비가 완료됩니다.

2단계. 실제 작업 수행

Skill Recorder를 실행하고 평소처럼 원하는 작업을 수행합니다.

이 과정에서 작업 전반이 기록됩니다.

필요하다면 음성 내레이션을 함께 사용할 수도 있습니다. 음성 내레이션은 선택 기능이며, Whisper를 이용해 기기에서 전사됩니다.

3단계. Analyze 실행

작업을 완료했다면 Analyze를 실행합니다.

처음 분석할 때 GitHub Copilot 로그인이 필요한 경우 로그인합니다.

그러면 Copilot이 기록된 작업을 바탕으로 전체적인 의도와 작업 순서를 분석합니다.

4단계. 분석 결과 검토

AI가 생성한 작업 분석 결과를 그대로 사용하는 것이 아니라 먼저 검토할 수 있습니다.

실제 작업과 분석 결과가 일치하는지 확인하고 필요한 부분을 수정합니다.

5단계. Skill 또는 Automation 생성

분석 결과가 원하는 작업을 충분히 설명한다고 판단되면 이를 기반으로 Skill 또는 Automation을 생성합니다.

이렇게 하면 처음 한 번 직접 수행했던 작업을 이후 AI가 활용할 수 있는 재사용 가능한 절차로 만들 수 있습니다.

Skill Recorder가 기록하는 정보

화면을 기록하는 도구인 만큼 어떤 정보가 수집되는지는 반드시 확인할 필요가 있습니다.

제공된 정보에 따르면 Skill Recorder는 다음과 같은 데이터를 기록할 수 있습니다.

활성 애플리케이션과 창 전환

사용자가 어떤 애플리케이션과 창을 이동했는지 기록합니다.

이를 통해 작업이 어떤 순서로 진행됐는지 연결할 수 있습니다.

브라우저 URL

macOS에서는 사용자가 보고 있는 페이지의 URL이 기록될 수 있습니다.

따라서 브라우저에서 작업할 때 어떤 페이지를 이용했는지도 작업 흐름을 구성하는 정보가 될 수 있습니다.

화면 기록

화면은 Chromium을 통해 기록됩니다.

다만 화면 전체가 동일한 방식으로 계속 저장되는 것이 아니라 화면이 변경되거나 일정한 heartbeat가 발생할 때 낮은 빈도의 스냅샷이 보관되는 방식으로 설명되어 있습니다.

클립보드 미리보기

복사한 텍스트의 짧은 미리보기도 작업 단계를 연결하기 위해 기록될 수 있습니다.

따라서 클립보드에 어떤 내용이 들어가는지도 기록 과정에서 주의해야 합니다.

선택적 음성 내레이션

음성 내레이션은 선택 기능입니다.

사용자가 작업 과정에 대한 설명을 말하면 해당 음성이 기기에서 전사됩니다.

제공된 정보에 따르면 Whisper의 99개 지원 언어를 활용할 수 있으며, 처음 사용할 때 약 252MB 크기의 모델을 한 번 다운로드합니다.

데이터는 언제 외부로 전송될까?

Skill Recorder를 사용할 때 특히 중요한 부분입니다.

제공된 설명에 따르면 녹화, 저장, 프레임 추출, 선택적 음성 전사는 사용자의 컴퓨터에서 처리되며, 녹화하는 동안에는 데이터가 외부로 전송되지 않습니다.

다만 사용자가 Analyze를 선택하면 상황이 달라집니다.

Analyze 단계에서 이벤트 타임라인, 추출된 화면 이미지, 음성 내레이션 텍스트가 GitHub의 클라우드로 전송되어 Copilot의 작업 분석에 사용됩니다.

이벤트 타임라인에는 다음과 같은 정보가 포함될 수 있습니다.

• 창 및 문서 제목
• URL
• 클립보드 미리보기
• 화면 이미지
• 음성 내레이션 텍스트

따라서 Skill Recorder를 사용할 때는 녹화 자체뿐 아니라 Analyze를 실행하는 시점에 어떤 정보가 클라우드로 전송되는지 이해하는 것이 중요합니다.

비밀번호와 API 키는 반드시 기록하지 않아야 한다

Skill Recorder에서 가장 주의해야 할 부분 중 하나입니다.

제공된 안내에서는 다음과 같은 민감한 정보를 녹화하거나 입력하거나 붙여넣거나 화면에 표시하거나 복사하거나 음성으로 설명하지 말 것을 명확하게 안내합니다.

• 비밀번호
• 액세스 토큰
• API 키
• 인증 정보
• 기타 기밀 정보

예를 들어 작업을 기록하는 도중 터미널에 API 키를 입력하거나, 웹페이지에서 인증 정보를 화면에 표시한 상태로 녹화를 진행해서는 안 됩니다.

특히 Analyze를 실행하면 기록된 데이터가 GitHub 클라우드로 전달될 수 있으므로, 자동화하려는 작업에 민감정보가 포함되지 않도록 사전에 확인해야 합니다.

Skill Recorder를 활용할 때는 자동화의 편리함뿐 아니라 어떤 정보가 작업 과정에 포함되는지 관리하는 것도 중요한 사용 조건입니다.

소스 코드에서 직접 실행하는 방법

Skill Recorder는 개발자가 소스에서 직접 실행할 수 있는 환경도 제공합니다.

제공된 정보에 따르면 개발 환경에는 Node.js 24가 필요합니다.

릴리스 리비전을 체크아웃한 이후 다음 명령을 사용합니다.

npm ci
npm run compliance:licenses
npm run dev

npm run dev를 실행하면 Vite가 시작되고 Electron 앱이 hot-reload 방식으로 실행됩니다.

기록 시작과 종료는 운영체제에 따라 단축키를 사용할 수 있습니다.

• macOS: ⌘⇧R
• Windows: Ctrl+Shift+R

또한 Skill Recorder에는 분석기와 빌더를 검증하기 위한 Eval 환경도 제공됩니다.

npm run eval
npm run eval:builder

npm run eval은 합성 녹화 데이터를 대상으로 describer를 평가하고, npm run eval:builder는 Skill과 Automation의 일반화 결과를 평가하는 데 사용됩니다.

개발과 운영에 필요한 문서도 제공

Skill Recorder의 저장소에는 다양한 개발 및 운영 관련 문서가 포함되어 있습니다.

설치 방법과 옵션, 설치 스크립트 확인, 업데이트, 제거, 개발 환경 설정 등은 INSTALL.md에서 확인할 수 있습니다.

릴리스 과정은 RELEASING.md, describer와 builder 평가 방법은 evals/README.md에서 확인할 수 있으며, 포함된 의존성의 라이선스 정보는 THIRD-PARTY-NOTICES.md에서 확인할 수 있습니다.

보안 취약점은 공개 GitHub Issue를 통해 보고하지 않고 SECURITY.md에 안내된 방식으로 신고하도록 되어 있습니다.

버그 및 기능 요청은 기존 이슈를 먼저 검색한 후 GitHub Issues를 통해 제출할 수 있으며, 지원 범위는 SUPPORT.md에 설명된 리소스로 제한됩니다.

Skill Recorder가 보여주는 AI 자동화의 방향

Skill Recorder에서 눈여겨볼 부분은 자동화를 만드는 출발점입니다.

기존에는 자동화를 만들기 위해 사용자가 먼저 작업을 분석하고, 절차를 정의하고, 필요한 코드를 작성해야 하는 경우가 많았습니다.

Skill Recorder는 실제 작업에서 출발합니다.

사용자가 직접 작업을 수행하면 그 과정을 기록하고, Copilot이 해당 기록을 분석해 작업의 의도와 순서를 정리합니다. 이후 이를 검토하고 Skill이나 Automation으로 만들 수 있습니다.

즉, 사람이 먼저 작업을 보여주고 AI가 그 작업을 재사용 가능한 절차로 정리하는 방식입니다.

이러한 접근은 반복 작업을 AI 자동화로 연결하는 방법을 보다 직관적으로 만들 수 있다는 점에서 의미가 있습니다.

특히 한 번 수행한 작업을 Skill로 만들어 필요할 때 다시 활용하거나 Automation으로 만들어 일정 또는 트리거에 따라 실행할 수 있다는 점은 반복 업무를 다루는 하나의 접근 방식이 될 수 있습니다.

728x90

Skill Recorder는 사용자가 직접 수행한 작업을 기록하고, GitHub Copilot을 통해 작업의 의도와 순서를 분석한 뒤 Skill 또는 Automation으로 전환할 수 있도록 구성된 도구입니다.

핵심 흐름은 간단합니다.

Record → Analyze → Create

먼저 실제 작업을 수행하고, 그 과정을 기록합니다. 이후 Analyze를 통해 Copilot이 작업의 전체적인 의도와 단계를 정리합니다. 사용자가 분석 결과를 검토하고 승인하면 이를 기반으로 재사용 가능한 Skill 또는 Automation을 만들 수 있습니다.

또한 macOS를 주요 대상으로 하면서 Windows 11 x64 및 ARM64와 Ubuntu 환경에서도 설치할 수 있는 방법이 제공되며, 개발자는 Node.js 24 환경에서 소스 코드로 직접 실행하고 Eval을 통해 분석 및 자동화 결과를 평가할 수도 있습니다.

다만 Skill Recorder를 사용할 때는 데이터 처리 방식도 함께 살펴봐야 합니다. 녹화와 관련된 데이터 처리는 로컬에서 이뤄지지만, 사용자가 Analyze를 선택하면 이벤트 타임라인과 화면 이미지, 음성 내레이션 텍스트 등이 GitHub 클라우드로 전송될 수 있습니다.

따라서 비밀번호, API 키, 액세스 토큰, 인증 정보와 같은 민감한 정보는 작업 과정에 포함하지 않는 것이 중요합니다.

결국 Skill Recorder의 핵심 가치는 단순한 화면 녹화가 아니라 한 번 직접 수행한 작업을 AI가 다시 활용할 수 있는 Skill과 Automation으로 연결한다는 점에 있습니다.

반복적인 작업을 자동화하는 방법이 코드 작성에서만 시작되는 것이 아니라, 실제 작업을 기록하고 AI가 그 과정을 분석하는 방식으로도 확장될 수 있다는 점에서 Skill Recorder는 AI 기반 업무 자동화의 새로운 접근 방식을 보여줍니다.

300x250

https://github.com/microsoft/skill-recorder

GitHub - microsoft/skill-recorder: Desktop app that records your on-screen work session and uses the GitHub Copilot CLI to recon