Neural Computer란 무엇인가: 실행 자체를 학습하는 새로운 컴퓨터 모델

이 글에서는 기존 컴퓨터 구조와는 전혀 다른 접근을 제안하는 Neural Computer(NC) 개념과 그 연구 결과를 정리합니다. 이 논문은 연산, 메모리, 입출력을 분리하지 않고 하나의 학습된 런타임 상태로 통합하는 새로운 컴퓨터 형태를 제안하며, 궁극적으로는 **Completely Neural Computer(CNC)**라는 범용 신경 컴퓨터를 목표로 합니다. 본문에서는 NC의 개념적 배경, 수식 기반 정의, CLI 및 GUI 환경에서의 구현 사례, 실험 결과, 그리고 CNC로 나아가기 위한 로드맵까지 차근히 살펴봅니다.

반응형

---

기존 컴퓨터와 다른 Neural Computer의 문제의식

기존 컴퓨터는 명확한 경계를 가진 구조를 갖습니다.
연산은 CPU, 메모리는 RAM, 입출력은 디바이스와 인터페이스 계층으로 나뉘어 있으며, 프로그램은 정적인 규칙 집합으로 정의됩니다.

반면 이 논문이 제안하는 **Neural Computer(NC)**는 다음 질문에서 출발합니다.

• 계산, 메모리, I/O를 분리하지 않고 하나의 모델로 통합할 수는 없을까?
• 프로그램 실행 상태 자체를 학습된 신경 상태로 표현할 수는 없을까?

NC는 단순히 환경을 예측하는 월드 모델이 아니라, 모델 자체가 실행 중인 컴퓨터가 되는 것을 목표로 합니다.

---

Neural Computer의 핵심 개념과 수식적 정의

NC는 관찰과 사용자 행동을 입력으로 받아 다음 상태를 생성하는 **학습된 잠재 상태 시스템(learned latent-state system)**으로 정의됩니다.

수식적으로는 다음과 같이 표현됩니다.

• 런타임 상태 업데이트
  h_t = Fθ(h_{t-1}, x_t, u_t)
• 다음 프레임 생성
  x_{t+1} ~ Gθ(h_t)

여기서 중요한 점은 다음과 같습니다.

• h_t는 단순한 예측용 은닉 상태가 아니라, 지속적인 런타임 메모리 역할을 합니다.
• Fθ는 상태 업데이트 자체를 수행하는 연산이며,
• Gθ는 내부 상태를 다시 관찰 가능한 I/O로 디코딩합니다.

즉, h_t는 실행 가능한 컨텍스트(executable context)를 담고 있는 상태로, 계산과 메모리, I/O가 모두 이 상태를 중심으로 연결됩니다.

---

NC 구현 개요: 비디오 모델 기반 접근

연구진은 NC를 추상적인 개념에 머무르지 않고 실제로 구현합니다.
기반 모델은 기존의 고성능 비디오 생성 모델인 Wan2.1이며, 여기에 NC를 위한 조건화와 액션 모듈을 추가합니다.

핵심 구현 아이디어는 다음과 같습니다.

• NC의 런타임 상태 h_t를 시간 인덱스 비디오 latent z_t로 구현
• Diffusion Transformer가 상태 업데이트 맵 역할 수행
• CLI와 GUI라는 서로 다른 인터페이스 환경에서 NC 인스턴스를 분리 구현

이로부터 두 가지 주요 시스템이 등장합니다.

---

CLI 환경의 Neural Computer: NCCLIGen

데이터 파이프라인

NCCLIGen은 터미널 환경을 비디오 생성 문제로 다룹니다.

• asciinema 기반 CLI 실행 기록을 재생성
• 터미널 프레임, 텍스트 버퍼, 키보드 이벤트를 동기화
• 정제된 데이터셋(CLIGen Clean)은 Docker 기반 결정론적 환경에서 수집

이 과정에서 캡션 품질이 중요한 변수로 작용합니다.

---

모델 구조와 학습 방식

• 첫 터미널 프레임과 텍스트 캡션을 조건으로 비디오 롤아웃
• VAE로 첫 프레임을 인코딩
• CLIP 이미지 인코더와 T5 텍스트 인코더로 조건 특징 추출
• Diffusion Transformer가 시계열 상태를 업데이트

CLI 사용 경험을 그대로 신경 모델 안에서 재현하려는 구조입니다.

---

주요 실험 결과와 한계

• 터미널 렌더링 충실도는 매우 높음
  PSNR 40.77 dB, SSIM 0.989
• 문자 레벨 구조 학습이 점진적으로 향상됨
• 상세하고 문자적인 캡션이 성능에 큰 영향을 미침
• 그러나 CLI 산술과 같은 상징적 연산 정확도는 매우 낮음

특히 흥미로운 점은 reprompting을 통해 산술 정확도가 크게 상승했다는 점입니다. 이는 내부 추론 능력보다는 시스템 레벨 조건화와 지시 명확성이 성능에 큰 영향을 준다는 점을 시사합니다.

---

GUI 환경의 Neural Computer: NCGUIWorld

데이터 구성과 환경

GUI 모델은 실제 데스크톱 환경에서의 사용자 상호작용을 학습합니다.

• Ubuntu 22.04 + XFCE4 환경
• 화면 프레임과 마우스·키보드 이벤트를 동기화
• 무작위 상호작용 데이터와 목표 지향적 supervised 데이터 혼합

여기서 데이터의 “정렬 품질”이 핵심 변수로 등장합니다.

---

액션 주입 방식의 비교

연구에서는 액션을 모델에 주입하는 다양한 방식을 비교합니다.

• External conditioning
• Contextual conditioning
• Residual conditioning
• Internal conditioning

실험 결과, 깊은 레벨에서 액션을 통합할수록 시각적 일관성과 반응성이 개선되었습니다.
특히 Internal conditioning이 가장 안정적인 성능을 보였습니다.

---

중요한 관찰 결과

• 데이터 양보다 목표 지향적 정렬 품질이 훨씬 중요
• 커서를 좌표가 아닌 시각적 객체로 감독하면 정확도가 극적으로 향상
• 액션 인코딩의 세밀함보다, 액션이 모델 내부에 얼마나 깊이 통합되는지가 더 중요

이는 NC가 인간과 유사하게 시각적 의미 단위로 환경을 이해한다는 점을 보여줍니다.

---

Completely Neural Computer(CNC)를 향한 로드맵

현재 NC는 초기 런타임 원시 기능 수준에 머물러 있습니다.
CNC는 다음과 같은 조건을 충족하는 성숙한 형태로 정의됩니다.

• 무한에 가까운 유효 메모리를 통한 튜링 완전성
• 새로운 프로그램을 런타임 상태로 설치할 수 있는 범용 프로그래밍 가능성
• 명시적으로 재프로그래밍되지 않는 한 행동이 유지되는 안정성
• 기존 컴퓨터 모방이 아닌, NC 고유의 머신 시맨틱스와 인터페이스

이를 위해 논문은 데이터 품질 개선, 기호 처리 신뢰성, 기능 재사용성, 런타임 거버넌스가 핵심 과제라고 명시합니다.

---

728x90

이 연구는 Neural Computer가 단순한 이론이 아니라, 실제 CLI와 GUI 환경에서 I/O 정렬과 단기 제어 능력을 학습할 수 있음을 보여줍니다. 동시에 상징적 추론, 장기 안정성, 재사용 가능한 실행 구조는 여전히 해결해야 할 과제임을 분명히 합니다.

그럼에도 불구하고, 계산과 메모리, 입출력을 하나의 학습된 실행 상태로 통합하려는 시도는 기존 컴퓨터 아키텍처와는 전혀 다른 방향의 가능성을 제시합니다. CNC가 실현된다면, 프로그램과 실행, 학습의 경계 자체가 재정의될 수 있다는 점에서 중요한 전환점이 될 수 있습니다.

300x250

https://arxiv.org/abs/2604.06425?fbclid=IwY2xjawRLIRBleHRuA2FlbQIxMABicmlkETFLTnZJMjdqVEU0UG1yQmNVc3J0YwZhcHBfaWQQMjIyMDM5MTc4ODIwMDg5MgABHivAGHKRetMvb4CxAqBDHVhi8GENFfFb-YeJ9ikxxCT_hwgXTbhRhfH4Hxgl_aem_QFBIEvnZtWFDljWUBtvqgA

Neural Computers