NSML 네이버 딥러닝 클라우드 플랫폼 알아보기!

[NAVER에 CLAIR(CLova AI research)에서 사용하고 있는 AI개발자 실험을 돕는 온라인 도구]

AI 연구를 도와주는 많은 도구들이 탄생하고 있습니다. 

Tensorflow, Caffe, Pytorch등 다양한 Framework의 탄생으로 AI분야의 기술들은 하루 하루 엄청난 속도를 더해 발전해 나아 가고 있죠. 

이러한 도구들 없이 머신 러닝을 연구한다는 것은 쉽게 상상 할 수 없는 일이 되어버렸습니다. 

만약 위와 같은 도구들이 없었다면 머신러닝 분야는 이와 같이 발전할 수 있었을까요? 

수많은 연구원들이 매번 복잡한 수식들을 직접 코드로 옮기다 지쳐 하나 둘 뒤돌아 섰을 것이고 사람들의 관심이 점점 식어 머신러닝 분야는 다시 빙하기를 겪었을지도 모릅니다.

이와 같이 편리한 Framework들의 많은 도움에도 불구하고 AI를 연구하시는 분들은 아직도 불편함을 호소하고 있습니다. 

연구를 할 때마다 필요한 환경을 구축해야 하고 생소한 프로그램 언어와 기법들을 추가적으로 학습해야 하니까요.

이러한 연구원들의 불만들을 해소해줄 솔루션을 네이버가 준비하고 있습니다. 

보다 편리하게 연구원들이 연구에만 집중 할 수 있도록 도와주는 솔루션의 이름은 NSML 입니다. 

자세한 사항은 아래에서 살펴 보도록 하겠습니다. 

1. 서비스 목적   

 : AI 개발자가 모델 연구/개발에만 집중 할 수 있도록 해준다. 

 - 딥러닝 연구시 GPU남는 서버를 확인하고 설정하며, 실험 경과를 확인하는등 연구 개발에 필요한 부수적인 작업에 들어가는 시간을 절약하게 해준다.  

 - 명령어 하나로 데이터를 클라우드에 전송.  

 - 명령어 하나로 텐서플로우, 파이토치 등의 모델 코드를 GPU 클라우드에 물릴 수 있음.  

2. 특징   

1> 환경 지원   

 - GPU 공유   

  : [효율적인 GPU 사용] GPU리소스를 가상화 -> 연구원들이 GPU리소스를 할당 받고 쓰지 않는 경우 해결.  

  : 우선 순위 및 스케쥴을 통해 효율적으로 GPU를 할당할 수 있도록 지원   

 - Docker를 활용한 환경 충돌 해결     

 : 컨테이너 기술 중 하나인 도커를 활용하여 연구자들 마다 서로 상이한 버전 및 환경을 써서 발생하는 충돌 이슈를 개선. 

 [도커란 ? https://subicura.com/2017/01/19/docker-guide-for-beginners-1.html]

 2> 기능 소개 

   - NSML에서 사용하는 개념 설명    

    * 세션 : GPU를 할당 받아 정해진 시간에만 한시적으로 작동하는 프로그램.    

    * 모델 : 실험 중인 연구를 진행 중인 실험 상태를 저장하거나 재개하기 쉽게 만들어진 개념. 

   - 기능 설명   

   * 화면 구성  : 좌측 사이드바에 작업 내용 리스트 및 Control이 가능하며 우측 화면에 학습 진행 여부 및 결과를 볼 수 있는 화면 제공.    

    <결과 화면은 별도 naver가 구성하지 않고 기존 Tensorboard, Visdom등 이미 공개되어 있는 서버 활용>

  * 기능    

    가. 동시 여러 실험 수행 가능.     

    나. 많은 수의 실험 경과를 웹에서 쉽게 비교하고, 하이퍼 파라미터를 실험 도중에 변경할 수 있음.    

    다. 실험 보류 및 재개가 가능하여 유연한 실험 관리 가능.     

    라. 실험의 결과는 Kaggle과 같은 리더보드에 집계됨.    

       -> 다른 사람과 연구 결과를 공유 할 수 있으며 어떤 모델들이 어떤 설정에서 잘 동작하는지 한눈에 살펴 볼 수 있어서, 연구의 방향과 목표에 대한 insight를 얻을 수 있음.

3. 출시 일정  

 - 현재 알파 테스트 진행중.

  - 내년 부터 CLAIR에서 진행할 연구에 적용.

  - 관련 내용은 오픈소스로 공개 예정.

*관련 자료 

1. NSML 발표 자료 : https://www.slideshare.net/deview/224nsml-80881317?ref=http://d2.naver.com/news/9178380