딥러닝에 최적화되고, 데이터 사이언티스트가 학습시키기 위한 모델의 튜닝, 연습, 배포 등의 핵심업무에 집중할 수 있도록 지원하는 IBM Spectrum ConductorTM Deep Learning Impact

이번 포스팅부터는 IBM Spectrum Computing의 각 구성 요소를 자세히 살펴보고자 합니다. HPC의 근원적인 목표가 정교하고 방대한 계산의 수행에 있었으며, 이를 수행하기 위한 체계로 IBM의 사례를 들어보았습니다. 그 결과 HPC의 목표를 달성하기 위한 환경 제공, 계산 지원, 관리효율화로 구분되었으며, 이에 대한 세부 기능을 하나씩 알아보겠습니다.

우선 첫 번째로는 살펴볼 기능은 환경 구축에 사용되었던 IBM Spectrum ConductorTM Deep Learning Impact입니다. 이 기능은 IBM Spectrum ConductorTM에 추가 소프트웨어로 제공되는 형태입니다. 이름에서 알 수 있듯이 딥러닝에 최적화되어 있으며, 데이터사이언티스트가 학습시키기 위한 모델의 튜닝, 연습, 배포 등의 핵심업무에 집중할 수 있도록 지원합니다. 또한 딥러닝을 실행하기 위한 반복적인 수작업 단계를 거치지 않도록 하며, 소프트웨어를 사용하면 이전의 며칠에서 몇주간 소요되던 환경설정 시간을 몇 시간 내로 마치고 작업을 시작할 수 있습니다. 그리고 가장 강력한 특징은, 이런 환경을 설정하는 데에 전문적인 도메인 지식을 필요로 하지 않습니다.

그렇다면 IBM Spectrum ConductorTM Deep Learning Impact를 사용하면 어떤 효과를 기대할 수 있을까요? IBM Spectrum Conductor Deep Learning Impact 솔루션 효과로는

  • 더욱 빠르게 결과 산출
    트레이닝 작업이 여러 서버와 GPU에 분산되어 처리되는 환경에서, 프레임워크와 소프트웨어 최적화를 통해 수행 시간을 획기적으로 단축할 수 있습니다.
  • 정확도 개선
    다양한 하이퍼 매개변수의 검색과 촤적화, 트레이닝 시각화, 튜닝 등을 지원하여 딥러닝 모델의 정확도가 향상되고, 이전에 비해 개선된 결과를 도출합니다.
  • 데이터 준비 시간 단축
    Apache Spark를 사용하여 데이터 소스와 가져오기를 관리할 수 있기 때문에 이전 데이터를 사용할 수 있는 형태로 변환하고 준비하는 시간을 단축시킬 수 있습니다.
  • 공유 리소스로 ROI 향상
    다중 사용자가 다양한 모델을 공유된 자원에 접근하여 사용할 수 있습니다. 멀티 테넌트를 지원하기 때문에 동일한 리소스에서 다양한 모델을 동시에 실행할 수 있게 되고, 엑세스 포인트가 증가할 수 있게 되어 투입 대비 효과의 향상이 발생합니다.
  • 관리 단순화
    관리는 아무리 강조해도 지나치지 않습니다. 딥러닝, 모니터링, 보고 등의 기능이 제공된 통합 프레임워크를 사용하여 관리를 단순화하고 빠른 결과 산출을 기대할 수 있습니다.
  • IBM Spectrum Conductor에 추가
    IBM Spectrum Conductor에 딥러닝 솔루션을 추가하여 사용할 수 있습니다. Apache Spark 환경을 기업용으로 설계된 공유형 인프라로 구축할 수 있게 설계된 고가용성 멀티 테넌트 프레임워크로 사용이 가능해 집니다.

다음 블로그에서 IBM Spectrum ConductorTM Deep Learning Impact 주목받는 기능을 살펴보고 기능에 기대되는 효과에 대해 좀 더 자세히 알아보기로 하겠습니다.