적합한 컴퓨팅 리소스로 처리하는 LSF 잡 스케줄링 기능

안녕하세요. 이코어 입니다.

 

(주)이코어는 한국 IBM 비지니스 파트너로서 IBM 제품 공급및 최적의 IBM 솔루션을 고객에 지원하고 있습니다.

(주)이코어에서는 블로그를 통해 제품 또는 솔루션의 정의 및 특성, 장단점, 또한 제품군의 동향을 이 블로그에 넣으면서 고객에 많은 정보를 전달하고자 합니다.

 

이번 블로그에서는 IBM의 플랫폼 LSF(Load Sharing Facility)는 핵심 업무 컴퓨팅 환경에서 사용하기 위한 워크로드 관리 플랫폼에 대해 계속 소개해 드리고자 합니다.


 

 IBM Spectrum LSF란 -2

 

앞에서 언급하였지만 실제로 잡 스케줄링은 단순히 계산 영역이 아니라 하드웨어의 모든 가용 컴퓨팅 자원을 총괄하는 핵심이 되는 기능은 병렬 연산이 가능하다는 점입니다. 병렬이라는 단어를 지난번 스펙트럼에서 다룬 적이 있는데요. 그 때 말씀드렸던 병렬이라는 의미와 일맥상통합니다. 병렬로 연산을 할 수 있도록 지원하기 때문에 유기적인 연동이 가능해지고, 이런 효율성이 바로 LSF의 가장 큰 장점이 됩니다.

 

잡 스케줄러가 수행하는 기능을 간략하게 살펴보면 다음과 같습니다. 우선 잡 스케줄러를 사용하여 많은 양의 컴퓨팅 자원을 사용하는 업무에 최적화가 가능해집니다. 요즘 한참 유행하는 빅데이터나 인공지능, 머신러닝, 딥러닝 등에 사용할 수 있다는 것이지요. 그리고 두번째로 자원의 활용을 위한 로드 밸런싱 기능과 현재 작업 상황에 대한 모니터링 기능을 지원합니다. 스케줄러이기 때문에 현재 수행중인 작업의 진행상황을 파악할 수 있도록 하는 것인데요. 이를 기반으로 작업의 효율적인 분배와 완료, 검토, 관리까지 할 수 있게 됩니다. 그리고 세번째로 계산 드로 표현된 하드웨어나 서버의 증설과 감소를 쉽게 조율하여 비용효율적인 사용환경을 구성할 수 있습니다.

 

이런 특성을 반영하기 때문에 대용량 데이터를 다루는 곳이라면 LSF의 사용 용도가 더욱 높아집니다. 계산할 정보의 양이 방대하고, 이를 효율적으로 관리하기 위한 기술이 필요한 영역이 이에 해당되는데, 우리나라에서는 기상청이 대표적인 사례입니다. 기상청이 날씨를 예측하기 위해서 입력해야 할 정보는 상상 이상으로 방대합니다. 대기의 정보뿐 아니라 수온, 기온, 다른 지역의 날씨, 해저의 분화 활동 등 모든 지구 활동에 대한 정보를 입력하여 계산하기 때문에 일반적인 기능으로는 계산이 불가능합니다. 더군다나 날씨 예측이 자꾸 빗나간다는 국민들의 원성을 들을 수 있기 때문에 최대한 정밀한 계산이 가능하도록 고성능의 컴퓨팅 리소스를 사용하고 있습니다.

 

그리고 IBM의 LSF를 알기 위해서는 잡(Job)의 개념을 아는 것이 중요합니다. 기본적으로 분산 컴퓨팅 환경에 잡을 분배하여 올바른 리소스가 올바른 작업에 할당되도록 하는 개념이기 때문입니다. 잡은 하나의 업무 단위를 말합니다. 예를 들어 엑셀에 있는 계산을 진행한다고 할 때에, 하나의 계산을 수행하는 업무 한 단위가 하나의 잡입니다. 계산이 3개가 수행된다면 3개의 잡이 있는 것이지요. 이렇게 구분되어 있는 업무 단위 하나하나를 각각 적합한 컴퓨팅 리소스로 처리하는 것이 LSF의 잡 스케줄링 기능입니다.