HPC 컴퓨팅 인프라를 활용하여 워크로드를 가속화하고 생산성을 높이고 간소화

앞서 살펴본 바와 같이 HPC는 대량의 데이터를 분석하는 데에 사용됩니다. 그렇다면 대량의 데이터는 어떻게 작업이 분배가 되어서 분석하는 것일까요? 하나의 계산이 아니라 다양한 계산을, 그것도 많은 양을 수행하기 위해서는 효율적인 분배 방안이 필요합니다.

HPC는 하나의 CPU가 계산하는 방식이 아니라, 컴퓨터 클러스터에서 작업하는 형태입니다. 사실과는 약간의 차이가 있지만 이해를 돕기 위하여 예를 들어보겠습니다. 철수, 민수, 경수는 선생님께 숙제로 총 여섯 장의 수학문제를 받아왔습니다. 여섯 장은 셋이 다 풀어야하며, 모두 마치고 나서야 집에 갈 수 있다는 조건이 주어졌습니다. 일단 세명은 한 장씩의 숙제를 풀기 시작했습니다. 가장 빨리 문제풀이가 끝난 철수가 민수와 경수의 진행상황을 살펴보니, 민수는 반정도 풀었지만, 경수는 아직 반도 못 풀고 있었습니다. 이런 상황에서 어떻게 하는 것이 효율적일까요? 모두가 각자 두 장씩 문제풀이를 하는 것이 공평하겠지만, 시간이 더 오래 걸릴 것입니다. 속도를 감안한다면, 철수가 세 장, 민수가 두 장, 경수가 한 장을 푸는 것이 제일 효율적이라는 결론이 나올 수 있습니다.

이렇듯 효율적인 결론을 찾아내기 위해서는 각자의 풀이 속도(성능)에 따라 숙제(워크로드)를 분배하는 방법과, 전체의 효율성을 달성하기 위한 상호간의 약속(정책)이 중요합니다. 앞서 계속 예를 들었던 IBM의 사례로 어떻게 효율성을 달성하는지 살펴보겠습니다.

IBM의 컴퓨팅 인프라 활용 방법은 IBM Spectrum Computing을 기본으로 제공됩니다. IBM Spectrum Computing은 지능형 워크로드와 정책기반 자원관리를 제공하는데, 이를 통해 데이터 센터나 클라우드와 관련된 전반적인 컴퓨팅 클러스터의 최적화를 달성해줍니다. 지능형 워크로드는 IBM이 가진 기업단위의 워크로드의 생산성 증가를 위해 구성된 솔루션으로, 업무량에 대한 스케줄링, 예측, 관리 등의 기능을 포함하고 있습니다. 그리고 정책기반 자원관리를 통해 중요성과 시급성의 조율이 가능해집니다.

그 결과 데이터 사이언티스트(Scientist)가 다루기 쉬운 단순화된 AI를 제공하고 있으며, 수백명의 사용자가 예측하지 못한 작업 중단이 없이, 수천 개의 노드에서, 수백 만개의 작업을 동시에 실행합니다. 이는 자동화와 사용자 친화적인 인터페이스로 관리의 용이성을 제공하며, 생산성의 향상에 기여할 수 있게 됩니다.

IBM Spectrum Computing의 사례에서 알 수 있는 것은 이런 효율의 최종 목표는 생산성의 향상에 기여하기 위함이라는 점입니다. 세기 힘들 정도로 많은 워크로드를 정확하게 분산시키고, 효과적인 작업 분배와, 스케줄 관리 등으로 생산성을 높이고, 업무의 간소화를 추구하는 것이 HPC의 최종 목표 라고도 볼 수 있습니다.