Introducing Persistent Clusters: 여러 작업으로 시간과 비용을 절약하는 새로운 기능

A New Feature to Save Time & Money with Multiple Jobs
Rahul Verghese - January 19, 2017
Last update - Jungin Baek - Sep 13, 2017

Rescale은  Persistent Clusters라는 새로운 기능을 출시했습니다.(Jan, 2017)
이 기능을 사용하면 사용자가 여러 클러스터를 시작하고 종료하지 않고도 Rescale 워크 플로 (웹 UI)를 사용하여 동일한 클러스터에 여러 작업을 제출할 수 있습니다. 그 전에는 각 작업이 자체 클러스터를 가동시켜 작업이 완료된 후 자동으로 종료되므로 여러 개의 작은 작업을 실행할 때 지연 될 수 있습니다. 이 새로운 기능을 사용하면 동일한 하드웨어 구성을 필요로하는 테스트 또는 여러 반복 작업을 더 빠르게 처리 할 수 있습니다.




Saving time and money
일반적으로 각 클러스터가 준비상태 및 종료되는 데는 몇 분이 소요됩니다. 지속(Persistent) 클러스터를 활성 상태로 유지하면 클러스터에 제출한 각 추가 작업에 대한 시간과 비용을 절약할 수 있습니다.

왜 그런 것일까요? 작업이 완료되면 표준 클러스터가 자동으로 종료되고 이후 작업이 반복되며 별도의 클러스터에서 종료되고 별도의 클러스터에 부과됩니다. 그러나 지속 클러스터를 사용하면 다음번 작업 제출을 위해 즉시 클러스터를 사용할 수 있으므로 작업간에 다른 클러스터를 종료하고 전환하는데 시간을 낭비하지 않아도됩니다.  많은 유사한 작업을 수행하는 고객의 경우 상당한 시간과 비용 절감 효과가 있습니다.

지속 클러스터는 변수, 저널값등 테스트 환경을 테스트하거나 시뮬레이션에서 문제를 디버그 하는 테스트 환경을 테스트하는 데에도 유용합니다. 일반적으로 소프트웨어가 종료되면 작업이 완료되어 작업이 완료되고 클러스터가 조기 종료됩니다. 그러나 지속적인 클러스터를 사용하여 작업을 동일한 클러스터에 계속 제출하고 코드를 수정하고 반복할 수 있습니다.

지속 클러스터의 유익한 결과물은 작업을 대기 열에 넣는 기능입니다.  동일한 클러스터에 여러 작업을 제출함으로써 사용자는이를 "큐"에 넣을수 있습니다. Rescale 백엔드는 클러스터가 해제 될 때 제출 된 순서대로 작업을 실행합니다. 이는 일부 고객에게 유용한 워크 플로우 일 수 있습니다. 지속(Persistent) 클러스터를 유지함으로써 클러스터에 작업요청을 하는 각 추가 작업에 대한 시간과 비용을 절약 할 수 있습니다.

A few pro-tips
1. 모든 소프트웨어를 먼저 연결합니다. 연결된 소프트웨어가 클러스터 초기화 시 VM에 설치되므로 사용자가 일단 설치된 후에는 지속 클러스터의 소프트웨어 구성을 변경할 수 없습니다. 더 많은 소프트웨어를 실행해야 하는 경우 먼저 클러스터를 시작할 때 필요한 모든 소프트웨어를 연결하는 것이 좋습니다. 소프트웨어는 프로그램 실행시 라이센스 만 체크 아웃하기 때문에 클러스터가 유휴 상태가 아닌 소프트웨어 런타임에 대해서만 요금이 부과됩니다.

2. 필요한 최대 코어 수를 사용하여 클러스터를 시작합니다. 이제 필요한 최대 코어 수를 사용하여 지속 클러스터를 시작하는 것이 좋습니다. 코어 수가 작업에 따라 다를 경우 명령줄 플래그를 사용하여 리소스 페이지의 소프트웨어 실행 섹션을 참조하십시오 (리소스 페이지의 소프트웨어 확장 섹션 참조). 그러나 사용자는 코어가 사용되는지 여부에 상관 없이 전체 클러스터에 대해 과금됩니다. 클러스터를 실시간으로 확장하고 축소하는 기능은 로드맵에 있습니다. Rescale 플랫폼에 대한 향후 업데이트를 확인해주세요.

3. 클러스터를 종료하는 것을 잊지 마십시오. 마지막으로 완료되면 영구 클러스터를 수동으로 종료하는 것을 잊지 마십시오. 클러스터가 유휴 상태이더라도 클러스터가 종료될 때까지 사용량이 청구됩니다.

More information

Ansys Fluent Test를 위한 지속 클러스터 실행화면

VASP K80 GPU 동작 확인을 위한 지속 클러스터 실행화면

ANSYS Fluent 테스트를 위하여 Presistent cluster 테스트 및 VASP GPU 동작 테스트를 위하여 Persistent Cluster 기능을 사용해 보았습니다. 하나의 작업을 생성하여 Run 수행시 5~10분의 Sign up 시간이 필요합니다. 지속 클러스터를 사용하면 Sign up 시간이 소요되지않고 바로 해석작업이 실행됩니다.