2017년 12월 29일 금요일

Rescale at AWS re:Invent with Intel and Richard Childress Racing

Rescale at AWS re:Invent with Intel and Richard Childress Racing
 - 

AWS conference image


Amazon Web Services (AWS)는 매년 라스베가스에서 세계 최대의 AWS는 Invent 클라우드 컴퓨팅 컨퍼런스를 개최하고 있으며,  11월 27일의 Rescale은 인텔과 클라우드의 고성능 컴퓨팅 (HPC) 핵심 파트너 및 고객에게 우리 턴키 플랫폼이 까다로운 응용 프로그램 작업 부하를 AWS public cloud에서 인텔 프로세서와 어떻게 연결하는지 보여주었습니다

 AWS re : Invent는 클라우드 컴퓨팅의 가능성에 관한 최대 컨퍼런스입니다. 많은 HPC 관련 제품 발표가 있었고 클라우드 HPC 뒷편의 놀라움과 강력함이 있었습니다.
Rescale 팀은 현고객 및 잠재고객, 파트너와의 만남뿐만 아니라 성공적인 해피 아워 네트워킹 이벤트를 후원하였습니다.

AWS는 HPC가 대용량 및 탄력적 자원을 활용 할 수있는 많은 응용 프로그램을 사용하여 데이터 센터의 핵심 사용을 위한 주요 성장 동력으로보고 있으며 종종 MPI 또는 DOE (design of experiment) 매개 변수 탐색을 통해 수천 개의 코어 자원사용을 보여주었으며, 이는 석유 및 가스 탐사를위한 엔지니어링 시뮬레이션, 신약 개발, 기계 학습, 금융 서비스 및 지진 시뮬레이션과 같은 어플리케이션은 모두 클라우드 스케일링에 매우 적합합니다.

HPC는 앞으로 더 중요한 주제가 될 것입니다. 수년간에 걸쳐서 창안되었지만 최신 Intel 하드웨어를 완벽하게 활용하고 AWS에서 원활하게 실행하려면 중요한 컴퓨팅 스택이 필요합니다. Rescale 플랫폼은 이 스택을 관리하여 최종 사용자가 소프트웨어 선택, 하드웨어 선택, 작업을 실행을 간단히 할 수 있습니다. 그리고 데이터 전송 비용을 최소화하기 위해 클라우드에서 포스트 작업을 수행 할 수도 있습니다.

AWS re : Invent 2017에서 Rescale은 '간단한 설정를 통해 Intel Xeon Skylake 프로세서 및 AWS C5 인스턴스를 통해 HPC 업계 최고의 성능을 얻는 방법'이란 주제로 Intel, Richard ChildressRacing(RCR)과 세션을 진행하였습니다. 

  • “Intel: Powering HPC in the Cloud”, Bill Magro, Chief Technologist HPC, Intel
  • “Winning with HPC in the Cloud”, Seth Morris, Aerodynamicist, Richard Childress Racing
  • “Rescale: Delivering HPC in the Cloud”, Matt McKee, Director, Rescale


Bill과 Matt도 GeekWire와의 인터뷰를 가졌습니다. 
아래 그 비디오를 볼 수 있습니다 :



This article was written by Rescale ans source is hrer



Rescale is One of Silicon Valley’s Fastest Growing Enterprise Software Companies of 2017

Rescale - 2017 실리콘 벨리에서 가장 빠르게 성정하는 엔터프라이즈 소프트웨어 회사

Accelerating innovation and powering big compute at hundreds of leading enterprises
 - 

올해가 끝나갈 무렵, Rescale에서 이뤄낸 성과를 공유하게되어 매우 기쁩니다. 우리는 시장에서 가장 큰 성장을 거둔 Big Compute 및 클라우드 HPC 솔루션 뿐만 아니라 가장 빠르게 성장하는 엔터프라이즈 소프트웨어 회사 입니다.  항공 우주, 자동차, 생명 과학, 대학 및 미국, 유럽 및 아시아 전역의 광범위한 범위와 같은 여러 주요 산업 분야의 급속한 성장을 가속화하여 100곳이 넘는 신규 기업 고객을 확보 한 바쁜 해가되었습니다.

우리 고객은 ScaleX Enterprise 플랫폼 및 산업용 솔루션 포트폴리오를 잘 활용하고 있으며, 사용량은 전년대비 월 30% 증가하여 실리콘 밸리의 많은 투자자가 2017년 가장 빠르게 성장하는 엔터프라이즈 소프트웨어 회사로 Rescale을 선정했습니다. 고객들은 혁신 능력을 가속화하는 놀라운 성과를 보여주고 있습니다. 주요 사례로 AirBus 복잡한 공기 역학의 개발 가속화, 한국 최초의 클라우드 기반 엔지니어링 환경을 구축한 LS산전, 기업 전체에 하이브리드 HPC를 구현하는 RWDI, 세계의 차세대 초음속 제트 여객기를 건설하는 Boom Supersonic 등이 있습니다.

새로운 소프트웨어 응용 프로그램, 클라우드 및 인프라 공급자, 기술 파트너 및 채널 및 솔루션 파트너를 포함하여 당사의 에코 시스템 파트너는 빠르게 확대 되고있습니다. Rescale은 이제 250 개가 넘는 소프트웨어 응용 프로그램으로 완전 통합된 HPC 클라우드 응용 프로그램의 가장 큰 포트폴리오를 지원합니다. Rescale은 고객과 소프트웨어 파트너 모두가 만족할 수 있는 턴키 방식의 Pay-as-you-go 라이센스 솔루션을 원-스톱으로 제공합니다. 우리의 글로벌 채널 파트너는 빠르게 확장되어 오늘날 우리의 생태계에 동참하고 있습니다.

그리고 올해 덴버에서 개최 된 Supercomputing 2017에서 큰 성과를 거두었습니다. 클라우드를 대규모 HPC 배포 전략의 일부로 통합하는 솔루션 포트폴리오를 보여주었습니다. (온 프레미스 HPC 시스템 및 하이브리드 배포와의 심층적인 통합). 
Rescale은 Boom Supersonic과 함께 클라우드에서 HPC를 최우수 사용자로 선정하여 권위있는 HPCwire Reders Choice Award를 수상했습니다. 또한 Airbus, Bionano, Boeing, NASA, Northwestern University, MIT, Warsaw 대학, 규슈 대학 및 Tokyo Institute의 참석자들과 함께 성공적인 첫 번째 산업 자문위원회를 개최했습니다.

가트너(Gartner)의 Cool Vendor for Cloud Infrastructure 선정, IDC의 주목할 만한 언급으로 클라우드 및 하이브리드 HPC의 핵심솔루션, 맥킨지 & 컴퍼니 (McKinsey & Company)의 디지털 트랜스포메이션을 위한 중요한 원동력으로 선정되었으며, 골드만 삭스 (Goldman Sachs)에서는 중요한 신흥 기술로 주목등 업계 에널리스트들은 1년동안 Rescale과 그 기술에 대해 평가하였습니다. 

Rescale은 런던, 뮌헨, 도쿄, 서울, 싱가포르, 북미 전역, 샌프란시스코 심장부에있는 본사에서 기존 및 신규 위치에서 두 배 이상 확장되었습니다. 언제나처럼, 우리는 항상 우리 팀에 합류하기 위해 뛰어난 인력을 찾고 있습니다!

2018년을 앞두고 다음과 같은 많은 새로운 목표를 달성하게 되어 기쁘게 생각합니다. 
첫번째 5대 글로벌 슈퍼 컴퓨터에 대한 배포와 세계 5대 자동차 회사 중 3곳의 생산 환경 을 확장했으며, 가장 빠르게 성장한 엔드-투-엔드 글로벌 항공 우주 생산 개발 환경을 구축하고, Fortune 500 및 Global 2000대 혁신기업의 수백 가지 대규모 컴퓨팅 배포작업을 지원하였습니다.

개인적으로 올해도 지속적으로 지원해 주신 모든 고객 분들과 폭넓은 파트너에 감사 드립니다. 2017년에 우리가 함께 이뤄 낸 모든 것이 자랑스럽고, 앞으로도 오랫동안 팀 전체가 귀사의 성공을 지속적으로 지원하기를 기대하고 있습니다. 개인적으로 저는 2018년에 Rescale의 어떤 혁신이 이루어질지 정말 기대가 됩니다! 

2017년 12월 19일 화요일

Deep Learning Sample Test - PyTorch


PyTorch 예제를 실행해봤습니다. 이미지 트레이닝을 통해 노이즈를 최소화 하면서 이미지를 확대하는 'super resolution' 예제입니다. 

1. PyTorch 작업생성 및 입력파일 업로드


2. 입력파일 디렉토리 구조 - 이미지파일 311개



3. 버전 선택 및 명령어 입력



4. 하드웨어 선택 - NVIDIA - K80 GPU, Xeon E5-2690v3 6Core, 56G Memory, 360GB Stroage & Cluster Setup**



5. 작업실행 - **하나의 PyTorch 클러스터에 2개의 작업을 수행하였으며, 1개의 작업은 대기중



5-1. 작업리스트 - 295087은 실행중이며, 16077은 Queue 대기중


6. 실행화면 - 현재 진행중인 작업의 로그 및 SSH 콘솔접속을 통해 현재상태 모니터링


6-1. 콘솔을 이용한 명령어 실행 'nvidia-smi, etc..'


7. 결과


30분정도 작업시간이 걸렸습니다. 이 작업 완료후 다른 16077 작업이 바로 시작되었습니다. 

295087 결과입니다. 

output log확인




원본이미지 및 Deep Learning을 이용한 해상도확대 파일 첨부합니다. 

원본 

이미지 변환

----------------------------------------------------------------------
16077 작업완료 - 글 올리는 사이 다른 이미지 프로세싱이 종료되었습니다. 이 작업은 28분 걸렸습니다. 

클러스터 옵션을 사용한 이유는 하드웨어의 Spin on 시간이 5분에서 10분가량 소요되기때문에 
동일 S/W, 동일 버전이면 하나의 서버가 Spin on되었을때 작업을 하는게 편하여서 클러스터 작업을 하였습니다. 
과금은 1시간 단위로 되므로 
1시간 내에 있는 작업은 하나의 클러스터에서 돌리면 비용은 추가로 들지 않는 옵션이라 보면 됩니다. 

클라우드는 모든게 비용이니까 소소한 팁을 이용해서 비용을 줄일수 있습니다. 
이번작업에 동원된 하드웨어는 'NVIDIA K80 GPU-enabled, Intel Xeon E5-2690 v3' 6Core, K80 1GPU, 56G Mem, 380NVMe 1시간 사용하였고 약 1530원 가량 비용이 들었습니다.