Rescale at AWS re:Invent with Intel and Richard Childress Racing

Rescale at AWS re:Invent with Intel and Richard Childress Racing
Rescale  - December 21, 2017




Amazon Web Services (AWS)는 매년 라스베가스에서 세계 최대의 AWS는 Invent 클라우드 컴퓨팅 컨퍼런스를 개최하고 있으며,  11월 27일의 Rescale은 인텔과 클라우드의 고성능 컴퓨팅 (HPC) 핵심 파트너 및 고객에게 우리 턴키 플랫폼이 까다로운 응용 프로그램 작업 부하를 AWS public cloud에서 인텔 프로세서와 어떻게 연결하는지 보여주었습니다

 AWS re : Invent는 클라우드 컴퓨팅의 가능성에 관한 최대 컨퍼런스입니다. 많은 HPC 관련 제품 발표가 있었고 클라우드 HPC 뒷편의 놀라움과 강력함이 있었습니다.
Rescale 팀은 현고객 및 잠재고객, 파트너와의 만남뿐만 아니라 성공적인 해피 아워 네트워킹 이벤트를 후원하였습니다.

AWS는 HPC가 대용량 및 탄력적 자원을 활용 할 수있는 많은 응용 프로그램을 사용하여 데이터 센터의 핵심 사용을 위한 주요 성장 동력으로보고 있으며 종종 MPI 또는 DOE (design of experiment) 매개 변수 탐색을 통해 수천 개의 코어 자원사용을 보여주었으며, 이는 석유 및 가스 탐사를위한 엔지니어링 시뮬레이션, 신약 개발, 기계 학습, 금융 서비스 및 지진 시뮬레이션과 같은 어플리케이션은 모두 클라우드 스케일링에 매우 적합합니다.

HPC는 앞으로 더 중요한 주제가 될 것입니다. 수년간에 걸쳐서 창안되었지만 최신 Intel 하드웨어를 완벽하게 활용하고 AWS에서 원활하게 실행하려면 중요한 컴퓨팅 스택이 필요합니다. Rescale 플랫폼은 이 스택을 관리하여 최종 사용자가 소프트웨어 선택, 하드웨어 선택, 작업을 실행을 간단히 할 수 있습니다. 그리고 데이터 전송 비용을 최소화하기 위해 클라우드에서 포스트 작업을 수행 할 수도 있습니다.

AWS re : Invent 2017에서 Rescale은 '간단한 설정를 통해 Intel Xeon Skylake 프로세서 및 AWS C5 인스턴스를 통해 HPC 업계 최고의 성능을 얻는 방법'이란 주제로 Intel, Richard ChildressRacing(RCR)과 세션을 진행하였습니다. 

• “Intel: Powering HPC in the Cloud”, Bill Magro, Chief Technologist HPC, Intel
• “Winning with HPC in the Cloud”, Seth Morris, Aerodynamicist, Richard Childress Racing
• “Rescale: Delivering HPC in the Cloud”, Matt McKee, Director, Rescale

슬라이드는 여기에

Bill과 Matt도 GeekWire와의 인터뷰를 가졌습니다. 

아래 그 비디오를 볼 수 있습니다 :

This article was written by Rescale ans source is hrer

Rescale is One of Silicon Valley’s Fastest Growing Enterprise Software Companies of 2017

Rescale - 2017 실리콘 벨리에서 가장 빠르게 성정하는 엔터프라이즈 소프트웨어 회사

Accelerating innovation and powering big compute at hundreds of leading enterprises

Joris Poort - December 28, 2017

올해가 끝나갈 무렵, Rescale에서 이뤄낸 성과를 공유하게되어 매우 기쁩니다. 우리는 시장에서 가장 큰 성장을 거둔 Big Compute 및 클라우드 HPC 솔루션 뿐만 아니라 가장 빠르게 성장하는 엔터프라이즈 소프트웨어 회사 입니다.  항공 우주, 자동차, 생명 과학, 대학 및 미국, 유럽 및 아시아 전역의 광범위한 범위와 같은 여러 주요 산업 분야의 급속한 성장을 가속화하여 100곳이 넘는 신규 기업 고객을 확보 한 바쁜 해가되었습니다.

우리 고객은 ScaleX Enterprise 플랫폼 및 산업용 솔루션 포트폴리오를 잘 활용하고 있으며, 사용량은 전년대비 월 30% 증가하여 실리콘 밸리의 많은 투자자가 2017년 가장 빠르게 성장하는 엔터프라이즈 소프트웨어 회사로 Rescale을 선정했습니다. 고객들은 혁신 능력을 가속화하는 놀라운 성과를 보여주고 있습니다. 주요 사례로 AirBus 복잡한 공기 역학의 개발 가속화, 한국 최초의 클라우드 기반 엔지니어링 환경을 구축한 LS산전, 기업 전체에 하이브리드 HPC를 구현하는 RWDI, 세계의 차세대 초음속 제트 여객기를 건설하는 Boom Supersonic 등이 있습니다.

새로운 소프트웨어 응용 프로그램, 클라우드 및 인프라 공급자, 기술 파트너 및 채널 및 솔루션 파트너를 포함하여 당사의 에코 시스템 파트너는 빠르게 확대 되고있습니다. Rescale은 이제 250 개가 넘는 소프트웨어 응용 프로그램으로 완전 통합된 HPC 클라우드 응용 프로그램의 가장 큰 포트폴리오를 지원합니다. Rescale은 고객과 소프트웨어 파트너 모두가 만족할 수 있는 턴키 방식의 Pay-as-you-go 라이센스 솔루션을 원-스톱으로 제공합니다. 우리의 글로벌 채널 파트너는 빠르게 확장되어 오늘날 우리의 생태계에 동참하고 있습니다.

그리고 올해 덴버에서 개최 된 Supercomputing 2017에서 큰 성과를 거두었습니다. 클라우드를 대규모 HPC 배포 전략의 일부로 통합하는 솔루션 포트폴리오를 보여주었습니다. (온 프레미스 HPC 시스템 및 하이브리드 배포와의 심층적인 통합). 

Rescale은 Boom Supersonic과 함께 클라우드에서 HPC를 최우수 사용자로 선정하여 권위있는 HPCwire Reders Choice Award를 수상했습니다. 또한 Airbus, Bionano, Boeing, NASA, Northwestern University, MIT, Warsaw 대학, 규슈 대학 및 Tokyo Institute의 참석자들과 함께 성공적인 첫 번째 산업 자문위원회를 개최했습니다.

가트너(Gartner)의 Cool Vendor for Cloud Infrastructure 선정, IDC의 주목할 만한 언급으로 클라우드 및 하이브리드 HPC의 핵심솔루션, 맥킨지 & 컴퍼니 (McKinsey & Company)의 디지털 트랜스포메이션을 위한 중요한 원동력으로 선정되었으며, 골드만 삭스 (Goldman Sachs)에서는 중요한 신흥 기술로 주목등 업계 에널리스트들은 1년동안 Rescale과 그 기술에 대해 평가하였습니다. 

Rescale은 런던, 뮌헨, 도쿄, 서울, 싱가포르, 북미 전역, 샌프란시스코 심장부에있는 본사에서 기존 및 신규 위치에서 두 배 이상 확장되었습니다. 언제나처럼, 우리는 항상 우리 팀에 합류하기 위해 뛰어난 인력을 찾고 있습니다!

2018년을 앞두고 다음과 같은 많은 새로운 목표를 달성하게 되어 기쁘게 생각합니다. 

첫번째 5대 글로벌 슈퍼 컴퓨터에 대한 배포와 세계 5대 자동차 회사 중 3곳의 생산 환경 을 확장했으며, 가장 빠르게 성장한 엔드-투-엔드 글로벌 항공 우주 생산 개발 환경을 구축하고, Fortune 500 및 Global 2000대 혁신기업의 수백 가지 대규모 컴퓨팅 배포작업을 지원하였습니다.

개인적으로 올해도 지속적으로 지원해 주신 모든 고객 분들과 폭넓은 파트너에 감사 드립니다. 2017년에 우리가 함께 이뤄 낸 모든 것이 자랑스럽고, 앞으로도 오랫동안 팀 전체가 귀사의 성공을 지속적으로 지원하기를 기대하고 있습니다. 개인적으로 저는 2018년에 Rescale의 어떤 혁신이 이루어질지 정말 기대가 됩니다! 

This article was written by Joris Poort 

Deep Learning Sample Test - PyTorch

PyTorch 예제를 실행해봤습니다. 이미지 트레이닝을 통해 노이즈를 최소화 하면서 이미지를 확대하는 'super resolution' 예제입니다. 

1. PyTorch 작업생성 및 입력파일 업로드

2. 입력파일 디렉토리 구조 - 이미지파일 311개

3. 버전 선택 및 명령어 입력

4. 하드웨어 선택 - NVIDIA - K80 GPU, Xeon E5-2690v3 6Core, 56G Memory, 360GB Stroage & Cluster Setup**

5. 작업실행 - **하나의 PyTorch 클러스터에 2개의 작업을 수행하였으며, 1개의 작업은 대기중

5-1. 작업리스트 - 295087은 실행중이며, 16077은 Queue 대기중

6. 실행화면 - 현재 진행중인 작업의 로그 및 SSH 콘솔접속을 통해 현재상태 모니터링

6-1. 콘솔을 이용한 명령어 실행 'nvidia-smi, etc..'

7. 결과

30분정도 작업시간이 걸렸습니다. 이 작업 완료후 다른 16077 작업이 바로 시작되었습니다. 

295087 결과입니다. 

output log확인

원본이미지 및 Deep Learning을 이용한 해상도확대 파일 첨부합니다. 

원본 

이미지 변환

----------------------------------------------------------------------

16077 작업완료 - 글 올리는 사이 다른 이미지 프로세싱이 종료되었습니다. 이 작업은 28분 걸렸습니다. 

클러스터 옵션을 사용한 이유는 하드웨어의 Spin on 시간이 5분에서 10분가량 소요되기때문에 

동일 S/W, 동일 버전이면 하나의 서버가 Spin on되었을때 작업을 하는게 편하여서 클러스터 작업을 하였습니다. 

과금은 1시간 단위로 되므로 

1시간 내에 있는 작업은 하나의 클러스터에서 돌리면 비용은 추가로 들지 않는 옵션이라 보면 됩니다. 

클라우드는 모든게 비용이니까 소소한 팁을 이용해서 비용을 줄일수 있습니다. 

이번작업에 동원된 하드웨어는 'NVIDIA K80 GPU-enabled, Intel Xeon E5-2690 v3' 6Core, K80 1GPU, 56G Mem, 380NVMe 1시간 사용하였고 약 1530원 가량 비용이 들었습니다. 

Rescale Receives 2017 HPCwire Readers’ Choice Award for Best Use of HPC in the Cloud

클라우드에서 HPC 제공 업체인 Rescale은 HPCwire 독자 및 편집자 선정상 (The HPCwire Readers and Editors 's Choice Awards)에서 클라우드에서의 HPC의 최우수 사용을 인정 받았습니다. 이 상은 Rescale의 ScaleX® 클라우드 HPC 플랫폼과 NASA 시뮬레이션 도구를 사용하여 한정된 자원으로 Concorde보다 30% 더 효율적인 초음속 여객기를 설계한 항공 우주 분야의 신생 기업인 Boom Supersonic의 성공으로 콜로라도 덴버 (Denver)의 슈퍼컴퓨터 2017 국제 회의 (SC17)에서 수상하였습니다.

The HPCwire Readers and Editors 's Choice Awards 시상은 전세계 HPCwire 커뮤니티와의 지명 및 투표를 통해 결정됩니다. 이 상은 매년 발표되며, HPC 커뮤니티로부터 권위있는 인정을 받습니다. 이상은 매년 고성능 컴퓨팅, 네트워킹, 스토리지 및 데이터 분석을 보여주는 연례 슈퍼 컴퓨팅 컨퍼런스가 시작할때 수여됩니다.

Rescale의 CEO 인 Joris Poort는 "우리는 이 상을 수항한 것에 대하여 찬사를 보냅니다. Boom Supersonic사는 수 년 동안 긴밀한 파트너십을 맺어 준 것에 대해 매우 감사하고 있습니다. Boom은 항공 우주 설계 및 제조 분야에서 진정으로 획기적인 작업을 수행하고 있으며, 우리는 여행 방식을 바꾸는 것을 사명으로 지원할 것을 자랑스럽게 생각합니다."

HPCwire의 발행인 인 Tabor Communications의 CEO 인 Tom Tabor는 "HPCwire 독자는 혁신적인 업계 리더부터 최종 소비자들은 고성능 컴퓨팅 커뮤니티에 이르기까지 모든 면에서 고성능 컴퓨팅 커뮤니티에 참여하고 있습니다. "이 상을 받을수 있다는것은 전체 HPC 공간뿐만 아니라 그것이 제공하는 산업의 진폭을 높이는 것입니다. 우리는 이러한 노력과 성과를 자랑스럽게 인식하고 독자들의 목소리가 들리게하는 것을 기쁘게 생각합니다. 모든 수상자들에게 진심으로 축하를드립니다. "

이 상에 대한 자세한 내용은 HPCwire 웹 사이트 (www.HPCwire.com) 또는 Twitter의 해시 태그 #HPCwireAwards를 통해 확인할 수 있습니다.

Rescale’s Turnkey Cloud HPC Platform Now Offers NVIDIA Tesla V100 GPU with NVLink

Rescale  - November 13, 2017

세계적인 HPC 클라우드 제공 업체인 Rescale은 NVIDIA Tesla V100 GPU 가속기와 NVIDIA NVLink 고속 상호 연결 기술을 AI 및 고성능 컴퓨팅 (HPC)을위한 Rescale의 ScaleX 턴키 클라우드 플랫폼에서 사용할 수 있다고 발표했습니다.
새 GPU는 Amazon Web Services (AWS)에서 호스팅하고 Rescale 파트너 인 SkyScale의 전용 베어 메탈 노드로 사용됩니다. 모든 리소스는 Rescale의 200 개가 넘는 사전 설치된 HPC 애플리케이션을 통해 시간 단위로 액세스 할 수 있습니다.

ScaleX 플랫폼에 Tesla V100을 추가하면 Rescale 사용자는 시장에서 가장 빠르고 강력한 GPU에 즉시 액세스 할 수 있습니다. 고효율의 NVIDIA Volta GPU 아키텍처를 기반으로 한 Tesla V100은 전작보다 3배의 성능을 제공합니다.

GPU는 유한 요소 분석 (FEA)과 같은 HPC 애플리케이션을 가속화하며 뇌의 신경 네트워크를 모방하려는 기계 학습의 한 분야인 심층 학습에 널리 사용됩니다.

Tesla V100은 NVIDIA의 이전 세대 인 Tesla P100 및 Tesla K80을 포함하여 Rescale ScaleX 플랫폼에서 기존 NVIDIA GPU 제품군을 보완합니다. Rescale 클라우드에서 다양한 CPU 및 GPU 아키텍처를 사용할 수 있으므로 예산 및 프로젝트 일정 및 비용에 맞게 최적화 된 클러스터에서 애플리케이션을 Pay-by-you-go 방식으로 실행 할 수 있습니다.

"NVIDIA NVLink를 갖춘 Tesla V100을 우리 플랫폼에 추가하여 고객이 즉시 가장 빠른 GPU 및 상호 연결에 쉽게 액세스 할 수있게되어 기쁘게 생각합니다. "파트너 SkyScale 및 AWS를 통해 주문형 최신 하드웨어에 액세스함으로써 고객은 혁신, 해석의 범위를 넓히고 가장 빠른 개발 주기 및 시장 출시 시간을 달성 할 수있게 되었습니다." -Rescale의 HPC VP & GM  Gabriel Broner

"SkyScale의 베어 메탈 시스템은 ScaleX 플랫폼에 독특한 구성을 제공합니다. "우리의 고속 멀티 -GPU V100 및 P100 시스템은 단일 노드에 4, 8 또는 16 개의 GPU가 있으며 클러스터링 할 수도 있습니다. NVIDIA NVLink ™ 고속 상호 연결을 사용하는 제품은 최대 300GB/s를 지원합니다. 이는 PCIe의 대역폭의 5 배입니다. "- SkyScale의 Tim Miller President

엔비디아 NVIDIA NVLink를 탑재 한 테슬라 V100 GPU를 Rescale 클라우드와 함께 사용하면 고객은 가장 까다로운 HPC 및 AI 작업 부하에 대한 요구에 따라 세계에서 가장 빠른 GPU에 유연하게 액세스 할 수 있습니다. " - NVIDIA의 제품 마케팅 매니저 Paresh Kharya

원문보기
https://blog.rescale.com/rescale-offers-nvidia-tesla-v100-gpu-with-nvlink/