2018년 1월 14일 일요일

NVIDIA Tesla V100 Benchmark Results on Rescale

 - 

Rescale은 NVIDIA의 최신 GPU 인 Tesla V100을 ScaleX 플랫폼에 추가했습니다. 이것은 최신 Volta 아키텍처를 기반으로 한 NVIDIA 최초의 GPU입니다. 2017 년 11 월 13 일부터 모든 플랫폼 사용자는 ScaleX 표준 배치 워크 플로우에서 V100을 선택할 수 있습니다.

Deep Learning 최적화
Rescale의 V100 전원 시스템에는 1, 4 또는 8 개의 V100 GPU가 모두 제공되며 모두 300GB / s NVLink 상호 연결로 연결됩니다. V100 Volta 아키텍처는 학습 기능이 깊고 반 정밀도의 Tensor 코어를 사용하여 심층 학습 워크로드에 최적화되어 있습니다. 이 시스템은 Caffe2 ResNet50 트레이너 벤치 마크 결과에서 볼 수 있듯이 이전 세대 P100 시스템보다 2 배 이상 빠른 학습 모델을 학습 할 수 있습니다.

(Synthetic data, per GPU batch size of 64)
TensorFlow는 CUDA 9를 사용하여 테스트 한 3 가지 네트워크 아키텍처 모두에서 TensorFlow의 신경 네트워크 벤치 마크에서 8 개의 V100이 8 개의 P100보다 40 % 뛰어난 성능을 보였습니다.
(Synthetic data, per GPU batch size of 64)
Start Using V100 GPUs Today!
NVIDIA V100을 지금 시작하려면 다음과 같이 복제하고 실행할 수있는 몇 가지 샘플 작업을 통해 새 하드웨어를 테스트하십시오. 작업 복제 방법에 대한 지침을 보려면 여기를 클릭하십시오. 물론 Rescale 계정이 필요하므로 여기에 가입 할 수 있습니다.(https://kr.rescale.com/spk/signup/)

Caffe2 ResNet50 Trainer benchmark
Caffe2는 새로운 Tensor 코어에 대한 지원을 통합하고 Volta 아키텍처에서 반 정밀도 부동 소수점 연산을 최대한 활용하는 최초의 심층 학습 프레임 워크 중 하나입니다. 

TensorFlow InceptionV3 benchmark
TensorFlow는 고성능 모델 교육을 제공하는 것으로도 유명합니다. 위에 표시된 동일한 TensorFlow CNN 벤치 마크를 Rescale V100s에서 실행하여 결과를 비교해주세요.

Deep Learning Kickstart Program
하드웨어 파트너 인 SkyScale과의 공동 프로모션의 일환으로 Deep Learning Kickstart 프로그램에 참여하십시오. 이 프로그램은 승인 된 지원자에게 GPU 사용을위한 Rescale 하드웨어 크레딧을 1,000-5,000 달러에 수여합니다. 회사를 대표하는 모든 Rescale 사용자는 신청 자격이 있습니다. 이 프로그램의 사용자는 NVLinked P100 또는 V100 GPU가있는 시스템에서 실행할 수 있습니다.

This article was written by Mark Whitney.

2018년 1월 Rescale Korea NewsLetter


                                                                                    2018년 1월



Thank you for an incredible year!
Rescale - 2017 실리콘 벨리에서 가장 빠르게 성정하는엔터프라이즈 소프트웨어 회사

항공 우주, 자동차, 생명 과학, 대학 및 미국, 유럽 및 아시아 전역의 광범위한 범위와 같은 여러 주요 산업 분야의 급속한 성장을 가속화하여 100곳이 넘는 신규 기업 고객을 확보 한 바쁜 해가되었습니다.
우리 고객은 ScaleX Enterprise 플랫폼 및 산업용 솔루션 포트폴리오를 잘 활용하고 있으며, 사용량은 전년대비 월 30% 증가하여 실리콘 밸리의 많은 투자자가 2017년 가장 빠르게 성장하는 엔터프라이즈 소프트웨어 회사로 Rescale을 선정했습니다.. Read More →
새로운 소식


CAD & Graphics 인터뷰
[피플] 리스케일 토니 스패그누올로 부사장, 잭 리우 디렉터

엔지니어링을 위한 클라우드 CAE 플랫폼에 집중

캐드엔그래픽스  정수진 편집장



CAD & Graphics 인터뷰

LS그룹 이학성CTO, LS산전 유성열 책임연구원

강력하면서 유연한 CAE 클라우드 시뮬레이션으로 디지털 혁신에 나서다.

캐드엔그래픽스  정수진 편집장
Read More →





전국 산업단지 클라우드 지원사업을 통해 Rescale 클라우드 플랫폼 사용 지원을 받을수 있게 되었습니다.

과학기술정보 통신부, 정보통신산업진흥원(NIPA)에서 주관하는 전국산업단지 클라우드 지원사업은 산업단지에 입주한 중소, 중견기업대상으로 연간 일정사용료에 대한 비용을 지원하는 사업으로 MES, OA, CRM, IaaS, PaaS, SaaS등 다양한 클라우드 서비스의 이용금액을 지원받을수 있는 사업으로 CAE, CFD 해석 시뮬레이션 클라우드 플랫폼인 Rescale의 사용료를 최대 70%까지 지원 받으실 수 있습니다.
Rescale Platform은 연구개발 항목에서 찾으실 수 있습니다.
지원사업 홈페이지 http://www.k-cloud.or.kr/

HARDWARE UPDATE


Emerald 인스턴스가 추가되었습니다. Intel Xeon P-8124 Skylake CPU로 Core당 4GB 메모리, 25Gb/s interconnect의 사양입니다. 1node당 36코어, 144GB 메모리, 1.3TB SSD로 구성됩니다.
Xeon Platinum 8124는 Intel이 2017 년에 도입 한 64 비트 18 코어 x86 멀티 소켓 고성능 서버 마이크로 프로세서입니다.이 칩은 최대 8 웨이 다중 처리를 지원합니다. Skylake 마이크로 아키텍처의 서버 구성을 기반으로하고 14nm + 공정으로 제조 된 Platinum 8124는 2 개의 AVX-512 FMA 장치와 3 개의 Ultra Path Interconnect 링크를 갖추고 있습니다.
Rescale Hardware Type :  Read More →
Pre-installed Software List : Read More →

Rescale

Rescale은 시뮬레이션 소프트웨어 및 고성능 컴퓨팅 (HPC) 솔루션을 제공하는 세계 최고의 클라우드 플랫폼 공급 업체입니다.  Rescale 플랫폼 솔루션은 웹 기반 환경으로 언제 어디서나 사용 가능하며, 업계 최고의 보안 서비스를 제공합니다. 다양한 CAE 소프트웨어를 글로벌 클라우드 인프라 환경에서 즉시 사용 가능하도록 HPC 인프라를 제공합니다.  샌프란시스코에  위치하고 있으며 Rescale 고객은 우주 항공, 자동차, 생명 과학, 해양, 소비재 및 에너지 부문의 Fortune 지 선정 500대 기업중 기술 혁신 기업에서 사용하고 있습니다.
Rescale, Inc. 944 Market Street Suite 300 San Francisco, CA 94102

2017년 12월 29일 금요일

Rescale at AWS re:Invent with Intel and Richard Childress Racing

Rescale at AWS re:Invent with Intel and Richard Childress Racing
 - 

AWS conference image


Amazon Web Services (AWS)는 매년 라스베가스에서 세계 최대의 AWS는 Invent 클라우드 컴퓨팅 컨퍼런스를 개최하고 있으며,  11월 27일의 Rescale은 인텔과 클라우드의 고성능 컴퓨팅 (HPC) 핵심 파트너 및 고객에게 우리 턴키 플랫폼이 까다로운 응용 프로그램 작업 부하를 AWS public cloud에서 인텔 프로세서와 어떻게 연결하는지 보여주었습니다

 AWS re : Invent는 클라우드 컴퓨팅의 가능성에 관한 최대 컨퍼런스입니다. 많은 HPC 관련 제품 발표가 있었고 클라우드 HPC 뒷편의 놀라움과 강력함이 있었습니다.
Rescale 팀은 현고객 및 잠재고객, 파트너와의 만남뿐만 아니라 성공적인 해피 아워 네트워킹 이벤트를 후원하였습니다.

AWS는 HPC가 대용량 및 탄력적 자원을 활용 할 수있는 많은 응용 프로그램을 사용하여 데이터 센터의 핵심 사용을 위한 주요 성장 동력으로보고 있으며 종종 MPI 또는 DOE (design of experiment) 매개 변수 탐색을 통해 수천 개의 코어 자원사용을 보여주었으며, 이는 석유 및 가스 탐사를위한 엔지니어링 시뮬레이션, 신약 개발, 기계 학습, 금융 서비스 및 지진 시뮬레이션과 같은 어플리케이션은 모두 클라우드 스케일링에 매우 적합합니다.

HPC는 앞으로 더 중요한 주제가 될 것입니다. 수년간에 걸쳐서 창안되었지만 최신 Intel 하드웨어를 완벽하게 활용하고 AWS에서 원활하게 실행하려면 중요한 컴퓨팅 스택이 필요합니다. Rescale 플랫폼은 이 스택을 관리하여 최종 사용자가 소프트웨어 선택, 하드웨어 선택, 작업을 실행을 간단히 할 수 있습니다. 그리고 데이터 전송 비용을 최소화하기 위해 클라우드에서 포스트 작업을 수행 할 수도 있습니다.

AWS re : Invent 2017에서 Rescale은 '간단한 설정를 통해 Intel Xeon Skylake 프로세서 및 AWS C5 인스턴스를 통해 HPC 업계 최고의 성능을 얻는 방법'이란 주제로 Intel, Richard ChildressRacing(RCR)과 세션을 진행하였습니다. 

  • “Intel: Powering HPC in the Cloud”, Bill Magro, Chief Technologist HPC, Intel
  • “Winning with HPC in the Cloud”, Seth Morris, Aerodynamicist, Richard Childress Racing
  • “Rescale: Delivering HPC in the Cloud”, Matt McKee, Director, Rescale


Bill과 Matt도 GeekWire와의 인터뷰를 가졌습니다. 
아래 그 비디오를 볼 수 있습니다 :



This article was written by Rescale ans source is hrer



Rescale is One of Silicon Valley’s Fastest Growing Enterprise Software Companies of 2017

Rescale - 2017 실리콘 벨리에서 가장 빠르게 성정하는 엔터프라이즈 소프트웨어 회사

Accelerating innovation and powering big compute at hundreds of leading enterprises
 - 

올해가 끝나갈 무렵, Rescale에서 이뤄낸 성과를 공유하게되어 매우 기쁩니다. 우리는 시장에서 가장 큰 성장을 거둔 Big Compute 및 클라우드 HPC 솔루션 뿐만 아니라 가장 빠르게 성장하는 엔터프라이즈 소프트웨어 회사 입니다.  항공 우주, 자동차, 생명 과학, 대학 및 미국, 유럽 및 아시아 전역의 광범위한 범위와 같은 여러 주요 산업 분야의 급속한 성장을 가속화하여 100곳이 넘는 신규 기업 고객을 확보 한 바쁜 해가되었습니다.

우리 고객은 ScaleX Enterprise 플랫폼 및 산업용 솔루션 포트폴리오를 잘 활용하고 있으며, 사용량은 전년대비 월 30% 증가하여 실리콘 밸리의 많은 투자자가 2017년 가장 빠르게 성장하는 엔터프라이즈 소프트웨어 회사로 Rescale을 선정했습니다. 고객들은 혁신 능력을 가속화하는 놀라운 성과를 보여주고 있습니다. 주요 사례로 AirBus 복잡한 공기 역학의 개발 가속화, 한국 최초의 클라우드 기반 엔지니어링 환경을 구축한 LS산전, 기업 전체에 하이브리드 HPC를 구현하는 RWDI, 세계의 차세대 초음속 제트 여객기를 건설하는 Boom Supersonic 등이 있습니다.

새로운 소프트웨어 응용 프로그램, 클라우드 및 인프라 공급자, 기술 파트너 및 채널 및 솔루션 파트너를 포함하여 당사의 에코 시스템 파트너는 빠르게 확대 되고있습니다. Rescale은 이제 250 개가 넘는 소프트웨어 응용 프로그램으로 완전 통합된 HPC 클라우드 응용 프로그램의 가장 큰 포트폴리오를 지원합니다. Rescale은 고객과 소프트웨어 파트너 모두가 만족할 수 있는 턴키 방식의 Pay-as-you-go 라이센스 솔루션을 원-스톱으로 제공합니다. 우리의 글로벌 채널 파트너는 빠르게 확장되어 오늘날 우리의 생태계에 동참하고 있습니다.

그리고 올해 덴버에서 개최 된 Supercomputing 2017에서 큰 성과를 거두었습니다. 클라우드를 대규모 HPC 배포 전략의 일부로 통합하는 솔루션 포트폴리오를 보여주었습니다. (온 프레미스 HPC 시스템 및 하이브리드 배포와의 심층적인 통합). 
Rescale은 Boom Supersonic과 함께 클라우드에서 HPC를 최우수 사용자로 선정하여 권위있는 HPCwire Reders Choice Award를 수상했습니다. 또한 Airbus, Bionano, Boeing, NASA, Northwestern University, MIT, Warsaw 대학, 규슈 대학 및 Tokyo Institute의 참석자들과 함께 성공적인 첫 번째 산업 자문위원회를 개최했습니다.

가트너(Gartner)의 Cool Vendor for Cloud Infrastructure 선정, IDC의 주목할 만한 언급으로 클라우드 및 하이브리드 HPC의 핵심솔루션, 맥킨지 & 컴퍼니 (McKinsey & Company)의 디지털 트랜스포메이션을 위한 중요한 원동력으로 선정되었으며, 골드만 삭스 (Goldman Sachs)에서는 중요한 신흥 기술로 주목등 업계 에널리스트들은 1년동안 Rescale과 그 기술에 대해 평가하였습니다. 

Rescale은 런던, 뮌헨, 도쿄, 서울, 싱가포르, 북미 전역, 샌프란시스코 심장부에있는 본사에서 기존 및 신규 위치에서 두 배 이상 확장되었습니다. 언제나처럼, 우리는 항상 우리 팀에 합류하기 위해 뛰어난 인력을 찾고 있습니다!

2018년을 앞두고 다음과 같은 많은 새로운 목표를 달성하게 되어 기쁘게 생각합니다. 
첫번째 5대 글로벌 슈퍼 컴퓨터에 대한 배포와 세계 5대 자동차 회사 중 3곳의 생산 환경 을 확장했으며, 가장 빠르게 성장한 엔드-투-엔드 글로벌 항공 우주 생산 개발 환경을 구축하고, Fortune 500 및 Global 2000대 혁신기업의 수백 가지 대규모 컴퓨팅 배포작업을 지원하였습니다.

개인적으로 올해도 지속적으로 지원해 주신 모든 고객 분들과 폭넓은 파트너에 감사 드립니다. 2017년에 우리가 함께 이뤄 낸 모든 것이 자랑스럽고, 앞으로도 오랫동안 팀 전체가 귀사의 성공을 지속적으로 지원하기를 기대하고 있습니다. 개인적으로 저는 2018년에 Rescale의 어떤 혁신이 이루어질지 정말 기대가 됩니다! 

2017년 12월 19일 화요일

Deep Learning Sample Test - PyTorch


PyTorch 예제를 실행해봤습니다. 이미지 트레이닝을 통해 노이즈를 최소화 하면서 이미지를 확대하는 'super resolution' 예제입니다. 

1. PyTorch 작업생성 및 입력파일 업로드


2. 입력파일 디렉토리 구조 - 이미지파일 311개



3. 버전 선택 및 명령어 입력



4. 하드웨어 선택 - NVIDIA - K80 GPU, Xeon E5-2690v3 6Core, 56G Memory, 360GB Stroage & Cluster Setup**



5. 작업실행 - **하나의 PyTorch 클러스터에 2개의 작업을 수행하였으며, 1개의 작업은 대기중



5-1. 작업리스트 - 295087은 실행중이며, 16077은 Queue 대기중


6. 실행화면 - 현재 진행중인 작업의 로그 및 SSH 콘솔접속을 통해 현재상태 모니터링


6-1. 콘솔을 이용한 명령어 실행 'nvidia-smi, etc..'


7. 결과


30분정도 작업시간이 걸렸습니다. 이 작업 완료후 다른 16077 작업이 바로 시작되었습니다. 

295087 결과입니다. 

output log확인




원본이미지 및 Deep Learning을 이용한 해상도확대 파일 첨부합니다. 

원본 

이미지 변환

----------------------------------------------------------------------
16077 작업완료 - 글 올리는 사이 다른 이미지 프로세싱이 종료되었습니다. 이 작업은 28분 걸렸습니다. 

클러스터 옵션을 사용한 이유는 하드웨어의 Spin on 시간이 5분에서 10분가량 소요되기때문에 
동일 S/W, 동일 버전이면 하나의 서버가 Spin on되었을때 작업을 하는게 편하여서 클러스터 작업을 하였습니다. 
과금은 1시간 단위로 되므로 
1시간 내에 있는 작업은 하나의 클러스터에서 돌리면 비용은 추가로 들지 않는 옵션이라 보면 됩니다. 

클라우드는 모든게 비용이니까 소소한 팁을 이용해서 비용을 줄일수 있습니다. 
이번작업에 동원된 하드웨어는 'NVIDIA K80 GPU-enabled, Intel Xeon E5-2690 v3' 6Core, K80 1GPU, 56G Mem, 380NVMe 1시간 사용하였고 약 1530원 가량 비용이 들었습니다.