다양한 GPU에서 Tensorflow 성능과 비용 벤치마킹

학생부터 전문가까지 머신러닝 전문가는 자신의 작업을 GPU로 옮겼을 때의 효과를 잘 알고는 있습니다. GPU가 한개도 없으면 특정 작업은 단순히 컴퓨팅 능력이 부족하여 실현할 수 없게 됩니다. 그러나 사용 가능한 옵션을 선택하기에는 너무 혼란스럽습니다. 구매해야 하는지 임대를 해야 하는지 , 이렇게 했을 경우 얼마나 많은 성능과 비용을 기대할 수 있는지 알 수가 없습니다.

이를 염두에 두고 Tensorflow에서 구현하여 현실적으로 GPU에 대한 몇 가지 GPU 옵션을 벤치마킹 했습니다.

Nvidia 1080 Ti (개인 데스크탑)

Amazon p2.xlarge 인스턴스 ($ 0.90 / 시간 – Nvidia Tesla K80)

Paperspace P5000 ($ 0.60 / 시간 – Nvidia Quadro P5000)

Paperspace GPU + ($ 0.40 / 시간 – Nvidia Quadro M4000)

Macbook Pro CPU (i5 2GHz)

벤치마크는 Tensorflow v1.0을 각 시스템에 설치하고, Inception v4 모델의 기존 체크포인트를 미세조정하면서 스크립트 를 사용하여 각각 실행이 시작된 후 초당 미니 배치로 표시된 성능을 모니터링했습니다.

성능
당연히 결과는 비교적 새로운 MacBook Pro 라 할지라도 컴퓨팅 능력이 떨어지는 머신러닝 작업에 적합하지 않은 CPU가 어떤지를 보여줍니다. 성능에 관계 없이 GPU를 선택 하면 성능이 몇 배 이상 향상됩니다 (Amazon의 p2.xlarge의 경우 43x , Nvidia의 1080Ti의 경우 167x ).


Paperspace는 자신의 하드웨어에 투자하고 싶지 않거나 투자 할 필요가없는 사람들을 위한 경제적인 선택입니다.

자체 시스템 구축을 꺼려하는 사람들을 위해 Amazon은 더 이상 단일 GPU 작업 부하를 위한 경제적인 선택 옵션이 아닙니다. GPU가 오래되고 전력이 부족할 뿐만 아니라 비용도 상대적으로 높습니다. 비용을 조정하면 Paperspace의 GPU + 인스턴스 유형은 Amazon보다 약 2.7 배 저렴하고 P5000은 성능 및 비용 측면에서 확실한 승자입니다.

결론
헤비 유저 : DIY로 이동하십시오. 새로운 GPU의 성능상의 이점을 누릴뿐만 아니라 헤비 유저들은 비용을 회수 할 수있을 뿐만 아니라, 특히 아마존에서 시작하는 경우에 비교한다면 비용을 회수 할 수 있습니다. 또한 항상 GPU를 사용할 수 있다는 것은 Paperspace, Amazon 또는 Google Cloud에 관계없이 GPU 대여의 종료에 대해 걱정하지 않고 훨씬 더 빨리 반복 할 수 있다는 것을 의미합니다.

보통 또는 가끔 이용하는 사용자 : Paperspace 가 가장 좋습니다. 두 가지 등급 중 하나를 선택할 수 있으며 모든 수준의 성능 비용은 Amazon보다 훨씬 낮습니다. 또한 추가로 브라우저를 통해 액세스 할 수있는 데스크탑 리눅스 환경을 갖게됩니다.

병렬 애플리케이션 : 아마존은 비용과 성능면에서 놓친 반면, 다중 GPU (8 및 16 GPU 인스턴스 유형)를 제공합니다. 응용 프로그램이 실제로 여러 개의 GPU를 필요로한다면 Amazon이 합당한 선택이 될 수 있습니다. 단 16개의 GPU에 대해 시간당 14.40 달러를 지불해야합니다. 대부분의 경우 1080 Ti를 추가하는 것은 합리적인 가격대(699 달러)에 높은 성능을 제공받으므로 경제적으로 선택하여야 합니다. Dual-1080 Ti GPU는 8GPU Amazon p2.8xlarge의 성능과 대략 일치 합니다.

Vincent Chu
Current: Operating partner at @initializedcap. Former: @ClaraLending, @twitter, @posterous. Studied Physics and Mathematics at Stanford and Harvard.