구글 차세대 AI 워크로드 발표 포스팅.
새로운 AI 가속기인 Cloud TPU v5p, 슈퍼컴퓨터 아키텍처인 AI 하이퍼컴퓨터를 발표했어요.
새로 발표된 TPU v5p는 기존 세대보다 빠른 트레이닝 속도와 높은 확장성을 제공합니다. 각 TPU v5p 팟은 8,960개의 칩을 최대 4,800 Gbps의 대역폭을 통해 구성됩니다. 전세대 TPU v4 대비 2x FLOPS, 3x 메모리를 제공합니다. 그래서 v4대비 v5p는 LLM 학습에서 2.8배 빨라졌습니다.
AI 하이퍼컴퓨터는 성능 최적화된 하드웨어, 오픈 소프트웨어, 대규모 ML 프레임워크 지원 및 효율적인 리소스 관리를 통합적으로 제공하는 아키텍처입니다. GKE (구글 쿠버네티스 엔진), GCE (구글 컴퓨트 엔진) 긴밀하게 통합된 형태로 성능 최적화 되었습니다. JAX/PyTorch/TensorFlow 를 즉시 지원합니다.
구글 차세대 AI 워크로드 발표 포스팅. 새로운 AI 가속기인 Cloud TPU v5p, 슈퍼컴퓨터 아키텍처인 AI 하이퍼컴퓨터를 발표했어요. 새로 발표된 TPU v5p는 기존 세대보다 빠른 트레이닝 속도와 높은 확장성을 제공합니다. 각 TPU v5p 팟은 8,960개의 칩을 최대 4,800 Gbps의 대역폭을 통해 구성됩니다. 전세대 TPU v4 대비 2x FLOPS, 3x 메모리를 제공합니다. 그래서 v4대비 v5p는 LLM 학습에서 2.8배 빨라졌습니다. AI 하이퍼컴퓨터는 성능 최적화된 하드웨어, 오픈 소프트웨어, 대규모 ML 프레임워크 지원 및 효율적인 리소스 관리를 통합적으로 제공하는 아키텍처입니다. GKE (구글 쿠버네티스 엔진), GCE (구글 컴퓨트 엔진) 긴밀하게 통합된 형태로 성능 최적화 되었습니다. JAX/PyTorch/TensorFlow 를 즉시 지원합니다.
Introducing Cloud TPU v5p and AI Hypercomputer | Google Cloud Blog
The new TPU v5p is a core element of AI Hypercomputer, which is tuned, managed, and orchestrated specifically for gen AI training and ser…