반응형 Blackwell아키텍처1 NVIDIA, Blackwell 아키텍처로 GPT-oss 모델 150만 TPS 가속화 NVIDIA, Blackwell 아키텍처로 GPT-oss 모델 150만 TPS 가속화GB200 NVL72 시스템에서 실시간 AI 추론 성능 비약적 향상 [AF 에엪 기술융합부] 2025년 8월 5일, NVIDIA가 차세대 GPU 아키텍처인 블랙웰(Blackwell) 기반의 GB200 NVL72 시스템을 공개했다. 이 시스템은 GPT-oss-20b 및 GPT-oss-120b 모델을 최대 150만 토큰/초(TPS)의 속도로 실행하는 데 성공했다. 이는 AI 언어 모델의 추론(Inference) 성능을 획기적으로 끌어올린 결과로, 특히 대규모 언어 모델(LLM)의 실시간 서비스 가능성을 크게 확장했다고 평가된다. 이번 성능 향상은 블랙웰 아키텍처의 여러 기술적 혁신 덕분이다. 먼저, FP4 텐서코어는 기존.. 2025. 8. 19. 이전 1 다음 반응형
