Google TPU v5e·v5p vs NVIDIA H100 벤치마크:LLM 추론&Diffusion실사용 성능·비용·지연 총정리
"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다." Google TPU v5e·v5p vs H100 벤치마크: LLM 추론·Diffusion 성능/비용/지연 종합 가이드 Google TPU v5e·v5p vs NVIDIA H100 벤치마크 : LLM 추론 & Diffusion 실사용 성능·비용· 지연 총정리 내가 직접 설계한 동일 조건 테스트로, **p99 지연**, **토큰/초**, **스루풋/달러**를 한눈에 비교했습니다. 서비스 운영 관점에서 **TTFT(첫 토큰 지연)**, 오토스케일, 캐시 전략까지 현실 지표로 풀어냅니다. 요약 : 조직이 의사결정에 바로 쓸 수 있도록 비용·속도·품질 3축을 축약 지표로 정리합니다. 데이터·스크립트는 하단에서 내려받을 수 있습니다. Table of Contents 벤치마크 방법론 & 변수 통제 LLM 추론: 비용 대비 성능 Diffusion 이미지 생성: 속도·품질 최적화 p99 지연 낮추는 아키텍처 패턴 미세튜닝 경제학: LoRA/QLoRA on v5e 사례 연구 & 최신 통계 FAQ 자료 내려받기 & 참고 링크 비용 비교가 급하다면? 아래 캐러셀에서 워크로드에 맞는 구성을 빠르게 살펴보세요. 벤치마크 방법론 과 변수 통제 (재현성 보장) 동일 프롬프트·동일 데이터 경로에서 **Llama 3.x 8B/70B, Qwen 14B**를 대상으로 FP8·INT8·AWQ를 비교합니다. 배치·동시성·KV 캐시 on/off·샤딩 수를 교차 실험하여 편차를 최소화했습니다. 환경은 v5e·v5p·H100 동급 가격대 노드로 맞췄고, 오토스케일 설정은 냉·온 스타트 모두 포함했습니다. 관측 지표는 **TTFT, TPS, p50/p95/p99, 장애율, 전력/요청**입니다. 테스트 매트릭스 ...