Para impulsar el crecimiento de los servicios de IA en todo el mundo, NVIDIA acaba de lanzar una plataforma de centro de datos que proporciona la aceleración más avanzada del sector para servicios de voz, vídeo, imagen y asesoría. Se trata de la plataforma TensorRT Hyperscale Inference Platform, que incluye a la GPU NVIDIA Tesla T4.
TensorRT Hyperscale Inference Platform, la nueva plataforma de Nvidia para centro de datos
Las tarjetas gráficas NVIDIA Tesla T4 basadas en la revolucionaria arquitectura NVIDIA Turing, llega para ofrecer el rendimiento más rápido con menor latencia para aplicaciones de extremo a extremo. La plataforma permite a los centros de datos ofrecer nuevos servicios, como interacciones mejoradas en lenguaje natural y respuestas directas a consultas de búsqueda en lugar de una lista de posibles resultados.
Cada día, los centros de datos masivos procesan miles de millones de consultas de voz, traducciones, imágenes, vídeos, recomendaciones e interacciones con los medios sociales. Cada una de estas aplicaciones requiere un tipo diferente de red neuronal que reside en el servidor donde tiene lugar el procesamiento.
Para optimizar el centro de datos y obtener el máximo rendimiento y utilización del servidor, la plataforma NVIDIA TensorRT Hyperscale incluye software de inferencia en tiempo real y GPUs Tesla T4, que procesan las consultas hasta 40 veces más rápido que los CPUs
NVIDIA Tesla T4 ofrecerá hasta 65 teraflops
NVIDIA Tesla T4 posee 320 núcleos Tensor y 2.560 núcleos CUDA, esta nueva GPU proporciona un rendimiento excepcional con funciones flexibles y de precisión, desde FP32, FP16 e INT8, así como INT4. Envasado en un formato PCIe pequeño de 75 vatios y bajo consumo que se adapta fácilmente a la mayoría de los servidores, ofrece 65 teraflops de máximo rendimiento en FP16, 130 teraflops para INT8 y 260 teraflops para INT4.
Chris Kleban, director Google Cloud, dijo: «La IA está cada vez más extendida, y la inferencia es una capacidad crítica que los clientes necesitan para desplegar con éxito sus modelos de IA, por lo que estamos muy contentos de poder dar soporte próximamente a las GPU Turing Tesla T4 de NVIDIA en Google Cloud Platform».
