AMD presenta las GPU Instinct MI350P PCIe para IA empresarial en infraestructura existente

A medida que las organizaciones adoptan la inteligencia artificial, muchas descubren que su infraestructura no logra seguir el ritmo. Ejecutar IA en la nube es una opción, pero la nube puede introducir preocupaciones de privacidad y costos impredecibles. Actualizar la infraestructura local es otra alternativa, aunque soportar grandes plataformas de aceleración con GPU puede requerir rediseños costosos en energía y refrigeración dentro del centro de datos.

Las nuevas AMD Instinct MI350P PCIe ofrecen una tercera vía para las empresas: rendimiento líder en IA, diseñado para adaptarse a la infraestructura de centro de datos que ya poseen.

Rendimiento para IA sin cambiar tus racks actuales

Diseñadas para ayudar a las empresas a prepararse para la era de la IA agéntica, las AMD Instinct MI350P PCIe son tarjetas dual-slot pensadas para servidores estándar refrigerados por aire. Están construidas para implementar inferencia on-premise dentro de la infraestructura de energía, refrigeración y racks ya existente en el centro de datos.

Las GPU AMD Instinct en formato PCIe, más rentable, amplían la cartera de cómputo para IA de AMD, ofreciendo más opciones para empresas en función de su propio ritmo de adopción de IA.

El formato PCIe es ideal para organizaciones que necesitan más potencia de cómputo para IA de la que puede ofrecer una CPU, pero que todavía no están listas para invertir en plataformas dedicadas de aceleración GPU. Disponibles en sistemas refrigerados por aire con hasta ocho tarjetas aceleradoras, las AMD Instinct MI350P PCIe apuntan a modelos de IA pequeños, medianos y grandes para inferencia y pipelines de RAG.

Escalar IA también significa escalar el retorno de inversión

Las AMD Instinct MI350P PCIe están diseñadas para ofrecer alto rendimiento en IA con una combinación de coste eficiente y performance de liderazgo. Entre sus características principales se encuentran:

• Soporte nativo para MXFP6 y MXFP4, precisiones de menor tamaño que ofrecen alto rendimiento (throughput).
• Aceleración mediante soporte de sparsity para la mayoría de las precisiones habituales de 8 y 16 bits.
• Rendimiento estimado de 2.299 teraflops (TFLOPS) y hasta 4.600 TFLOPS pico en MXFP4, el nivel de rendimiento más alto actualmente disponible en una tarjeta PCIe empresarial.
• 144 GB de memoria HBM3E con hasta 4 TB/s de ancho de banda.
• Ecosistema abierto con opciones de desarrollo de bajo o nulo costo, lo que facilita la implementación y ayuda a reducir los gastos operativos.

Software empresarial para IA: desarrollá con tu stack, a tu manera

AMD diseñó las AMD Instinct MI350P PCIe con estándares abiertos para garantizar la interoperabilidad entre plataformas. Su incorporación refuerza la estrategia de AMD de habilitar un ecosistema de IA totalmente abierto, dando más opciones al cliente empresarial.

La propuesta de software empresarial para IA de AMD funciona como una base integrada dentro de un amplio ecosistema de herramientas. Incluye:

• Kubernetes GPU Operator para gestión del ciclo de vida completo.
• AMD Inference Microservices nativos para la nube.
• Soporte nativo para frameworks de IA como PyTorch.

Todo esto permite migrar cargas de inferencia con mínimos cambios de código.

AMD también ofrece a sus socios una reference stack open source para IA empresarial sin coste de licencia. Esto proporciona más transparencia en el código y ayuda a reducir gastos operativos. Combinada con las tarjetas AMD Instinct MI350P PCIe y soluciones de socios, esta pila permite a las organizaciones ponerse en marcha rápidamente on-premise, sin cargos continuos por token.

Aceleración nativa para los niveles de precisión que usa la IA empresarial

Las AMD Instinct MI350P PCIe soportan el espectro de precisiones que los modelos empresariales de IA utilizan con mayor frecuencia.

Mientras que MXFP6 y MXFP4 maximizan el rendimiento puro en TFLOPS y permiten implementaciones eficientes, formatos de mayor precisión como INT8 y BF16 se benefician del soporte de sparsity de la GPU AMD Instinct MI350P para entregar un rendimiento eficiente.

Independientemente del nivel de precisión, AMD señala que estas tarjetas están diseñadas para ofrecer máximo throughput de GPU y menor uso de memoria, ayudando a reducir las exigencias de energía y refrigeración.

El soporte para FP8, MXFP8 y MXFP4 es una de las principales razones por las que las AMD Instinct MI350P PCIe pueden procesar las cargas de trabajo actuales de IA dentro de centros de datos estándar refrigerados por aire.

Fuente: AMD