Increíble Aumento de Rendimiento en IA para GPU RTX de NVIDIA con su Último Driver

El nuevo driver de NVIDIA representa un avance significativo en el rendimiento de la IA para las tarjetas gráficas RTX.

Un Cambio Revolucionario

¿Te imaginas mejorar hasta 3 veces el rendimiento de tus tareas de Inteligencia Artificial (IA) con tan solo un nuevo driver? Pues bien, eso es exactamente lo que NVIDIA ha logrado con su reciente lanzamiento. Aunque inicialmente el nuevo driver 555.85 WHQL parecía no traer grandes novedades, un detalle oculto en las notas de lanzamiento revela una mejora impresionante en el rendimiento de las GPU RTX de la compañía.

El Secreto Revelado

Mientras que las notas de lanzamiento del nuevo driver parecían poco emocionantes, NVIDIA compartió en su blog la verdadera joya del nuevo software: un aumento de rendimiento de hasta 3 veces en tareas de IA para las GPU RTX. Pero, ¿en qué áreas específicas se produce esta mejora?

Según lo anunciado en la conferencia Microsoft Build, NVIDIA ha integrado nuevas optimizaciones de rendimiento para la IA en Windows en sus GeForce RTX, así como en estaciones de trabajo con RTX. Aunque esta información no se refleja en las notas de lanzamiento del driver, las mejoras son realmente impresionantes para cualquier persona que trabaje con IA en la actualidad.

Optimizaciones Clave

Las mejoras se centran en tres áreas muy conocidas en el ámbito de la IA: ONNX Runtime (ORT), DirectML y WebNN. En particular, se destaca la actualización de la extensión de IA generativa para ORT lanzada por Microsoft, que es una biblioteca multiplataforma para inferencia.

Al unir ORT con DirectML, que es compatible con varios tipos de hardware, se crea un camino más fácil para los desarrolladores de IA en Windows. Estas optimizaciones no solo se aplican a los Game Ready, sino que NVIDIA afirma que también están implementadas en Studio y RTX Enterprise, beneficiando a todas las GPU.

Resultados Impactantes

Las mejoras son evidentes al observar el rendimiento de modelos específicos, como Phi-3, Llama 3, Gemma y Mistral. Aunque las mejoras varían según el modelo y la tarea, NVIDIA afirma un aumento de hasta 3 veces en el rendimiento para algunos cálculos, como FP16 e INT4.

Optimizaciones Específicas

El nuevo driver también introduce una serie de optimizaciones específicas que contribuyen al impresionante aumento de rendimiento:

  • Soporte para el metacomando DQ-GEMM para manejar la cuantificación de solo peso INT4 para LLM.
  • Nuevos métodos de normalización RMSNorm para los modelos Llama 2, Llama 3, Mistral y Phi-3.
  • Mecanismos de atención grupal, multiconsulta y ventana corrediza de atención para apoyar a Mistral.
  • Actualizaciones de KV in situ para mejorar el rendimiento de la atención.
  • Soporte para GEMM de tensores no múltiplos de 8 para mejorar el rendimiento de la fase de contexto.
Artículos relacionados...
Otras publicaciones ...

te invitamos a conocer

Nuestro canal de Youtube

Pulsa aquí
Qué hacer si te sale el aviso «Tu licencia de Windows caduca pronto»

Qué hacer si te sale el aviso «Tu licencia de Windows caduca pronto»

¿Has encendido tu ordenador hoy y te ha saltado una ventana advirtiendo de que tu licencia de Windows caduca en...

Así funciona Typeless, el teclado de voz con IA que te entiende

Así funciona Typeless, el teclado de voz con IA que te entiende

La gran mayoría de teclados para Android —como el popular Gboard— apuestan por el formato físico tradicional complementado con funciones...

Elegoo Centauri Carbon 2 Combo: análisis a fondo de la impresora 3D doméstica que juega en liga industrial

Elegoo Centauri Carbon 2 Combo: análisis a fondo de la impresora 3D doméstica que juega en liga industrial

Durante mucho tiempo, la impresión 3D doméstica estuvo dividida en dos mundos: máquinas económicas que exigían horas de calibración manual...

Amazon lanza su nuevo historial de precios oficial: así puedes detectar las ofertas falsas sin instalar nada

Amazon lanza su nuevo historial de precios oficial: así puedes detectar las ofertas falsas sin instalar nada

Si tienes pensado comprar algún producto en Amazon próximamente, presta mucha atención antes de darle al botón de pago. La...

El consumo fantasma de los cargadores ultrarrápidos y la solución definitiva para acabar con las regletas sin obras

El consumo fantasma de los cargadores ultrarrápidos y la solución definitiva para acabar con las regletas sin obras

En los últimos años, el gasto energético en el hogar se ha convertido en una de las mayores preocupaciones diarias....

Microsoft recupera sus servicios tras una caída mundial que dejó sin Outlook y Teams a millones de usuarios

Microsoft recupera sus servicios tras una caída mundial que dejó sin Outlook y Teams a millones de usuarios

La caída afectó a empresas, organismos públicos y particulares de más de 70 países y obligó a movilizar a más...

FlowType: el teclado con IA que lee tus mensajes en voz alta, corrige tu voz y traduce al instante

FlowType: el teclado con IA que lee tus mensajes en voz alta, corrige tu voz y traduce al instante

¿Alguna vez has recibido un mensaje larguísimo por WhatsApp o correo electrónico justo cuando vas caminando, conduciendo o simplemente no...

Interruptores inteligentes: domotiza la iluminación de tu casa sin pasar cables ni hacer obras

Interruptores inteligentes: domotiza la iluminación de tu casa sin pasar cables ni hacer obras

Convertir la iluminación del hogar en un sistema inteligente solía requerir obras complejas, cambios en el cableado o la instalación...

OpenAI combinará Chat y Work y hará realidad lo que muchos temían: ChatGPT y Codex compartirán los límites de uso

OpenAI combinará Chat y Work y hará realidad lo que muchos temían: ChatGPT y Codex compartirán los límites de uso

#OpenAI fusiona ChatGPT y Codex: lo que realmente significa compartir límites de uso OpenAI ha vuelto a mover el tablero...

El nuevo Google Pixel 11 sigue cuesta abajo y sin frenos: el móvil Android más inteligente a precio mínimo

El nuevo Google Pixel 11 sigue cuesta abajo y sin frenos: el móvil Android más inteligente a precio mínimo

#Google Pixel 11: el Android más inteligente a precio mínimo El mercado de los smartphones vive una de sus épocas...

Lo extraño no es que Apple y Samsung ensanchen a lo bestia las pantallas de sus móviles, es que hayan tardado tanto

Lo extraño no es que Apple y Samsung ensanchen a lo bestia las pantallas de sus móviles, es que hayan tardado tanto

#Apple y Samsung apuestan por pantallas gigantes: por qué han tardado tanto en dar el salto Durante años, los smartphones...

FlashGet Kids: control parental, ubicación en tiempo real y seguridad para el móvil de tus hijos

FlashGet Kids: control parental, ubicación en tiempo real y seguridad para el móvil de tus hijos

Si tu hijo o hija ya utiliza teléfono móvil o tablet, su seguridad digital y física se convierte en una...

ChatGPT ya tenía algunas de las voces más naturales de la IA. GPT-Live-1.1 ahora va a por uno de sus puntos débiles

ChatGPT ya tenía algunas de las voces más naturales de la IA. GPT-Live-1.1 ahora va a por uno de sus puntos débiles

#GPT-Live-1.1: la nueva voz de ChatGPT que promete conquistar lo que le faltaba ChatGPT ya se había ganado fama de...

China está viviendo su particular explosión de la burbuja IA: si llega a Occidente, no va a ser bonito

China está viviendo su particular explosión de la burbuja IA: si llega a Occidente, no va a ser bonito

La inteligencia artificial ha dejado de ser ese tema futurista del que hablábamos con cierta distancia para convertirse en el...

Hollyland Lark A2: el micrófono de solapa ultraligero y económico que elevará el audio de tus vídeos

Hollyland Lark A2: el micrófono de solapa ultraligero y económico que elevará el audio de tus vídeos

Si grabas contenido para redes sociales, realizas entrevistas o simplemente buscas mejorar la calidad de sonido de tus vídeos sin...

Cómo crear vídeos divertidos de bailes animando dos fotos con IA (Paso a paso)

Cómo crear vídeos divertidos de bailes animando dos fotos con IA (Paso a paso)

Cómo crear vídeos divertidos de bailes animando dos fotos con IA (Paso a paso) ¿Quieres crear vídeos virales y divertidos...

Samsung Galaxy Tab S12 Ultra: análisis a fondo de la tablet que quiere sustituir tu portátil

Samsung Galaxy Tab S12 Ultra: análisis a fondo de la tablet que quiere sustituir tu portátil

Hay productos tecnológicos que llegan al mercado sin hacer ruido y otros que nacen con la etiqueta de "esto va...

Cómo animar los dibujos de tus hijos gratis con esta herramienta de IA de Meta

Cómo animar los dibujos de tus hijos gratis con esta herramienta de IA de Meta

Los dibujos de los niños son una de las expresiones creativas más auténticas que existen, pero suelen acabar colgados en...