Lleva la IA de última generación directo a tu computadora

Cada vez más personas están ejecutando LLMs directamente en sus PC para reducir costos de suscripción y tener mayor privacidad y control sobre sus proyectos. Con nuevos y avanzados modelos de peso abierto y herramientas gratuitas para correrlos localmente, más usuarios quieren experimentar con IA directamente en su computadora portátil o escritorio. Las GPU GeForce RTX aceleran estas experiencias, ofreciendo un rendimiento ágil y veloz. Y con las actualizaciones de Project G-Assist, los usuarios de portátiles ya pueden empezar a usar comandos de voz y texto con IA para controlar su PC.

El blog más reciente de RTX AI Garage de NVIDIA muestra cómo estudiantes, entusiastas de la IA y desarrolladores pueden comenzar a usar LLM en PC:

• Ollama: Una de las formas más accesibles para empezar. Esta herramienta de código abierto ofrece una interfaz sencilla para ejecutar e interactuar con LLM. Los usuarios pueden arrastrar y soltar archivos PDF en los avisos, mantener chats conversacionales e incluso probar flujos de trabajo multimodales que combinan texto e imágenes.
• AnythingLLM: Construye un asistente personal de IA. Funciona sobre Ollama y permite cargar notas, presentaciones o documentos para crear un tutor que genera cuestionarios y tarjetas de estudio para cursos, privados, rápidos y gratuitos.
• LM Studio: Explora docenas de modelos. Basado en el popular framework llama.cpp, ofrece una interfaz fácil de usar para ejecutar modelos localmente.
• Los usuarios pueden cargar diferentes LLM, chatear en tiempo real e incluso montarlos como endpoints API locales para integrarlos en proyectos personalizados.
• Proyecto G-Assist: Controla tu PC con IA. Con las últimas actualizaciones, los usuarios de PC ya pueden usar comandos de voz o texto para ajustar la batería, ventiladores y configuraciones de rendimiento.

Los avances más recientes en PC GeForce RTX AI incluyen:

• Ollama obtiene un gran impulso de rendimiento en GeForce RTX: Las últimas actualizaciones incluyen hasta un 50% más de rendimiento optimizado.
• OpenAI’s gpt-oss-20B y hasta un 60% más rápido en los modelos Gemma 3, además de una programación de modelos más inteligentes para reducir de memoria y mejorar la eficiencia en Múltiple GPU.
• Llama.cpp y GGML optimizados para GeForce RTX: Las últimas mejoras ofrecen inferencia más rápida y eficiente en GPUs RTX, incluyendo soporte para el modelo NVIDIA Nemotron Nano v2 9B, Flash Attention activado por defecto y optimizaciones con núcleos CUDA.
• Descarga la actualización G-Assist v0.1.18 a través de la App NVIDIA, con nuevos comandos para usuarios de laptops y mejor calidad en las respuestas.
• Microsoft lanzó Windows ML con NVIDIA TensorRT para acelerar RTX, logrando hasta un 50% más de rapidez en inferencia, implementando más ágil y soporte para LLMs, difusión y otros tipos de modelos en PC con Windows 11.

Consulta el blog RTX AI Garage de esta semana para conocer más.

Fuente: Nvidia