Teoría introductoria

• Qué es un modelo generativo y cómo se diferencia de otros enfoques de IA.

• Representación de conocimiento en redes neuronales.

• El papel de los embeddings y la atención.

• Flujo general de entrenamiento e inferencia.

• Por qué la inferencia local es diferente a la nube (latencia, privacidad, control y costo).

Fundamentos y tuning

• Cómo funcionan los pesos de un modelo.

• Arquitectura básica de transformers / LLMs.

• Tuning vs fine-tuning.

• Parámetros de inferencia (temperature, top-p, top-k, repetition penalty) y su efecto en el comportamiento.

• Prompting y system prompts como forma práctica de adaptación.

• Fine-tuning eficiente en local: conceptos de LoRA y QLoRA (cuándo tiene sentido y limitaciones).

• Conceptos de cuantización y su impacto.

Hardware y backends de ejecución

• GPUs y aceleración: qué importa realmente (VRAM, ancho de banda, soporte).

• NVIDIA y CUDA (enfoque principal de las demostraciones).

• Alternativas de AMD (ROCm / Vulkan) e Intel (Arc / oneAPI) a nivel conceptual.

• Configuraciones híbridas: iGPU AMD de memoria compartida + dGPU NVIDIA conectada por OCuLink.

• OCuLink: funcionamiento, ventajas y limitaciones frente a PCIe nativo.

• Particionamiento de cargas entre dispositivos.

• GPUs en cluster: opciones multi-GPU, cuándo tiene sentido y limitaciones prácticas en entornos locales.

• Criterios para elegir el backend según el hardware disponible.

• Demostraciones de ejecución y medición de rendimiento con CUDA.

Cuantización y diseño de contexto en VRAM

• Técnicas de cuantización (GGUF y otras).

• Impacto en VRAM, velocidad y calidad.

• Tokens, vocabulario y tokenización: cómo afectan el tamaño del contexto y el consumo de VRAM.

• Diseño de la ventana de contexto según la VRAM disponible.

• Cómo elegir el nivel de cuantización y el tamaño de contexto según el caso de uso.

• Ejemplos prácticos de trade-offs (calidad vs velocidad vs memoria).

Inferencia en appliances y dispositivos móviles (teórica)

• Restricciones de hardware.

• Formatos y optimizaciones relevantes.

• Casos de uso y limitaciones actuales.

Herramientas

• Ollama: instalación, serving, modelos y uso práctico.

• Hugging Face Hub: descarga, ejecución y gestión de modelos.

• Flujo de trabajo local completo y buenas prácticas.

Infraestructura virtualizada

• Docker y entornos aislados.

• Despliegues reproducibles para inferencia local.

• Consideraciones de persistencia y recursos.

Agentes locales

• Hermes Agent: arquitectura, memoria, herramientas y flujos de trabajo locales.

• Construcción y operación de agentes en entorno local.

• Integración con modelos servidos localmente.

Guía de compra de hardware para IA local

• Qué comprar (y qué no) según presupuesto y casos de uso.

• Rangos recomendados de NVIDIA y consideraciones de VRAM.

• Opciones realistas de AMD e Intel.

• OCuLink: cuándo conviene usarlo.

• Clusters de GPUs: configuraciones multi-GPU viables en local.

• Configuraciones híbridas y particionamiento de cargas.

• RAM, almacenamiento, fuente de poder y refrigeración.

• Criterios de decisión y recomendaciones por rango de presupuesto.

Consideraciones económicas

• CAPEX vs OPEX en despliegues locales vs nube.

• Ventajas de los modelos de pesos libres (privacidad, control, personalización).

• Escenarios de decisión según volumen y sensibilidad de los datos.