Bienvenido: el rendimiento que ya tienes, pero aún no cobras

Tienes un modelo entrenado. Lo evaluaste bien: partición honesta, validación cruzada, la métrica adecuada para tu problema. Reporta un ROC-AUC de 0.76 y lo das por terminado.

Ese número casi nunca es el techo del modelo. Es el techo de la primera configuración que probaste — normalmente, los valores por defecto de la librería. Entre esa configuración y la mejor que ese mismo algoritmo puede alcanzar sobre esos mismos datos suele haber una brecha real: unos pocos puntos de AUC, a veces bastante más en modelos de boosting, que se consiguen sin recolectar un solo dato nuevo ni cambiar de algoritmo.

Este curso trata de cómo encontrar esa configuración y de cómo demostrar que la mejora es de verdad, no ruido disfrazado de progreso.

Esas barras son ilustrativas, no una promesa. Parte del trabajo del curso será, precisamente, aprender a mirarlas con desconfianza: ¿cuánto de esa diferencia sobreviviría a cambiar la semilla aleatoria? ¿Se midió sobre el mismo conjunto con el que se eligió el ganador? Esas preguntas separan un estudio de optimización serio de un ejercicio de autoengaño.

Qué es (y qué no es) este curso

La optimización de hiperparámetros se enseña muchas veces como un recetario de API: aquí tienes GridSearchCV, aquí optuna.create_study(), copia y pega. Esa versión se aprende en veinte minutos y falla en cuanto el problema deja de ser de juguete: presupuestos que se disparan, ganancias que no se replican en producción, fugas de datos silenciosas.

Aquí lo abordamos como lo que realmente es: una metodología de experimentación.

La herramienta importa —usaremos scikit-learn, Optuna, XGBoost y LightGBM en serio—, pero siempre al servicio del método. Un buen protocolo con grid search vence a Optuna mal usado, todas las veces.

Qué damos por sabido (una línea)

Que ya entrenas modelos con scikit-learn y evalúas correctamente: separación train/test, validación cruzada, y elección consciente de la métrica (accuracy, F1, ROC-AUC, RMSE) según el problema. Si eso te suena a terreno conocido, estás exactamente donde debes estar; refrescaremos lo justo cuando haga falta y construiremos encima.

El recorrido

El curso avanza en una sola dirección: primero blindamos la forma de medir, después buscamos cada vez más rápido, y al final aplicamos todo a un problema real de principio a fin.

Fíjate en el orden: la protección de la evaluación va antes que cualquier técnica de búsqueda. No es burocracia. Cuanto más potente es tu buscador, más fácil le resulta explotar las grietas de un protocolo débil y devolverte un número precioso que no se sostiene fuera de tu portátil.

El caso que nos acompañará: Andina Stream

Para que todo esto no sea abstracto, casi todas las lecciones prácticas trabajan sobre el mismo problema: predecir la cancelación (churn) de suscriptores de Andina Stream, una plataforma de streaming de video en Latinoamérica.

Son unos 1 200 suscriptores con variables numéricas y categóricas, y un objetivo binario cancelo con cerca de un 27 % de positivos:

Usar siempre el mismo conjunto es una decisión pedagógica deliberada: como el problema no cambia, cada mejora de rendimiento es directamente comparable con la anterior. Verás cómo el mismo 0.76 inicial va subiendo lección a lección, y sabrás exactamente qué técnica lo movió y cuánto.

El dataset se genera dentro de cada notebook con una semilla fija, así que no hay nada que descargar: todo corre en tu navegador. En el proyecto final cambiaremos a un caso más exigente —solicitudes de crédito con clases desbalanceadas y una métrica de negocio— para que tengas que aplicar la metodología completa, no repetir de memoria.

Cómo sacarle el máximo

• Ejecuta las celdas. Cada notebook es un experimento, no una lectura. Modifica un valor, vuelve a correr y observa qué se rompe: ahí está el aprendizaje.
• Predice antes de ejecutar. Cuando te pidamos anticipar un resultado, hazlo de verdad. Equivocarte y ver por qué vale más que diez párrafos de teoría.
• Los estudios son pequeños a propósito. Limitamos las búsquedas (por ejemplo, n_trials <= 20 en Optuna) para que corran en segundos dentro del navegador. Las ideas escalan igual; solo cambia el presupuesto. En la última sección te llevamos ese mismo código a tu máquina para que ejecutes estudios grandes de verdad.
• Los cuestionarios no son trámite. Están puestos donde suele haber confusión real; si fallas uno, esa es exactamente la lección que conviene releer.

Ocho horas después, no tendrás una lista de parámetros memorizada. Tendrás un procedimiento: cómo montar un estudio de optimización que resista una revisión crítica, cuánto cómputo dedicarle y cómo defender —con evidencia— que la mejora que reportas es real.

No necesitas ser experto en ninguna de estas librerías para empezar. Solo saber entrenar y evaluar. El resto lo construimos juntos, paso a paso.

Lo siguiente: tu primera mejora medible en 5 minutos

Nada de más preámbulo. En la próxima lección abrirás un notebook, generarás el dataset de Andina Stream, entrenarás un modelo con los valores por defecto y verás su ROC-AUC. Después cambiarás un solo hiperparámetro, volverás a medir con el mismo protocolo y comprobarás la diferencia con tus propios ojos.

Es una mejora pequeña y honesta, obtenida en cinco minutos —y es el gesto que repetiremos, cada vez con más método y más potencia, durante todo el curso. Vamos allá.