Optimización de Hiperparámetros

Dos equipos, el mismo presupuesto, resultados muy distintos

En Andina Stream tienes que ajustar el modelo que predice qué suscriptores van a cancelar. Hay tiempo para 24 entrenamientos con validación cruzada y ni uno más: es lo que cabe antes de la reunión del viernes.

• Equipo A monta una rejilla ordenada sobre 4 hiperparámetros: 3 × 2 × 2 × 2 = 24 combinaciones. Exhaustiva, simétrica, elegante.
• Equipo B lanza 24 configuraciones muestreadas al azar de rangos razonables. Sin orden, sin simetría, casi sin diseño.

Mismo modelo, mismo dataset, mismo protocolo de validación, mismo coste. En la mayoría de los casos reales, el equipo B llega más lejos. Y no es suerte: es geometría.

Esta lección no tiene una sola llamada a RandomizedSearchCV (eso viene en la siguiente). Su objetivo es que entiendas por qué el muestreo aleatorio gana, con el número exacto en la mano, para que puedas defender la decisión ante alguien que insiste en "probémoslo todo". Al terminar sabrás calcular, antes de lanzar nada, cuántos ensayos aleatorios necesitas para tener una probabilidad concreta de caer en la zona buena del espacio.

La aritmética incómoda de la rejilla

Una rejilla (grid) es un producto cartesiano: eliges $k$ valores para cada uno de los $d$ hiperparámetros y evalúas todas las combinaciones. El presupuesto total es

$N = k^{\,d}$

Dado un presupuesto fijo $N$, el número de valores distintos que llegas a probar en cada dimensión es:

$k = N^{1/d}$

Con dos hiperparámetros, $k = \sqrt{N}$: 100 entrenamientos exploran solo 10 valores de learning_rate. Con cuatro, la cosa se pone peor:

El muestreo aleatorio, con el mismo presupuesto $N$, prueba $N$ valores distintos en cada dimensión (cada punto trae su propio valor de cada hiperparámetro). Con $N = 24$ y $d = 4$: la rejilla ve como mucho 3 tasas de aprendizaje; el azar ve 24.

La rejilla reparte su presupuesto de forma redundante: repite el mismo valor de learning_rate una y otra vez con distintos acompañantes. El azar no repite nunca.

Mirados de frente, los dos paneles parecen igual de razonables: 16 puntos repartidos por el cuadrado. La diferencia aparece cuando proyectas los puntos sobre el eje que de verdad importa — es decir, cuando te preguntas cuántos valores distintos del hiperparámetro relevante llegué a probar.

Ahí está el truco. La fila de la rejilla parece tener 4 marcas porque los 16 puntos se apilan de cuatro en cuatro sobre exactamente los mismos 4 valores. La fila aleatoria tiene 16 marcas distintas. Pagaste 16 entrenamientos en ambos casos, pero uno te compró cuatro veces más resolución en el eje que decide el resultado.

Dimensionalidad efectiva: por qué esto pasa casi siempre

El argumento anterior sería una curiosidad si todos los hiperparámetros importaran por igual. La observación empírica clave —popularizada por Bergstra y Bengio en Random Search for Hyper-Parameter Optimization (JMLR, 2012)— es que no lo hacen:

En la mayoría de los espacios de búsqueda reales, la métrica depende fuertemente de uno o dos hiperparámetros y es casi plana en los demás. La dimensionalidad efectiva $d_{\text{eff}}$ es mucho menor que la dimensionalidad nominal $d$.

En un modelo de boosting sobre el dataset de cancelación de Andina Stream, learning_rate y la complejidad del árbol (max_depth / num_leaves) mueven la aguja; colsample_bytree entre 0.8 y 1.0 apenas la roza. Pero no sabes de antemano cuál es cuál: si lo supieras, ya habrías terminado.

Y aquí las dos estrategias se separan del todo:

Esa última fila es la razón práctica por la que el azar gana. Añadir a la rejilla un hiperparámetro que resulta ser irrelevante te multiplica la factura sin comprarte nada. Añadirlo a una búsqueda aleatoria de $N$ ensayos no cambia el coste: sigues haciendo $N$ entrenamientos, simplemente cada uno lleva también un valor aleatorio de esa dimensión inútil, y tu resolución en las dimensiones útiles no se degrada.

Una búsqueda aleatoria de 60 ensayos sobre 8 hiperparámetros, de los cuales solo 2 importan, se comporta —en lo que respecta a esos 2— como una búsqueda de 60 puntos bien repartidos en un plano. La rejilla equivalente sobre 8 ejes con solo 2 valores cada uno ya cuesta $2^8 = 256$ entrenamientos y sigue probando dos tasas de aprendizaje.

La pregunta que sí puedes responder antes de lanzar la búsqueda

Hasta aquí el argumento es cualitativo. Ahora el número que hace que esto sea utilizable en el trabajo real.

Supón que defines un espacio de búsqueda y que el 5 % mejor de ese espacio (medido por volumen) contiene configuraciones que te sirven: no la óptima absoluta, sino "suficientemente buena". Si sacas $N$ puntos al azar de forma independiente y uniforme:

• probabilidad de que un punto caiga en esa región buena: $q$ (aquí $q = 0.05$);
• probabilidad de que falle: $1 - q$;
• probabilidad de que fallen los $N$: $(1-q)^N$;

y por tanto la probabilidad de que al menos uno acierte es

$P(\text{éxito}) \;=\; 1 - (1-q)^{N}$

Despejando $N$ para una confianza objetivo $1-\alpha$:

$N \;\geq\; \frac{\ln \alpha}{\ln (1-q)}$

Lo asombroso de esta fórmula es lo que NO aparece en ella: la dimensión $d$. Da igual que tu espacio tenga 2 o 20 hiperparámetros; si la región buena ocupa el 5 % del volumen, 60 puntos aleatorios la alcanzan con ~95 % de probabilidad. La rejilla, en cambio, paga la maldición de la dimensionalidad en el exponente.

Mueve el deslizador y observa cómo la probabilidad se dispara al principio y luego se aplana: los primeros 30 ensayos compran casi todo, los siguientes 30 compran los últimos puntos porcentuales.

La tabla que conviene tener a mano

La regla de bolsillo: ~60 ensayos aleatorios ≈ 95 % de probabilidad de tocar el 5 % superior. Es el número que justifica un presupuesto ante tu jefe sin agitar las manos.

Tres letras pequeñas que debes leer

1. La garantía es sobre el espacio que TÚ definiste. Si el óptimo real está en learning_rate = 0.02 y tu rango empieza en 0.1, ninguna cantidad de azar te salvará. El muestreo aleatorio es robusto a rangos amplios, no a rangos equivocados.
2. "El 5 % superior por volumen" no es "el 5 % superior por rendimiento útil". Si la región buena es un valle finísimo (un 0.1 % del volumen), necesitas ~3.000 ensayos, y ahí es donde entra la optimización bayesiana de las próximas secciones.
3. Uniforme sobre la escala correcta. Muestrear learning_rate uniformemente en $[0.001, 0.3]$ pone el 99 % de tus puntos por encima de 0.003. Para hiperparámetros que se piensan en órdenes de magnitud hay que muestrear en escala logarítmica (lo verás en la siguiente lección); si no, tu "5 % del volumen" no es el 5 % que te interesa.

Entonces, ¿la rejilla no sirve para nada?

Sí sirve, en cuatro situaciones concretas — y conviene decirlo con precisión, porque "random search siempre gana" es un eslogan, no una regla:

1. Pocas dimensiones y valores genuinamente discretos. criterion ∈ {gini, entropy} × class_weight ∈ {None, balanced} son 4 combinaciones. Probarlas todas es lo correcto; muestrearlas al azar sería absurdo.
2. Cuando el reporte exige exhaustividad. En contextos regulados (riesgo de crédito, salud) a veces necesitas afirmar "evalué todas las combinaciones de esta lista". Una rejilla es auditable de forma trivial.
3. Refinamiento local. Tras una fase aleatoria amplia, una rejilla fina alrededor del ganador es una forma limpia de exprimir el último 0.3 % (es la búsqueda por etapas de la sección 11).
4. Cuando quieres estudiar el efecto de un hiperparámetro, no solo maximizar. Una rejilla te da un barrido controlado con los demás fijos: sirve para entender, no para ganar.

Errores frecuentes al pasarse al azar

• Comparar presupuestos desiguales. "El aleatorio ganó" con 100 ensayos frente a una rejilla de 24 no demuestra nada. La comparación honesta es a igual número de entrenamientos (lo harás con tus manos en la lección 5.3).
• Confundir aleatorio con desinformado. Elegir bien los rangos y las escalas sigue siendo trabajo de experto. El azar te ahorra decidir la granularidad, no los límites.
• Olvidar la semilla. Sin random_state fijo, tu búsqueda no es reproducible y el "ganador" puede cambiar entre corridas (sección 12).
• Leer el mejor resultado como si fuera la verdad. Cuantas más configuraciones pruebas, más te expones a sobreajustar el conjunto de validación: el máximo de 60 estimaciones ruidosas está sesgado al alza. El hold-out final del que hablamos en la sección 3 sigue siendo obligatorio.

Ideas clave

• Con presupuesto $N$ y $d$ dimensiones, una rejilla prueba solo $N^{1/d}$ valores por eje; el azar prueba $N$.
• Funciona porque la dimensionalidad efectiva suele ser 1 o 2: pocos hiperparámetros dominan y no sabes cuáles de antemano.
• Añadir un hiperparámetro irrelevante a una rejilla multiplica su coste; a una búsqueda aleatoria no le cuesta nada.
• $P = 1 - (1-q)^N$, independiente de la dimensión: ~60 ensayos ⇒ ~95 % de probabilidad de tocar el 5 % superior del espacio que definiste.
• La rejilla sigue siendo la opción correcta con pocos valores discretos, para auditorías y para el refinamiento local final.

Comprueba que lo tienes: dimensiona tu presupuesto

Antes de pasar a RandomizedSearchCV en la siguiente lección, responde con código a la pregunta que de verdad tendrás que responder en el trabajo: ¿cuántos ensayos aleatorios necesito?

Implementa la fórmula de cobertura, evalúala para 20 y 60 ensayos, y calcula el número mínimo de ensayos que garantiza al menos un 95 % de probabilidad de caer en el 5 % superior del espacio.