Overfitting en trading algorítmico.

Un sistema cuantitativo intenta capturar una regularidad del mercado: algo que se repite lo suficiente como para operar encima. Pero los datos históricos contienen dos cosas mezcladas e indistinguibles a simple vista: estructura, que es lo que se repetirá, y ruido, que es lo que ocurrió por casualidad y no volverá.

El sobreajuste es lo que pasa cuando el sistema aprende también el ruido. Y no es que aprenda mal: aprende demasiado bien. Ajusta la serie histórica con una precisión que sería imposible si solo estuviera capturando estructura, porque también está capturando las casualidades concretas de esos años concretos.

Hay una analogía que lo deja claro. Un estudiante que memoriza los exámenes de los últimos diez años saca un diez en cualquiera de esos diez exámenes. La memorización funciona perfectamente sobre el material memorizado. El problema aparece cuando le pones un examen del año siguiente: no aprendió la asignatura, aprendió los exámenes. Un sistema sobreajustado es exactamente eso, y su backtest es la nota de los exámenes que ya se sabía.

De ahí sale la conclusión más contraintuitiva del asunto y la que cuesta más aceptar: un backtest espectacular no es una buena señal. Es sospechosa. Las ventajas reales en mercados líquidos son pequeñas, inestables y trabajosas. Cuando una curva histórica es perfectamente suave, la explicación más probable no es que alguien haya encontrado algo extraordinario: es que ha ajustado el ruido con esmero.

Lo importante del sobreajuste no es que sea un error, sino que sea el resultado esperado de un proceso razonable. Nadie decide sobreajustar. Se llega ahí haciendo lo que parece sensato en cada paso.

El mecanismo es este. Escribes una regla. La pruebas sobre el histórico. El resultado es mediocre. Cambias un umbral. Mejora un poco. Añades un filtro para evitar aquellas dos operaciones malas de 2018. Mejora más. Restringes el horario porque las madrugadas no rinden. Mejora otra vez. Cada decisión aislada es defendible y tiene una justificación plausible. La suma es un sistema diseñado para haber sobrevivido a un pasado específico.

El problema es que cada mirada al histórico gasta información. La primera vez que miras, el resultado es honesto. A partir de ahí, cada iteración usa el mismo conjunto de datos para tomar decisiones nuevas, y esos datos dejan de ser independientes de tu sistema. Después de cincuenta iteraciones, el histórico ya no es una prueba: es parte del diseño.

Y aquí está la parte más incómoda: casi nadie lleva la cuenta. Se publican los parámetros del sistema final, pero no las trescientas configuraciones que se descartaron por el camino. Sin ese número, el resultado del backtest no se puede interpretar, porque no sabes contra cuántos intentos hay que descontarlo.

Esto se puede cuantificar, y la cuenta es demoledora. Imagina un sistema sin ninguna ventaja real: entra y sale al azar. Su resultado esperado es cero antes de costes. Aun así, sobre un histórico concreto, unas veces ganará y otras perderá por pura variación.

Ahora imagina que pruebas muchas variantes de ese sistema inútil — distintos umbrales, distintos filtros — y te quedas con la mejor. Como ejemplo aritmético genérico, supongamos que cada variante tiene un 5% de probabilidad de parecer “excelente” sobre el histórico solo por azar. La probabilidad de que al menos una lo parezca crece así:

Léelo despacio, porque es el corazón del problema. Si pruebas cien variantes de un sistema que no tiene ninguna ventaja, es prácticamente seguro que alguna producirá un backtest excelente. Y esa es la que publicarás, porque es la que encontraste. El backtest brillante no es evidencia de que el sistema funcione: es evidencia de que buscaste mucho.

Una optimización moderna sobre cuatro parámetros con diez valores cada uno explora diez mil combinaciones. Con ese volumen de búsqueda, encontrar una curva perfecta sobre datos aleatorios es trivial. Por eso la pregunta “¿cuántas configuraciones probaste?” no es una curiosidad metodológica: es la que determina si el número que te enseñan significa algo.

Como inversor no tienes el código ni el registro de pruebas. Aun así, el sobreajuste deja huellas reconocibles.

• Curva demasiado limpia. Una pendiente suave sin periodos malos no describe ningún mercado real. Los sistemas buenos tienen tramos feos.
• Reglas con fechas u horarios muy específicos. “No opera los martes por la tarde” casi nunca es una regularidad del mercado: es la cicatriz de dos operaciones malas que alguien quiso borrar.
• Muchos parámetros para pocas operaciones. Si el sistema tiene doce ajustes y el histórico contiene ochenta operaciones, hay más grados de libertad que evidencia.
• Ausencia de resultado fuera de muestra. O peor: un fuera de muestra tan bueno como el dentro de muestra, que suele significar que se miró y se ajustó hasta que salió.
• Divergencia inmediata en real. La huella más fiable de todas. El sobreajuste no aguanta el contacto con datos nuevos: falla desde el primer mes, no después de dos años.

Esa última es la razón por la que un histórico real corto vale más que un backtest largo. El backtest se puede fabricar; el mercado de las próximas semanas, no.

No hay una técnica que elimine el sobreajuste. Hay disciplinas que lo reducen, y todas tienen el mismo coste: hacen que los resultados parezcan peores. Esa es precisamente la señal de que están funcionando.

Separar datos y no tocarlos. Reservar un tramo del histórico antes de empezar, y mirarlo una sola vez, al final. Si lo miras, ajustas y vuelves a mirar, ya lo has convertido en dentro de muestra.

Elegir la meseta, no el pico. Al optimizar, descartar el máximo absoluto y quedarse con el centro de la zona amplia donde todos los valores vecinos rinden parecido. El pico es donde vive el ruido; la meseta es donde vive la estructura. Un sistema cuyo resultado se hunde al mover un umbral un 10% no es un sistema: es una coincidencia.

Exigir una razón antes que un resultado. Si una regla funciona pero nadie sabe explicar por qué el mercado se comportaría así, la explicación más probable es que no se comporta así y el backtest es casualidad. La lógica económica no garantiza nada, pero su ausencia es una advertencia.

Y sobre todo, tiempo. Ninguna técnica estadística sustituye a datos que el sistema no ha visto nunca. De ahí la secuencia que sostenemos: backtest sobre histórico extenso y fuera de muestra; forward-test en demo un mínimo de tres meses; forward-test con capital propio otros tres meses como mínimo; y revisión técnica comparando lo observado contra lo que el backtest predijo. El sobreajuste sobrevive a la primera etapa con facilidad. Rara vez sobrevive a las cuatro.

La lección operativa se resume en una inversión de instinto. Ante un backtest excelente, la reacción entrenada no debería ser interés, sino escepticismo proporcional a lo bueno que se ve. La pregunta no es “¿cuánto ha ganado?” sino “¿cuánto hubo que buscar para encontrar esto?”

Y como el sobreajuste es indetectable con certeza desde fuera, la única defensa práctica del inversor es ponderar la evidencia correctamente: mucho peso al histórico real verificable por un tercero, poco peso al backtest, y ninguno a la curva sin condiciones declaradas.

Esto nos incluye. La razón de publicar la aritmética de la tabla de arriba es que la uses también contra nosotros: pregunta por el fuera de muestra, pide el comportamiento observado y compáralo con lo declarado. Si no te cuadra, no entres. Un inversor que decide que no con criterio ha usado bien este artículo; uno que entra porque la curva se veía bien no ha entendido nada, y a medio plazo eso es un problema para los dos.

Para continuar: cómo leer un backtest sin engañarte detalla los sesgos concretos, y backtest vs cuenta real explica por qué la brecha existe siempre. Lo que hacemos con esto está en metodología y los números observados, en transparencia.