Cómo evaluar un algoritmo.

Casi todo el mundo evalúa un sistema en el orden que le presentan: primero la rentabilidad, luego —si queda tiempo y atención— el riesgo. Ese orden es el que produce las decisiones malas, porque la rentabilidad es la variable más fácil de inflar y la que menos información contiene sobre lo que va a pasar.

El orden útil es el inverso. Primero, por qué debería existir una ventaja. Segundo, qué evidencia real hay de que existió. Tercero, qué declara que puede perder. Cuarto, dónde está el límite. Y solo entonces, quinto: si tú, con tu situación concreta, puedes convivir con eso. La rentabilidad no es una pregunta de esta lista: es lo que queda si las cinco tienen respuesta aceptable.

Estas cinco preguntas no garantizan un buen resultado. Ningún proceso lo hace. Lo que hacen es eliminar la mayor parte de lo que se comercializa hoy, y ese filtrado es, en la práctica, casi todo el valor disponible para un inversor particular.

Antes de cualquier número: ¿por qué el dinero debería moverse en tu dirección? No qué patrón se encontró, sino qué hace que alguien, al otro lado, esté dispuesto a perder ese dinero de forma sistemática.

Las respuestas legítimas tienen una forma reconocible. Alguien está obligado a operar cuando no le conviene, por mandato o por margen. Alguien paga por transferir un riesgo que no quiere asumir, y tú cobras por asumirlo. Alguien reacciona tarde de forma estructural. En los tres casos hay un mecanismo económico y un contraparte identificable.

Las respuestas que no valen también son reconocibles: “combina varios indicadores”, “usa inteligencia artificial”, “detecta patrones que el ojo humano no ve”. Ninguna de las tres describe un mecanismo. Describen una técnica de búsqueda, y una técnica de búsqueda aplicada a suficientes datos siempre encuentra algo. Que lo encuentre no significa que esté ahí.

Esta pregunta filtra más sistemas que todas las demás juntas, y se puede formular sin saber matemáticas. Si nadie sabe explicarte por qué debería funcionar, la evaluación puede terminar aquí.

No toda la evidencia pesa lo mismo, y la industria explota deliberadamente esa confusión. Conviene tener la jerarquía clara, de menos a más:

• Backtest sobre datos conocidos. Prácticamente sin valor probatorio. Describe cómo se habría comportado una regla sobre los mismos datos que se usaron para elegirla.
• Backtest sobre datos apartados. Algo mejor, si de verdad no se tocaron. Casi imposible de verificar desde fuera.
• Operativa real registrada por un tercero. La única categoría que no se puede fabricar retroactivamente.

El salto entre las dos primeras y la tercera es el que decide. Un backtest lo produce cualquiera en una tarde; un histórico real de años exige haber estado ahí. Por qué divergen sistemáticamente lo tratamos en backtest vs cuenta real, y cómo leer un registro auditado sin tragarte las métricas cosméticas, en cómo interpretar Myfxbook.

Y una cautela sobre la duración: lo que importa no son los meses sino qué contenían. Dos años de operativa real durante un periodo favorable a la lógica del sistema no son una prueba de robustez; son una prueba de que hubo suerte de calendario. La pregunta exacta es si el histórico incluye el escenario en el que ese sistema, por diseño, tiene que sufrir. Si no lo incluye, todavía no sabes nada de lo importante.

Aquí está la prueba más limpia de honestidad que existe, y casi nadie la aplica: compara lo que el sistema dijo que pasaría con lo que pasó.

Un sistema que declara antes de operar una caída típica del 8% y una máxima del 15%, y que después registra un −9% en un mal trimestre, se está comportando exactamente como prometió. Eso es una buena señal, aunque el mes sea negativo. Un sistema que no declaró nada y registra ese mismo −9% no te ha dado ninguna información: no puedes saber si es normalidad o deterioro, porque no hay referencia contra la que contrastar.

Fíjate en la implicación, que es contraintuitiva: un mes malo dentro de lo declarado vale más como evidencia que un año bueno sin declarar nada. El primero demuestra que quien construyó el sistema entendía su propio riesgo. El segundo demuestra que hubo un año bueno.

Y conviene tratar la caída máxima histórica con una regla prudente: asume que la futura será peor. El histórico es una muestra, no el universo de lo que puede ocurrir. Por qué esa caída pesa más que la rentabilidad, y por qué la duración importa tanto como la profundidad, está en drawdown explicado. Ponerle tus euros lleva diez segundos en el simulador, y es cuando el concepto deja de ser abstracto.

La pregunta es sencilla y la respuesta suele delatar todo: ¿en qué punto exacto este sistema deja de operar?

Un límite serio tiene tres propiedades. Está escrito antes de operar. Es un número, no un criterio. Y se ejecuta sin que nadie opine en el momento. Si falla cualquiera de las tres, no es un límite: es una intención. Y las intenciones se renegocian exactamente en el momento en que harían falta.

“Vigilamos de cerca y actuaríamos si fuera necesario” no es un límite. “Reevaluamos si las condiciones cambian significativamente” tampoco. Ambas frases son indistinguibles de no tener límite, con la desventaja añadida de que suenan a control.

La consecuencia de no tener límite no es que el riesgo sea alto: es que no está acotado. La pérdida máxima posible es todo el capital expuesto, aunque nadie lo formule así en voz alta. Y “no tiene techo” es una respuesta perfectamente válida a esta pregunta. Simplemente es una que casi nadie acepta cuando la oye enunciada con esa claridad. El desarrollo completo está en hard stop: el límite que no se negocia.

Supón que las cuatro anteriores tienen respuesta y que la respuesta es buena. Hay una hipótesis, hay operativa real que atravesó un mal régimen, el comportamiento coincide con lo declarado y existe un límite escrito. Queda la única pregunta que no puede contestar el sistema.

¿Aguantarías esa caída, durante los meses que dure, sin apagar nada?

No es retórica. Es la variable que determina el resultado real de casi todos los inversores particulares en operativa automatizada, y no aparece en ninguna métrica del sistema. Un sistema con esperanza positiva operado por alguien que lo desactiva en el cuarto mes negativo produce una pérdida. La esperanza estaba intacta; la persona no.

Por eso la pregunta se responde antes, en frío, cuando la caída es un número en una pantalla y no una cifra en tu cuenta. Y por eso una respuesta sincera de “no” es un resultado tan bueno como un “sí”: si sabes que no aguantarías, el sistema no es incompatible contigo por su rentabilidad, lo es por su riesgo. Saberlo hoy te ahorra descubrirlo con dinero dentro. Si la respuesta es no, esto no es para ti, y eso está bien.

Nuestro criterio completo —qué se puede y qué no se puede esperar de un sistema— está en la metodología. Y si quieres saber en veinte preguntas si tu situación encaja con una operativa así, el cuestionario de perfil está pensado exactamente para eso, incluida la posibilidad de que la respuesta sea que no.