Perplexity dice que ya deja a un modelo gestionar sus sistemas sin apenas supervisión. Antes de aprobar algo parecido en tu empresa, conviene entender una multiplicación de tres líneas.
Un modelo acierta el 99% de las veces. Le encargas un proceso de cien pasos encadenados. ¿Cuántas veces lo termina entero sin un solo error?

No es el 99%. Es el 37%.

Esa multiplicación —0,99 elevado a 100— es la distancia entre la demo que te enseñan y la factura que pagas. Y esta semana ha dejado de ser un tecnicismo.

Lo que se ha anunciado

OpenAI publicó el caso de Perplexity, el buscador conversacional, usando su modelo más reciente de puertas adentro. Johnny Ho, cofundador de la empresa, lo resume así: "Podemos confiarle sistemas completos de punta a punta y supervisarlo con mucha menos frecuencia que en generaciones anteriores".

Tres usos concretos: redactar comunicaciones, hacer cambios en el software y vigilar sistemas en funcionamiento.

Es una noticia importante, y conviene leerla sabiendo quién la firma: es un caso de cliente publicado por el proveedor del modelo, y no contiene ni una sola métrica. No dice cada cuánto revisa una persona, ni qué controles siguen en pie, ni qué decisiones siguen necesitando una firma humana. Es una declaración de confianza, no un informe de fiabilidad.

Lo interesante es que la pregunta que no responde sí está medida, y por gente que no vende modelos.

Cómo se mide de verdad lo que aguanta un sistema así

La referencia es METR (Model Evaluation & Threat Research), una organización independiente que evalúa capacidades de modelos. En un trabajo firmado por Thomas Kwa, Ben West y colaboradores, con participación de Anthropic, propusieron una métrica que hoy es estándar y que se entiende sin saber nada de tecnología: el horizonte temporal de tarea.

La pregunta que hacen es esta: ¿cuál es la tarea más larga —medida en cuánto tardaría en hacerla un profesional experto— que el modelo completa con éxito la mitad de las veces?

Sus dos hallazgos, juntos, explican el desajuste entre las expectativas y lo que luego pasa en una empresa.

El primero es el que circula en todas partes: ese horizonte se duplica cada 212 días, unos siete meses, de forma sostenida desde 2019. Es un ritmo extraordinario y es verdad.

El segundo casi nunca se menciona, y es el que decide si un proyecto sale bien: si en vez de conformarte con acertar la mitad de las veces exiges acertar 4 de cada 5, la tarea que el modelo aguanta se acorta unas cinco veces. En su medición, un modelo que resolvía tareas de unos 59 minutos con fiabilidad del 50% bajaba a unos 15 minutos al exigirle un 80%.

Traducido a lenguaje de comité de dirección: las cifras de capacidad que se publican están medidas a un nivel de fiabilidad que ninguna empresa aceptaría en un proceso real. Acertar 4 de cada 5 veces sigue siendo inasumible para casi cualquier cosa que toque a un cliente o a una cuenta.

La multiplicación que casi nadie hace

La fiabilidad de una cadena no se promedia: se multiplica. Cada paso adicional erosiona el resultado del anterior, y el conjunto cae mucho más rápido de lo que la intuición sugiere:

99% de acierto por paso, 10 pasos: 90% de éxito completo.
99% por paso, 50 pasos: 60,5%.
99% por paso, 100 pasos: 36,6%.
95% por paso, 20 pasos: 35,8%.

Dale la vuelta y tienes una regla de presupuesto. Si quieres que un proceso salga bien el 90% de las veces:

Con un 99% de acierto por paso, te caben 10 pasos.
Con un 99,5%, te caben 21.
Con un 99,9%, te caben 105.

Es un cálculo propio y deliberadamente simplificado —supone que los errores son independientes, y en la realidad a veces se encadenan y a veces se compensan—, pero el orden de magnitud es el correcto. Y de él sale la conclusión que más dinero ahorra: medio punto de fiabilidad por paso duplica la complejidad del proceso que puedes automatizar. Diez puntos más en un ranking de inteligencia, no.

Dónde está el dinero de verdad

Aquí está lo que cambia una decisión de inversión, y es que la intuición lleva al sitio equivocado.

Cuando un proyecto de automatización falla, el reflejo es pedir un modelo mejor. Pero si el problema es la multiplicación de arriba, un modelo mejor mueve el acierto por paso un par de puntos y no arregla un proceso de cincuenta pasos. Lo que lo arregla es la ingeniería que rodea al modelo, que cuesta bastante menos que la diferencia de precio entre proveedores y que se apoya en cuatro propiedades que la industria del software lleva décadas aplicando:

Que repetir un paso no cause daño. Si reintentar un envío duplica el envío, no puedes reintentar nada. Esta propiedad, que en ingeniería se llama idempotencia, es la que convierte un fallo en una molestia en vez de en un incidente.
Que el proceso guarde por dónde iba. Cuando algo falla en el paso 40, se retoma en el 40 y no desde el principio.
Que sepa distinguir un tropiezo de un error. Un servicio que tarda de más se reintenta; un dato incoherente se para y avisa.
Que cada paso valide lo que entrega. Comprobar la salida contra unas reglas antes de dejarla pasar al siguiente paso es lo que evita que un error pequeño llegue al final convertido en un desastre.

Ninguna de las cuatro es un avance reciente. Son el manual de cualquier sistema crítico, y son exactamente lo que separa un piloto vistoso de algo que puede funcionar sin que nadie lo mire.

La diferencia incómoda

Con un matiz que conviene conocer antes de firmar nada. En un proceso automatizado tradicional, alguien escribió los pasos y sabe cuáles son. Con un agente de IA, el modelo decide los pasos sobre la marcha. No se puede validar la salida de un paso que nadie sabía que iba a existir, y un sistema clásico falla ruidosamente mientras que un modelo puede equivocarse en silencio y con total aplomo.

Por eso la pregunta útil no es si el modelo es lo bastante bueno.

Las tres preguntas antes de aprobar el proyecto

Si alguien te presenta una automatización con agentes, estas tres preguntas separan una propuesta seria de una demo:

¿Cuántos pasos tiene el proceso y qué fiabilidad tiene cada uno? Multiplicadas, esa es la tasa de éxito real. Si nadie ha hecho esa cuenta, el proyecto no está dimensionado.
¿Cuál es el paso más caro de deshacer, y hay una persona delante? Enviar una comunicación a toda la base de clientes, publicar un precio, ejecutar un cobro. Lo irreversible no se reintenta, y por tanto no se automatiza sin firma.
¿Cómo nos enteramos de que ha fallado? Si la respuesta es "porque lo revisamos", no hay sistema de control: hay vigilancia manual con otro nombre, y es justamente lo que el proyecto prometía eliminar.

Qué me llevo

La capacidad que anuncian los proveedores se mide a niveles de fiabilidad que tu empresa no aceptaría. Pide el número al 80%, no al 50%.
La tasa de éxito real de un proceso es el acierto por paso elevado al número de pasos. Haz esa cuenta antes de aprobar el presupuesto.
Cuando un piloto falla, el problema casi nunca es el modelo. Invertir en la ingeniería que lo rodea sale más barato y rinde más que cambiar de proveedor.
Los pasos irreversibles se quedan detrás de una persona. No por prudencia moral: porque no se pueden reintentar.

La buena noticia es que nada de esto es nuevo. Es lo que ya se exige a cualquier sistema del que dependa la operación. Lo único que ha cambiado es que ahora el sistema se escribe sus propios pasos, y eso hace las preguntas de arriba más necesarias, no menos.

Fuentes

OpenAI, "Perplexity trusts GPT-6 Astra with end-to-end systems", septiembre de 2026, con declaraciones de Johnny Ho, cofundador de Perplexity. Es un caso de cliente publicado por el proveedor del modelo y no aporta métricas — https://openai.com/index/perplexity-improving-accuracy-with-astra/
Thomas Kwa, Ben West y colaboradores (METR — Model Evaluation & Threat Research, con participación de Anthropic), "Measuring AI Ability to Complete Long Tasks", marzo de 2025 y actualizaciones posteriores. De ahí salen la duplicación cada 212 días (intervalo de confianza del 95%: 171-249 días) y el horizonte al 80% unas cinco veces más corto que al 50% — https://arxiv.org/abs/2503.14499 y https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/
Los cálculos de fiabilidad compuesta son propios y suponen pasos independientes. En la práctica los errores se correlacionan, así que sirven como orden de magnitud y no como predicción. METR advierte además de que extrapolar su tendencia conlleva una incertidumbre considerable.