Cuándo no usar un LLM

La mitad de lo que aterrizamos no necesita un modelo. Saber cuál mitad es el trabajo.

Hay una prueba que corremos antes de construir cualquier agente. Si las preguntas son fijas, las respuestas son estructuradas, y la siguiente pregunta no depende en nada de la respuesta anterior, no quieres un agente. Quieres un formulario.

Lo aprendimos aterrizando un producto de entrevistas. El instinto era dejar que un agente llevara todo, incluidas las partes que eran una lista fija de preguntas de escala. En papel suena mejor. En la práctica, un agente guiando a alguien por preguntas fijas es peor en todos los frentes: más lento para quien contesta, más ruidoso como datos, y gasta tokens en hacer lo que hace un radio button.

Dónde el modelo se gana el sueldo

Una conversación justifica su costo justo donde un formulario falla: cuando la respuesta interesante es la que no sabías que tenías que pedir. Una pregunta de seguimiento que depende de lo que la persona acaba de decir. Pedir el documento que mencionó de pasada. Escarbarle a una respuesta vaga en lugar de aceptarla. Eso es trabajo real de agente, y nada más lo hace.

La regla aburrida

Así que la regla con la que entregamos: formularios donde las preguntas son fijas, agentes solo donde escarbar con preguntas abiertas justifica su costo, y código normal para todo lo que queda en medio. El modelo es el especialista caro del equipo. Al especialista no lo mandas a capturar datos.

También es la forma más barata en que un estudio de IA puede ganarse credibilidad: decirle al cliente dónde no va la IA en su producto. La propuesta que incluye un no es a la que sí le crees.