Elige el umbral de un juez con las decisiones de las personas, no con otro juez

Criba recoge ofertas de empleo, descarta las que no pasan reglas simples y manda el resto a un modelo de lenguaje que actúa como juez. El juez puntúa cada oferta de 0 a 100 contra el perfil de una persona, y lo que supera el umbral de esa persona dispara una alerta. Al principio los umbrales fueron 70 y 80, ajustados mientras el juez era Gemini.

Después quise cambiar el juez a Claude. Lo tentador era cambiar el modelo y dejar todo lo demás igual. Antes hice una comprobación pequeña.

Un experimento defectuoso

Tomé las 10 ofertas que Gemini había puntuado más alto y se las di a Claude Sonnet con el mismo prompt. Sonnet las puntuó, en promedio, 36,8 puntos más bajo, y en ninguna de las 10 coincidieron los dos jueces en qué lado del corte quedaba la oferta.

Como comparación de modelos, eso no vale nada. Fue una sola corrida sobre 10 ofertas, no guardé las salidas crudas y la muestra estaba sesgada por construcción: las ofertas que un juez puntuó más alto tienden a salir más bajas en cualquier segunda opinión, porque algunas de esas notas eran altas por suerte. Cero coincidencias de 10 puede ser más de lo que la regresión a la media produciría por sí sola, pero sin volver a puntuar esas mismas 10 con Gemini no puedo separar una cosa de la otra.

La pregunta, en cambio, era más estrecha: ¿se pueden conservar los umbrales después de cambiar de juez? Para eso alcanzó: dejé de suponer que la escala seguía en su sitio. La nota de un juez LLM no es una propiedad de la oferta. Pertenece a la oferta, al prompt y al modelo juntos, así que si cambias cualquiera de los tres, cada umbral construido encima hay que volver a medirlo. Bajé los umbrales de 70/80 a 50/60, y los traté como un parche, no como umbrales medidos.

Elegir el umbral con decisiones

Comparar dos jueces entre sí no dice si alguno coincide con lo que la gente quiere. Las decisiones de las personas sí. Criba registra cada reacción a una alerta, postular o descartar, por persona.

Así que diseñé un informe de umbrales que agrupa las ofertas por banda de puntuación y compara cada banda con lo que decidió cada persona. Solo sugiere mover un umbral cuando una banda tiene al menos 10 respuestas, porque por debajo de eso gana el ruido.

Su primer resultado llegó en octubre, con las decisiones de la primera persona. Postuló a 1 de 12 ofertas en la banda de 60 a 69, a 5 de 25 en la de 70 a 79 y a 7 de 13 de 80 en adelante. La puntuación del juez sí lleva información sobre lo que esa persona quiere, y su umbral de 60 dejaba pasar dos bandas que casi siempre descarta. Con la regla del 25 %, el informe sugirió subirlo a 80. No lo hice: en esas dos bandas estaban 6 de sus 13 postulaciones, y con 25 respuestas el intervalo de la banda de 70 a 79 todavía cruzaba el mínimo. El umbral sigue en 60, y el informe se vuelve a correr a medida que llegan respuestas. Ese es el número que la comparación de modelos nunca me habría dado: no si dos jueces coinciden, sino si uno de ellos coincide con la persona para la que trabaja.