Calibración
Modelos de decisión, Jev y Kev
Jev devuelve probabilidades en vez de texto. Su confidence no se aprende: se calcula. Lo compruebo con 5,743 casos públicos y con Kev sobre mi compuerta.
Calibración y exceso de confianza en los LLM
Calibrar es saber cuánto vas a acertar. Cómo lo mide el ECE, el salto del ECE de GPT-4 de 0.007 a 0.074 tras el post-training y qué se sabe de la causa.