Calibração
Modelos de decisão, Jev e Kev
O Jev devolve probabilidades em vez de texto. O confidence não é aprendido, é aritmética, e a calibração é propriedade da distribuição, não do modelo.
Calibração e excesso de confiança em LLMs
Calibração é saber quanto você vai acertar. Como o ECE mede isso, o salto do ECE do GPT-4 de 0.007 a 0.074 após o post-training e o que se sabe da causa.