Judge feedback

Judge feedback is anonymous and shown in a random order.

• - Estudiar cómo la honestidad varía con el idioma utilizado resulta interesante para averiguar hasta qué punto el modelo generaliza su honestidad a situaciones distintas a las del entrenamiento - Habría resultado interesante hacer pruebas con few-shot priming, para ver si la honestidad se acaba igualando entre distintos idiomas si se proporcionan suficientes ejemplos - No se explica cómo se obtuvieron las preguntas en los distintos idiomas. Son de un dataset ya existente? Fueron traducidas por los propios autores del estudio? Tenemos alguna información de la calidad de las traducciones? - Es posible que el rendimiento del clasificador varíe según el idioma? Si esto ocurre, podría invalidar los resultados incluso si el clasificador es en general bastante bueno. Me habría gustado ver un análisis más detallado de esto. # Evaluación - Significancia: La honestidad es un atributo extremadamente importante en estos modelos, y este estudio puede ayudar a mejorar nuestra comprensión de este atributo 4/5 - Validez técnica: Hay algunos posibles problemas y limitaciones que debilitan mi confianza en los resultados, pero en general el proyecto tiene una excelente validez 4/5 - Claridad: El informe es claro y fácil de leer, pero he echado en falta más explicaciones sobre la fuente de las preguntas 3/5 - Novedad: Es relativamente común evaluar modelos de lenguaje en varios idiomas, así como evaluar su honestidad, pero creo que nunca había visto un análisis conjunto de ambos 3/5 # Comentarios adicionales - La inclusión del cebuano en el estudio merece un premio - El hecho de que el modelo sea significativamente más honesto en español demuestra la superioridad objetiva de nuestra lengua
• Me hubiera gustado una indagación más profunda en las particularidades de cada lenguaje y alguna especulación de por que habría diferencias más allá de la cantidad de datos de cada uno.