Play game
Honestidad en IA's itch.io pageResults
Criteria | Rank | Score* | Raw Score |
Significancia | #1 | 4.000 | 4.000 |
Novedad | #2 | 3.500 | 3.500 |
Overall | #3 | 3.625 | 3.625 |
Validez Técnica | #4 | 4.000 | 4.000 |
Claridad | #6 | 3.000 | 3.000 |
Ranked from 2 ratings. Score is adjusted from raw score by the median number of ratings per game in the jam.
Judge feedback
Judge feedback is anonymous and shown in a random order.
- Me hubiera gustado una indagación más profunda en las particularidades de cada lenguaje y alguna especulación de por que habría diferencias más allá de la cantidad de datos de cada uno.
- - Estudiar cómo la honestidad varía con el idioma utilizado resulta interesante para averiguar hasta qué punto el modelo generaliza su honestidad a situaciones distintas a las del entrenamiento - Habría resultado interesante hacer pruebas con few-shot priming, para ver si la honestidad se acaba igualando entre distintos idiomas si se proporcionan suficientes ejemplos - No se explica cómo se obtuvieron las preguntas en los distintos idiomas. Son de un dataset ya existente? Fueron traducidas por los propios autores del estudio? Tenemos alguna información de la calidad de las traducciones? - Es posible que el rendimiento del clasificador varíe según el idioma? Si esto ocurre, podría invalidar los resultados incluso si el clasificador es en general bastante bueno. Me habría gustado ver un análisis más detallado de esto. # Evaluación - Significancia: La honestidad es un atributo extremadamente importante en estos modelos, y este estudio puede ayudar a mejorar nuestra comprensión de este atributo 4/5 - Validez técnica: Hay algunos posibles problemas y limitaciones que debilitan mi confianza en los resultados, pero en general el proyecto tiene una excelente validez 4/5 - Claridad: El informe es claro y fácil de leer, pero he echado en falta más explicaciones sobre la fuente de las preguntas 3/5 - Novedad: Es relativamente común evaluar modelos de lenguaje en varios idiomas, así como evaluar su honestidad, pero creo que nunca había visto un análisis conjunto de ambos 3/5 # Comentarios adicionales - La inclusión del cebuano en el estudio merece un premio - El hecho de que el modelo sea significativamente más honesto en español demuestra la superioridad objetiva de nuestra lengua
Nombre del equipo
Equipo Amistad
Autores
Vicente Castillo, Matías Fernandez, Matías Pinto, Martín Zúñiga
Estoy de acuerdo con liberar mi proyecto al dominio público (CC0)
Leave a comment
Log in with itch.io to leave a comment.
Comments
Link del repositorio: https://github.com/Wh4rp/Equipo-Amistad