Skip to main content

Indie game storeFree gamesFun gamesHorror games
Game developmentAssetsComics
SalesBundles
Jobs
TagsGame Engines
A jam submission

Honestidad en IAView game page

Submitted by Zuny5
Add to collection

Play game

Honestidad en IA's itch.io page

Results

CriteriaRankScore*Raw Score
Significancia#14.0004.000
Novedad#23.5003.500
Overall#33.6253.625
Validez Técnica#44.0004.000
Claridad#63.0003.000

Ranked from 2 ratings. Score is adjusted from raw score by the median number of ratings per game in the jam.

Judge feedback

Judge feedback is anonymous and shown in a random order.

  • Me hubiera gustado una indagación más profunda en las particularidades de cada lenguaje y alguna especulación de por que habría diferencias más allá de la cantidad de datos de cada uno.
  • - Estudiar cómo la honestidad varía con el idioma utilizado resulta interesante para averiguar hasta qué punto el modelo generaliza su honestidad a situaciones distintas a las del entrenamiento - Habría resultado interesante hacer pruebas con few-shot priming, para ver si la honestidad se acaba igualando entre distintos idiomas si se proporcionan suficientes ejemplos - No se explica cómo se obtuvieron las preguntas en los distintos idiomas. Son de un dataset ya existente? Fueron traducidas por los propios autores del estudio? Tenemos alguna información de la calidad de las traducciones? - Es posible que el rendimiento del clasificador varíe según el idioma? Si esto ocurre, podría invalidar los resultados incluso si el clasificador es en general bastante bueno. Me habría gustado ver un análisis más detallado de esto. # Evaluación - Significancia: La honestidad es un atributo extremadamente importante en estos modelos, y este estudio puede ayudar a mejorar nuestra comprensión de este atributo 4/5 - Validez técnica: Hay algunos posibles problemas y limitaciones que debilitan mi confianza en los resultados, pero en general el proyecto tiene una excelente validez 4/5 - Claridad: El informe es claro y fácil de leer, pero he echado en falta más explicaciones sobre la fuente de las preguntas 3/5 - Novedad: Es relativamente común evaluar modelos de lenguaje en varios idiomas, así como evaluar su honestidad, pero creo que nunca había visto un análisis conjunto de ambos 3/5 # Comentarios adicionales - La inclusión del cebuano en el estudio merece un premio - El hecho de que el modelo sea significativamente más honesto en español demuestra la superioridad objetiva de nuestra lengua

Nombre del equipo
Equipo Amistad

Autores
Vicente Castillo, Matías Fernandez, Matías Pinto, Martín Zúñiga

Estoy de acuerdo con liberar mi proyecto al dominio público (CC0)

CC0Chile

Leave a comment

Log in with itch.io to leave a comment.

Comments

Link del repositorio: https://github.com/Wh4rp/Equipo-Amistad