Judge feedback

Judge feedback is anonymous.

• - Los ejemplos de GM identificados son razonables - Los autores identifican las causas fundamentales del problema: proxies correlacionados con el objetivo real y falta de variedad en el entorno de entrenamiento - La primera propuesta (reproducir la distribución real durante el entrenamiento) es infactible en la mayoría de casos: los datos reales a menudo son escasos o resultan caros de obtener. Por ejemplo, en robótica uno de los desafíos clave es que hacer pruebas reales con robots es muy caro. - La tercera propuesta parece más apropiada para mitigar el problema de reward misspecification, en el que los humanos no son capaces de proporcionar una función de recompensa correcta. Sin embargo, puede ser útil en combinación con la segunda propuesta para automatizar la evaluación en enormes cantidades de entornos generados procedimentalmente - El sesgo inductivo es un aspecto fundamental del problema que los autores identifican correctamente en la cuarta propuesta. Me habría gustado ver una exploración más profunda de este aspecto. # Evaluación - Significancia: Los autores han realizado un trabajo considerable aclarando ejemplos de GM y las soluciones propuestas atacan directamente las raíces del problema 4/5 - Validez técnica: Aunque en general las propuestas son válidas y tienen una probabilidad alta de ayudar a resolver el problema, tienen algunas limitaciones 4/5 - Claridad: El artículo es comprensible y fácil de leer, explica claramente los problemas y las soluciones propuestas 5/5 - Novedad: Todas las propuestas de los autores se encuentran ya en la literatura sobre este problema. Aunque el artículo es un excelente resumen y recopilación, no he encontrado casi nada novedoso. 1/5