Judge feedback

Judge feedback is anonymous and shown in a random order.

• Me hubiera gustado que indaguen más profundamente en cómo los humanos aprendemos como llegar a nuestros objetivos y en que difiere a cómo se entrenan las IA de hoy en día.
• - Los autores identifican correctamente el problema de encontrar y utilizar el patrón correcto que representa la meta. - No entiendo muy bien la sugerencia de dotar al agente de habilidades de reconocer patrones. Los agentes entrenados por DeepMind ya aprenden a reconocer patrones, pero a menudo no son los patrones que queremos que utilicen (por ejemplo, reconocer al agente experto). La idea es que el agente pueda aprender nuevos patrones después del entrenamiento? O es la idea que el agente aprenda cierta intuición humana sobre qué patrones son más probables y naturales? Me gustaría que los autores hubieran detallado más cómo esta propuesta ayuda en el problema de las esferas. - La idea de tener varias posibles soluciones es prometedora, y recuerda a algunas propuestas que se han realizado en la comunidad de AI Safety, como reward uncertainty. Un posible problema es que haya demasiadas posibilidades consistentes con las observaciones realizadas por el agente, y resulte impráctico considerarlas todas. # Evaluación - Significancia: Las ideas propuestas no son muy específicas, pero pueden ser prometedoras. 3/5 - Validez técnica: Aunque son especulativas y abstractas, las ideas propuestas parecen factibles al menos en teoría 3/5 - Claridad: En general el documento es bastante claro, especialmente en la descripción de los problemas. Me habría gustado más claridad en la propuesta de los patrones. 4/5 - Novedad: Las ideas propuestas parecen creativas, aunque algunas sean similares a ideas ya discutidas por la comunidad 4/5