Judge feedback

Judge feedback is anonymous and shown in a random order.

• - Según entiendo, la idea del "Supervisor" es un sistema, que puede estar compuesto por humanos y otros modelos de IA, que aplica una serie de buenas prácticas en cada paso del entrenamiento para mitigar el problema de goal misgeneralization. - Aunque en abstracto la idea del repositorio colectivo suena bien, en la práctica ya existen repositorios de conocimiento científico, como ArXiv, en los que los investigadores registran sus ideas y propuestas. La idea de admitir cualquier idea, por pequeña que sea, tambiém suena bien, pero hay que tener en cuenta que un exceso de ideas en el repositorio pueden hacer imposible encontrar las que sean más prometedoras. - La idea de usar modelos de lenguaje para ayudar con la investigación en AI Safety es buena, pero en este caso las ideas propuestas por el modelo son poco detalladas y en su mayoría de baja calidad. Las primeras, basadas en aprendizaje por transferencia, pueden tener cierto sentido. Sin embargo, las ideas posteriores en muchos casos no tienen mucho sentido, por ejemplo la teoría de transformadas de Fourier no parece muy aplicable directamente a este problema. # Evaluación - Significancia: No me queda muy claro si aplicar el concepto del Supervisor sería una mejora significativa sobre el proceso actual, salvo por dar más importancia al problema de goal misgeneralization que la que los investigadores le dan actualmente 2/5 - Validez técnica: la mayoría de las propuestas del modelo de lenguaje carecen de sentido o resultan difíciles de aplicar. La idea general de usar modelos de lenguaje como ayuda para resolver el problema sí resulta prometedora 2/5 - Claridad: La utilidad y la naturaleza del supervisor no me han quedado demasiado claras 2/5 - Novedad: Algunas partes de la propuesta me han parecido originales y creativas 3/5
• Me hubiera gustado más que hayan indagado más en la idea del repositorio, como funcionaria, como hacer que se use, etc. No me gusto su uso del modelo de lenguaje, hubiera preferido que filtren las mejores ideas y después las evalúen, y un comentario sobre el uso de modelos de lenguaje para este tipo de cosas.