Judge feedback

Judge feedback is anonymous and shown in a random order.

• - La distinción que me parece más útil es entre botón de apagado dentro vs fuera del contexto operacional. - Los autores recomiendan desarrollar IAs con funcoines específicas y con encapsulamiento para aislarlas del botón de apagado. Sin embargo, parece que las IAs más útlies y valiosas creadas recientemente son modelos de lenguaje con bastante conocimiento sobre el mundo y que son conscientes de su posible apagado, como demuestra el caso de Bing. Me habría gustado ver una exploración de cómo de factible es a nivel técnico y económico limitar el desarrollo de IAs a funciones específicas en lugar de crear IAs muy generales, que parece ser la tendencia actual. - El pagado pasivo en lugar de activo no me parece demasiado útil, puesto que la IA sigue teniendo los incentivos (y posiblemente la capacidad) de manipular los humanos y sistemas que intervienen en el apagado. Es más, se podría argumentar que todas las IAs tienen ya un sistema de apagado pasivo, puesto que requieren energía generada por la economía humana para funcionar, y mantener esa energía fluyendo requiere trabajo constante por parte de los humanos. - Además, el diseño propuesto del sistema de apagado pasivo me parece demasiado complejo y detallado para un análisis tan preliminar. Algo más simple habría ilustrado la idea de manera igual de efectiva. # Evaluación - Significancia: Incorporar el contexto en un análisis del shutdown problem es importante, pero realmente el principal problema viene cuando el botón de apagado tiene que estar por necesidad dentro del contexto operacional. 2/5 - Validez Técnica: No hay errores obvios en las propuestas o en la distinción de contextos, pero la propuesta tampoco entra mucho en detalles técnicos. 4/5 - Claridad: La propuesta es clara y fácil de leer 5/5 - Novedad: Las discusiones sobre el shutdown problem no suelen centrarse el contexto operacional de la IA, sino en su diseño interno o en mecanismos de oversight. Por otro lado, muchas de las propuestas concretas del documento sí han sido discutidas con anterioridad. 4/5
• Cuando hablan de “las inteligencias artificiales avanzadas llegan a un punto en que imitan el comportamiento de humanos sintientes, razón por la cual se podría producir una disconformidad por parte de la IA” creo que deberían haberlo abarcado más por el lado de las funciones de utilidad, y de cómo no puede cumplir sus objetivos si la apagan, no del lado de asignarle emociones como la disconformidad. El sistema que describen como "Shutdownable Remote Controlled Power Supply", no veo como demuestren que justifica su complejidad, parece idéntico en función y seguridad a un sistema que le da una advertencia a la IA y luego la apaga si no se corrige.