Judge feedback

Judge feedback is anonymous.

• - La propuesta de entrenar una IA para generar planes parece factible al menos en teoría usando tecnologías similares a las disponibles actualmente, en particular modelos de lenguaje entrenados con human feedback - Problema: incluso habiendo creado un espacio de entrenamiento simulado, no está claro hasta qué punto esto permitirá a la IA hacer planes en el mundo real. En particular, en robótica suele darse el caso de que los modelos aprenden bien en una simulación pero a la hora de ser transferidos a robots físicos, su rendimiento se ve muy reducido. Es lo que se conoce como "sim2real gap" - Es importante considerar qué tipo de tareas queremos automatizar. La aproximación de crear planes que puedan ser ejecutados por robots relativamente poco inteligentes puede funcionar si queremos automatizar un proceso productivo, o tareas logísticas y de transporte. Pero ¿qué pasa si queremos automatizar, por ejemplo, el desarrollo de fármacos? Hay ciertos aspectos del desarrollo de fármacos que requieren tomar decisiones complejas, por ejemplo qué experimento realizar a continuación según los resultados obtenidos previamente. En estas situaciones planificar por adelantado todas las posibilidades resulta inviable, así que o bien los robots tendrían que ser dotados de una inteligencia significativa, o bien el plan tendría que involucrar consultar a la IA original para que tome las decisiones complejas. - En ambos casos tendríamos a una IA planeando e interactuando con el mundo físico, y volvemos a enfrentarnos al shutdown problem - Otro factor importante es asegurar que la IA no es consciente de la diferencia entre la simulación y la readidad, o por lo menos que no puede detectar la diferencia. Tampoco debe conocer la posibilidad de tomar el control del botón de apagado en el mundo real. Si la IA sabe que los Performers serán desplegados en el mundo real en algún momento, y tiene alguna manera de distinguir cuándo el plan está siendo simulado vs cuándo está siendo ejecutado de verdad, puede intentar introducir en el plan instrucciones adicionales que sólo se activan cuando el robot detecta que está desplegado en el mundo real, y que incluyen tomar el control del botón de apagado. - Sin estas precauciones la aproximación de 'crear un plan' posiblemente sería totalmente inútil en el caso de IAs superinteligentes. Esto ha sido debatido en la comunidad, por ejemplo [aquí](https://www.lesswrong.com/s/n945eovrA3oDueqtq/p/7im8at9PmhbT4JHsW) en la sección 4.2. "Nate Soares' summary" hay un resumen en el segundo bloque. - En general diría que esta propuesta es una manera en principio viable de evitar el shutdown problem, pero con un coste muy alto en términos de las limitaciones impuestas por tener que generar un plan de antemano, y también por el coste de desarrollar el entorno virtual, como dicen los autores. - Creo que la sección de beneficios adicionales de los Performers (modularidad, actualizaciones, etc) no es directamente relevante al shutdown problem y podría haberse omitido. # Evaluación Significancia: el shutdown problem es más importante cuanto más potentes sean los modelos y más capacidad tengan de tomar decisiones y actuar sobre el mundo. La propuesta no soluciona el problema en estos casos, sino que más bien garantiza que la IA no podrá ser utilizada en estos casos por las razones explicadas anteriormente 2/5 Validez Técnica: Pese a ser especulativa, la propuesta parece al menos factible en teoría. 3/5 Claridad: La propuesta es bastante clara y concisa. También identifica algunas de las limitaciones más importantes. 4/5 Novedad: La idea de una IA que sólo propone planes ha sido propuesta y debatida con anterioridad en la comunidad de AI Safety, pero mi impresión es que los autores no eran conscientes de esto y han desarrollado los argumentos por sí mismos, demostrando un grado de creatividad 3/5