Los informes dicen que el nuevo modelo Q* alimentó los temores de seguridad, y los trabajadores expresaron sus preocupaciones a la junta antes del despido del CEO Sam Altman.
The Guardian.- Según se informa, OpenAI estaba trabajando en un sistema avanzado antes del despido de Sam Altman que era tan poderoso que causó preocupaciones de seguridad entre el personal de la empresa.
El modelo de inteligencia artificial provocó tal alarma entre algunos investigadores de OpenAI que escribieron a la junta directiva antes del despido de Altman advirtiendo que podría amenazar a la humanidad, informó Reuters.
El modelo, llamado Q* – y pronunciado “Q-Star” – fue capaz de resolver problemas matemáticos básicos que no había visto antes, según el sitio de noticias tecnológicas The Information, que añadió que el ritmo de desarrollo detrás del sistema había alarmado algunos investigadores de seguridad. La capacidad de resolver problemas matemáticos se consideraría un avance significativo en la IA.
Los informes siguieron a días de agitación en OpenAI, con sede en San Francisco, cuya junta despidió a Altman el viernes pasado pero luego lo reintegró el martes por la noche después de que casi todos los 750 empleados de la compañía amenazaran con renunciar si no lo traían de regreso. Altman también contó con el apoyo del mayor inversor de OpenAI, Microsoft.
A muchos expertos les preocupa que empresas como OpenAI estén avanzando demasiado rápido hacia el desarrollo de inteligencia artificial general (AGI), el término para un sistema que puede realizar una amplia variedad de tareas a niveles de inteligencia humanos o superiores a los humanos, y que, en teoría, podría , evadir el control humano.
Andrew Rogoyski, del Instituto de IA centrada en las personas de la Universidad de Surrey, dijo que la existencia de un modelo de lenguaje grande (LLM) para resolución matemática sería un gran avance. Dijo: “La capacidad intrínseca de los LLM para hacer matemáticas es un gran paso adelante, que permite a las IA ofrecer una gama completamente nueva de capacidades analíticas”.
Hablando el jueves de la semana pasada, el día antes de su despido sorpresa, Altman indicó que la compañía detrás de ChatGPT había logrado otro avance.
En una aparición en la cumbre de Cooperación Económica Asia-Pacífico (Apec), dijo: “Cuatro veces en la historia de OpenAI, la vez más reciente fue apenas en las últimas dos semanas, he estado en la sala, cuando de alguna manera empujamos hacia atrás el velo de la ignorancia y avanzamos la frontera del descubrimiento, y lograr hacerlo es el honor profesional de nuestra vida”.
OpenAI se fundó como una empresa sin fines de lucro con una junta que gobierna una subsidiaria comercial, dirigida por Altman. Microsoft es el mayor inversor en el negocio con fines de lucro. Como parte del acuerdo de principio para el regreso de Altman, OpenAI tendrá una nueva junta presidida por Bret Taylor, ex codirector ejecutivo de la empresa de software Salesforce.
El desarrollador de ChatGPT afirma que se creó con el objetivo de desarrollar “inteligencia artificial general segura y beneficiosa para el beneficio de la humanidad” y que la empresa con fines de lucro estaría “legalmente obligada a perseguir la misión de la organización sin fines de lucro”.
El énfasis en la seguridad en la organización sin fines de lucro llevó a especulaciones de que Altman había sido despedido por poner en peligro la misión principal de la empresa. Sin embargo, su breve sucesor como director ejecutivo interino, Emmett Shear, escribió esta semana que la junta “*no* destituyó a Sam por ningún desacuerdo específico sobre seguridad”.
