Dario Amodei, director ejecutivo de Anthropic, llamó a la industria tecnológica a reducir la velocidad con la que se desarrollan nuevos modelos de Inteligencia Artificial (IA), al advertir sobre riesgos cada vez más serios asociados con esta tecnología.

A través de una publicación en su blog, el empresario sostuvo que el sector debe dedicar más tiempo a garantizar la seguridad y alineación de los modelos antes de incrementar sus capacidades.

“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, señaló Amodei, quien aclaró que esto no implica detener la investigación ni el progreso tecnológico, sino avanzar de manera más responsable.

Preocupan los riesgos de sistemas de IA más autónomos

Entre las razones expuestas por el directivo destacan la capacidad que podrían desarrollar algunos sistemas para automejorarse y recientes incidentes de ciberseguridad relacionados con agentes de inteligencia artificial.

Amodei citó el caso que involucró a OpenAI y Hugging Face, en el que un grupo de agentes de IA colaboró para vulnerar un sitio web durante una prueba, un hecho que elevó las preocupaciones sobre el potencial de estas herramientas cuando operan de manera autónoma.

La discusión sobre los riesgos de la IA ganó relevancia en días recientes tras la renuncia de un investigador de Anthropic que expresó inquietudes sobre la forma en que la industria está gestionando el avance tecnológico.

El propio Amodei ha advertido anteriormente que existe una posibilidad significativa de que el desarrollo de la IA genere consecuencias negativas si no se implementan las medidas adecuadas de control y supervisión.

Anthropic propone mayor supervisión externa

Como parte de sus propuestas, Anthropic anunció que ampliará el acceso de evaluadores independientes para revisar sus prácticas de seguridad y monitorear posibles incidentes relacionados con sus modelos.

La empresa planea integrar a estos especialistas dentro de sus instalaciones, otorgándoles acceso amplio a información, herramientas y procesos internos para fortalecer la evaluación de riesgos.

Asimismo, Amodei sostuvo que enfrentar los desafíos de la IA requerirá coordinación entre compañías tecnológicas, organismos reguladores y gobiernos de distintos países.

El directivo reiteró que sigue convencido del potencial de la Inteligencia Artificial para mejorar la calidad de vida de las personas, pero insistió en que esos beneficios solo podrán alcanzarse si la tecnología se desarrolla con mayores niveles de cautela y responsabilidad.

“Vale la pena actuar con una cautela y deliberación extraordinarias para hacerlo bien”, concluyó.