La aceleración del desarrollo en inteligencia artificial (IA), desde sistemas estrechos hasta modelos generativos y agentes autónomos (agentic AI), plantea un desafío ético y operativo sin precedentes. La complejidad del panorama de riesgos se incrementa con cada nuevo avance, exigiendo que las organizaciones adapten sus programas de gestión de riesgos de forma proporcional.
El desafío ético de la IA
El experto en ética tecnológica Reid Blackman plantea lo que llama The Ethical Nightmare Challenge, un triple reto que exige: identificar los posibles escenarios de pesadilla derivados del uso masivo de IA, construir los recursos internos para evitarlos y capacitar al personal para gestionarlos con criterio profesional. El objetivo no es solo evitar catástrofes, sino lograr una implementación segura de tecnologías transformadoras.
De la IA estrecha a la generativa
La mayoría de los programas de riesgo actuales fueron diseñados para abordar los peligros de la narrow AI, que realiza predicciones en dominios específicos, como modelos de scoring o reconocimiento facial. En este entorno, los riesgos comunes son los sesgos, la falta de transparencia y la violación de la privacidad.
Sin embargo, con la llegada de la generative AI, todo cambia. El contexto de uso se vuelve impredecible y el riesgo se multiplica exponencialmente. Los usuarios finales, que ahora interactúan mediante prompts, tienen más influencia en los resultados, lo que implica que una mala instrucción puede causar errores significativos. La supervisión humana sigue siendo viable, pero requiere una formación mucho más avanzada.
El punto de inflexión: Agentic AI
Cuando los modelos comienzan a conectarse entre sí, a tomar acciones digitales o incluso a interactuar con otros agentes dentro o fuera de la organización, surge una red de complejidades que escapa a cualquier intento tradicional de gestión. La IA se convierte en un sistema autónomo con potencial para causar daños a gran escala si no se gestiona adecuadamente.
En este contexto, evaluar riesgos en cada nodo se vuelve impracticable, y la supervisión humana pierde efectividad. Las decisiones sobre si un sistema está listo para su despliegue requieren marcos de evaluación que hoy en día muchas empresas no tienen. A esto se suma la necesidad de una monitorización en tiempo real y de protocolos de intervención diseñados para minimizar el impacto sin desactivar sistemas enteros.
Formación como pilar fundamental
Un punto clave que Blackman destaca es la importancia de la capacitación: no basta con cursos generales; se requiere formación especializada por departamento y por rol. Las empresas más exitosas son las que invierten en educación continua antes de implementar la tecnología, no después de que surjan los problemas.
Evolucionar con responsabilidad
En vez de avanzar sin dirección clara hacia entornos complejos de multi-agentic AI, Blackman recomienda a las organizaciones evaluar honestamente su posición en la curva de complejidad y construir las capacidades necesarias para el siguiente paso. Esto incluye infraestructura de evaluación, sistemas de vigilancia y protocolos de intervención eficaces.
No se trata de frenar la innovación, sino de evitar que esta se convierta en imprudencia. El reto es difícil, pero los beneficios de una implementación segura y ética de la IA son inmensos.
-
Sobre los autores
Reid Blackman, PhD, es autor de Ethical Machines (Harvard Business Review Press, 2022) y fundador de Virtue, una consultora en riesgos éticos de IA. Ha asesorado a gobiernos y corporaciones como Deloitte y EY, y ha sido destacado por medios como The Wall Street Journal, CNN y Forbes.