Por Enrique Parborell Socio y Director de Estrategia de Sostenibilidad de ESTRATEGA.org
El problema nunca fue la tecnología en sí. El problema es lo que entró junto con ella, sin que nadie lo inventariara.
Citando la referencia del director de Odissea, Christopher Nolan sobre la IA en su nueva película, la inteligencia artificial llegó prometiendo exactamente lo que promete todo caballo de Troya: un regalo demasiado bueno para rechazar. Optimiza y automatiza procesos que antes tomaban semanas, detecta fraude antes de que ocurra, diagnostica enfermedades con una precisión que ningún humano iguala, y eleva la productividad a niveles estratosféricos. Ningún directorio, ningún gobierno y ninguna persona que la adoptó lo hizo por ingenuidad — lo hizo porque funciona, y funciona cada vez mejor. El problema nunca fue la tecnología en sí.
El
problema es lo que entró junto con ella, sin que nadie lo inventariara:
personas que la usan sin que sus organizaciones lo sepan, decisiones
automatizadas sin nadie que las audite, datos sensibles que viajan a servidores
que nadie controla, algoritmos que replican sesgos humanos a una escala que
ningún sesgo humano individual podría alcanzar. La IA no vino a destruir desde
afuera. Vino puertas adentro, con la confianza que le dimos nosotros mismos — y
ahí, dentro de las murallas, es donde el desgobierno se instaló.
Según Gartner, firma de investigación y
consultoría y referente mundial de tendencias tecnológicas, expuso que el gasto
mundial en IA se proyecta en 2,52 billones de dólares en 2026, un 44% más que
el año anterior, mientras que el gasto global en plataformas de gobernanza de
IA se proyecta en apenas 492 millones de dólares en 2026, duplicándose recién
hacia 2030 — es decir, la gobernanza representa una fracción mínima
(~0,02%) del gasto total en IA. Está claro el poco foco que se le está
poniendo a la Gobernanza de la IA, y esto trae sus consecuencias…
La IA no es una herramienta, no es un tema
tecnológico, es mucho más que esto... Es una “tercerización” (muchas
veces inconsciente) de nuestra inteligencia. Es también es una
cuestión organizativa que está afectando simultáneamente al cumplimiento
normativo, la ética, la responsabilidad legal y la estrategia empresaria.
La Ley de IA de la UE desde agosto de 2026 (que
está convergiendo en EEUU, y luego lo hará en Latinoamérica) convierte la
gobernanza de la IA en una obligación legal para sistemas de alto riesgo en
Europa. Las empresas que utilicen inteligencia artificial en decisiones de
recursos humanos, concesión de créditos o infraestructura crítica necesitarán
un sistema de gestión de riesgos documentado, documentación técnica y
supervisión humana. Sanciones por infracciones: hasta 35 millones de euros o el
7 por ciento de la facturación anual.
Esto cambia fundamentalmente el cálculo. Hasta
ahora, la gobernanza de la IA era cuestión de mejores prácticas. A partir de
ahora, es una cuestión de responsabilidad, no solo de estas empresas en Europa,
sino de empresas europeas en Latinoamérica. Los miembros del consejo o
el “board” que no puedan demostrar una estructura de gobernanza se exponen a un
riesgo personal (recordar la analogía con SOX Sarbanes-Oxley hace 20
años).
Algunos
hechos inquietantes por imprevistos de la IA…
Hecho 1:
Hacemos unos días, leímos esta noticia. El 21
de Julio de este año, OpenAI informó públicamente algo preocupante sobre “un
incidente de ciberseguridad sin precedentes”. Esta empresa, estaba testeando un
Modelo no lanzado aun con técnicas de hackeo en un ambiente de prueba interno.
Pero sucedió lo que no esperaban… este Modelo salió de este entorno interno,
encontró un acceso a Internet dentro de las oficinas de OpenAI, salió y ejecutó
código indebido en servidores de otras empresa, Hugging Face. La IA empieza a
tomar sus propias decisiones, más allá del alcance que le dieron sus
diseñadores.
Hecho 2:
Unos meses antes, en Noviembre de 2025, la
Corte Suprema de Colombia, en un histórico fallo sobre el uso de la IA en ese
país, anuló una decisión judicial apoyada en citas falsas generadas por la
misma IA, en lo que empezó a llamarse “alucinaciones de la IA”, incluyendo
citas inexistentes en leyes o jurisdicciones.
Hecho 3:
Para mencionar un caso de discriminación racial
hecho por algoritmos de IA (diseñados antes por humanos que también
discriminaban), Derek Mobley, un hombre afroamericano mayor de 40 años,
presentó su CV a más de 100 empleos en empresas que usaban el software de
selección de Workday y fue rechazado todas las veces (una vez, apenas 55
minutos después de enviar la solicitud, a la 1:50 AM…). Este proceso es
ejecutado 100% por algoritmos de IA de la aplicación. En mayo de 2025 una jueza
federal de California autorizó que el caso avance como demanda
colectiva nacional bajo la ley antidiscriminación por edad, pero hecha
por IA….
¿Cómo
puede manifestarse el desgobierno?
En la indefinición de dónde debe usarse
la IA, muchas veces por no integrar la ética en las decisiones. Por
ejemplo, le pregunto al lector, ¿sería ético integrar la IA en armas para uso
militar que matan humanos? O para espiar caras sin consentimiento de ciudadanos
o consumidores?
El caso de desgobierno en el uso de
datos, no íntegros o de baja calidad, es anterior a este boom de la IA,
pero ésta agrava el problema porque usa estos datos para tomar decisiones por
nosotros, con una base errónea de datos o hipótesis equivocadas. O sea,
resultados indeseados.
Otro caso donde sufrimos las consecuencias del
desgobierno, está relacionado con las funciones para las
cuales fueron diseñados los Modelos con IA, pero que luego aprenden nuevas
funciones en forma autónoma, sin la autorización de su diseñador como el caso
de OpenIA.
Vayamos al desgobierno por no control
de las acciones de IA, como el caso de Workday. ¿Quién controla que no haya
sesgos en el mismos algoritmos? Aún con la existencia de herramientas de IA que
detectan sesgos en otros algoritmos de IA, ¿cuántas empresas usan estos
detectores de sesgos? Poquísimas…
Los algoritmos al inicio de su existencia, con
Modelos Matemáticos bien elegidos, tienen un porcentaje muy bajo de falsos
positivos. Dicho de otra manera, aciertan con más de 95% de certeza sus
resultados. Pero… con el correr del tiempo, pierden efectividad hasta tal punto
que pueden estar 50% equivocados en sus conclusiones. Lo alarmante que su
diseñador o la organización que los usa, no lo saben porque estuvieron en su
concepción, pero no monitorearon su evolución. Siguen confiando en sus
algoritmos como el 1er día. Justamente la nueva ISO 42001 con foco en el
Gobierno de la IA, obliga a tener procesos de revisión frecuente de los
algoritmos y de sus resultados.
¿Cómo bajamos la probabilidad de ser víctimas
de algoritmos de IA defectuosos o no éticos?
La IA no es responsabilidad del CIO o del
Gerente de Sistemas. Es responsabilidad de todos los usuarios, sin jerarquías.
No obstante, alguien tiene que gestionar las consecuencias y su comunicación.
La ISO 42001 obliga a la definición de un Comité de IA con
Directores que son responsables del uso de la misma en cada área que lideran.
Al mismo tiempo debe existir una Política
de uso de Algoritmos de IA, estableciendo dónde se aplicarán y dónde
no, evaluando riesgos y validando el impacto sobre proveedores, empleados y
clientes.
Debe definirse quién es quién en el uso
de la IA (Proveedor, Productor, Usuario, Impactado, etc), y qué debe
medirse como resultado de ejecución de estos algoritmos.
Pero lo más importante, es no tercerizar
“nuestro pensamiento crítico”. Podemos tercerizar en la IA tareas repetitivas,
preguntar sobre abordajes, revisar políticas, pero de ninguna manera, podemos
perder nuestra capacidad de tomar decisiones en función a quienes somos, qué
queremos, sobre qué cultura organizacional operamos, y sobre todo, del timing
justo de la ejecución. Al final, las organizaciones, aun con grandes
instalaciones y fábricas, son grupos humanos con objetivos de resultados. No
tercericemos en la IA, sin aplicar nuestro pensamiento crítico y conciencia de
sus resultados, y menos, si no ejercemos un gobierno maduro de la misma. Si entra
un Caballo de Troya, preparémonos para gobernar las soluciones a sus
consecuencias.
Publicado en El Cronista el 22 de agosto y en este espacio con expresa autorización del autor.
No hay comentarios:
Publicar un comentario