“No entiendes realmente algo a menos que seas capaz de explicárselo a tu abuela”
Albert Einstein
La paradoja de Polanyi, propuesta por el filósofo húngaro Michael Polanyi, desarrolla la teoría de que los humanos somos capaces de hacer cosas que no sabemos explicar. Disponemos de conocimiento más allá de nuestra comprensión explícita.
La paradoja de Polanyi en la era digital
Xavier Ferrás profesor del ESADE, ha compartido en distintos artículos y post sus reflexiones sobre esta idea y su impacto en la era digital. “Las máquinas generan conocimiento tácito, pero éste sigue siendo tácito; no pueden explicarlo ni transmitirlo a los humanos. Dispondremos de sistemas capaces de resolver problemas extraordinariamente complejos, de adaptarse a condiciones cambiantes y de tomar decisiones en la frontera de la eficiencia. Pero sabremos como lo hacen” … o deberíamos de saberlo.
La “explicabilidad” de los sistemas de IA, es uno de los grandes retos del despliegue de la Inteligencia Artificial, tanto a nivel empresarial como social Share on XLas máquinas generan conocimiento tácito, pero éste sigue siendo tácito; no pueden explicarlo ni transmitirlo a los humanos. Dispondremos de sistemas capaces de resolver problemas extraordinariamente complejos, de adaptarse a condiciones cambiantes y de tomar decisiones en la frontera de la eficiencia. Pero sabremos como lo hacen Xavier Ferrás profesor del ESADE
En esta línea, Harvard Deusto, en un interesante artículo lo incluye entre los siete retos de la Inteligencia Artificial en el entorno empresarial.
Brian Subirana, director de Inteligencia Artificial del Massachusetts Institute of Technology (MIT), explicaba en 2019 que, cuando su equipo desarrollaba una aplicación de IA, esta requería mucha actividad de prueba y error, hasta conseguir que funcionara razonablemente bien; hasta el punto de que, una vez se obtenía ese buen funcionamiento, el equipo no podía explicar “por qué ahora funciona, y antes no lo hacía”.
La caja negra
Como explican Ernest Solé y Susana Domingo, en citado artículo, en el ámbito de la IA, este fenómeno recibe el apelativo de caja negra: algunas aplicaciones de IA aprenden en base a los datos que se les proporciona, toman sus conclusiones y ofrecen sus resultados, sin explicar cómo lo han hecho. Y ello puede representar algunos problemas para la compañía que toma y ejecuta decisiones basadas en el uso de aplicaciones de IA.
En algunas situaciones, especialmente en aquellas en las que algo ha salido mal, puede resultar muy comprometido pretender explicar que tal decisión fue aconsejada –o incluso tomada–, por una aplicación de IA en base a… algo desconocido.
Por ejemplo, la red social china Tencent tuvo que retirar un chatbot en 2017, denominado BabyQ y desarrollado por Turing Robot, porque respondía con un seco “no” a la pregunta ¿te gusta el Partido Comunista Chino?
Cuestión de confianza
La confianza va a ser clave en el desarrollo de una tecnología que no solo debe ser rigurosa y transparente, sino que también debe saber explicarse.
La Unión Europea, lo incluye como uno de los 7 principios éticos que ha dictado para el desarrollo de la Inteligencia Artificial:
- Debe de ser supervisada por seres humanos con las “apropiadas medidas de contingencias”.
- Los sistemas deber ser resistentes y resilientes ante eventuales intentos de manipulaciones o de pirateo y dotarse de planes de contingencia.
- Se debe garantizar la privacidad de los datos de los ciudadanos en todo el ciclo vital de la IA.
- La IA debe ser transparente, lo que supone poder reconstruir cómo y por qué se comporta de una determinada manera y quienes interactúen con esos sistemas, deben de saber que se trata de inteligencia artificial, así como, qué personas son sus responsables.
- La IA debe tener en cuenta la diversidad social
- El desarrollo tecnológico debe tener en cuenta su impacto social y medioambiental.
- La IA y sus resultados deben de rendir cuentas ante auditores externos e internos.
El sistema de IA puede comportarse como una caja negra: sabemos qué ocurre al final, pero no lo que sucede en el interior de las capas intermedias.
Cuando se trata de traducir textos o elegir la próxima película de Netflix, este desconocimiento nos resulta indiferente, pero si queremos usar la IA en la ayuda de toma de decisiones, entonces debemos comprender cómo toma esas decisiones y saber cuándo se equivoca.
Es evidente, que es muy distinto no saber explicar la acción de una persona o de distintas personas en momentos determinados, que no saber hacerlo cuando una decisión afecta a miles e incluso millones de personas.
De la caja negra a la caja de cristal
Las empresas (los directivos) deberían ser capaces de explicar por qué un sistema sí aprobó una solicitud y no otra, o por qué, en una campaña señaló a un grupo determinado de consumidores, y no a otros.
Abrir la caja negra en la que han estado funcionando modelos de IA de gran complejidad, requerirá que las empresas puedan asegurar que cualquier sistema de IA de la compañía funciona según los estándares fijados por esta, y que sus directivos se responsabilizan de los resultados.
Para abrir esa caja negra, o, lo que es lo mismo, convertirla en una caja de cristal y generar confianza, las compañías deberían desarrollar sistemas de IA que acierten una y otra vez. Pero no solo eso, los modelos de machine learning en los que están basados estos sistemas, deberían reunir tres características:
- ser explicables
- ser transparentes
- ser demostrables
Este tiene que ser el camino inevitable, para generar confianza y aprovechar todo el potencial de la IA.
A fin de cuentas, hacerlo no debería ser tan complejo, pues todos llevamos una caja negra en nuestra cabeza.
Muy buenas, Adolfo, creo que en la última frase del post está la clave de la cuestión. Si nosotros como personas tampoco somos capaces de explicar cómo reaccionamos ante distintas situaciones ¿cómo podemos trasladarlo a máquinas a las que queremos que tengan un sistema de toma de decisiones con un nivel de complejidad similar al nuestro. Siempre se intenta explicar racionalmente el resultado de una acción, pero lo que realmente motivó dicha acción y los mecanismos que se pusieron en juego aún son dificiles de entender y más de explicar.
Esa necesidad de control sobre lo desconocido y los niveles de confianza de comentas son la clave de la evolución tanto de la IA como de cualquier otra tecnología, pero nos queda mucho que recorrer aún
Nosotros cómo humanos SÍ podemos explicar cómo actuamos ante distintas situaciones, pero esto de la IA es tan simple cómo saber el por qué toma una decisión, de donde ha sacado esa información, etc.
Intenta hablar con una IA, no tienen ni idea de donde sacan sus informaciones, yo siempre comparto esto con gente que cree que sirven para algo, yo te puedo citar autores y libros y las partes donde lo puedo haber sacado, la IA no.
La IA no puede explicar por qué toma una decisión, lo que significa que tienen menos inteligencia que un niño pequeño, que sí puede dar una explicación más en profundidad.
Asi mismo, nosotros somos más complejos, solo haz un cálculo en la calculadora, lo que te da al final se puede ver porque la calculadora te dice que procesos ha usado para llegar al resultado, lo que se pide es que se usen los mismos procesos.
«Cuanto es veinti siete por treinta menos uno» pues la calculadora te dice cómo lo ha multiplicado, eso con todo.
Si yo escribo un libro o hago un trabajo en las citaciones pongo de donde lo he sacado, la página y frase completa, autor, etc.
José Manuel, gracias por participar en el post, creo que es uno de los grandes TEMAS de la era digital al que hay que dedicar tiempo e inteligencia humana para avanzar en la dirección adecuada.