“Debemos estar muy seguros de que el propósito que ponemos en la máquina es el propósito que realmente deseamos.”
Norbert Wiener, 1960
En síntesis: La IA no solo automatiza decisiones: convierte en sistema los criterios y valores de la organización. Al hacerlo, puede escalar también sus contradicciones. Gobernarla exige decidir qué debe importar, quién establece ese criterio, cómo se traduce y cuándo debe revisarse. La IA aprende cultura. ¿Cuál queremos enseñarle?
Una caída de red deja sin conexión a 2.000 clientes de una operadora y solo 300 pueden recibir atención humana inmediata. Un sistema de IA tiene que decidir el orden. Entre los afectados están Sara, clienta desde hace años, que teletrabaja; Elena, una persona mayor cuyo equipo de monitorización médica depende de la conexión; y David, cliente empresarial premium, con riesgo de fuga y una incidencia que se resuelve en pocos minutos.
El caso lo plantea Hamilton Mann en su artículo «The AI design challenge: focus on artificial integrity, not intelligence», y con él abrí el pasado jueves, en la sede de Renta 4 en Madrid, la jornada «¿Quién está enseñando la cultura a la IA?», organizada junto a IGS a partir del trabajo del Think Tank Autenticidad en la era de la IA.
Si el sistema prioriza ingresos, atenderá primero a David. Si prioriza vulnerabilidad, a Elena. Si pesa más la relación y la confianza, a Sara. Los datos son los mismos en los tres casos; lo único que cambia es lo que le hemos pedido al modelo que valore.
¿Quiénes somos «nosotros»?
Esa elección la hace alguien. La dirección piensa en el propósito; el negocio, en los resultados; el área de tecnología, en la eficiencia y en cómo codificarlo. Cada área, y cada persona, tiene además sus propios objetivos e incentivos. Lo que acaba llegando al modelo es una interpretación concreta de la cultura de la empresa, traducida a variables, pesos y reglas por quien tuvo que hacerlo funcionar. Quien parametriza nunca es neutral, y si nadie gobierna quién define el criterio, lo definirá en la práctica quien lo convierta en sistema.
A veces ni siquiera será alguien de la casa. Cuando incorporamos una herramienta externa para seleccionar candidatos, conceder crédito o atender clientes, con ella entran prioridades que nadie en la organización ha decidido. El orden en que se atiende a Sara, Elena y David puede venir fijado por un proveedor, y podemos adoptarlo como propio sin haberlo discutido nunca.
Cuando dos valores chocan
Decimos «cliente en el centro», pero ¿qué cliente, el rentable o el vulnerable? Decimos «personas primero», ¿también cuando eso cuesta resultados? Mientras los valores son declaraciones, toleran la ambigüedad. Un sistema que tiene que decidir obliga a concretarlos.
Esto siempre ha importado, pero la IA cambia la escala. Una decisión incoherente quedaba antes limitada a una persona, un equipo o una situación concreta. Ahora puede convertirse en una regla aplicada miles de veces al día.
Aparece entonces otra contradicción: enseñar un criterio a la IA y pagar a nuestra gente por aplicar otro. El sistema prioriza a Elena mientras el comercial cobra por retener a David. Alinear lo que decimos, lo que pedimos, lo que medimos y lo que premiamos es tarea del gobierno de la organización, y ninguna herramienta lo resolverá por nosotros.
La IA como espejo
La pregunta que más me llevé de la jornada fue esta: ¿qué ocurrirá cuando la IA aplique de forma sistemática los valores que la empresa declara y que la propia organización no practica?
Supongamos que el comité de dirección aprueba que la vulnerabilidad pesa más que el ingreso, y el sistema lo ejecuta al pie de la letra. Elena es atendida primero, siempre. Pronto llegarán el informe con la cuenta de David perdida, la queja del director comercial y la petición de «ajustar» el modelo. En ese momento la organización tendrá que elegir entre cambiar el sistema o cambiar su conducta, y esa elección dirá más de su cultura que cualquier documento de valores.
Hasta ahora, la distancia entre lo declarado y lo practicado se diluía en miles de decisiones individuales, difíciles de observar. Un sistema que aplica reglas de forma consistente deja esa distancia registrada. La IA escala nuestra cultura y, con la misma eficacia, puede dejar a la vista sus incoherencias.
Gobernar el criterio
Volvamos a Sara, Elena y David. Gobernar el criterio exige responder a cuatro preguntas: quién decide qué debe importar cuando sus intereses chocan; cómo se traduce esa decisión en el sistema, y quién la revisa cuando viene de un proveedor; cómo comprobamos que se está aplicando; y quién decide cuándo debe cambiar, y con qué información.
Son preguntas para el comité de dirección y el consejo, y deben tratarse dentro del marco de riesgos de la compañía, como cualquier otra capacidad con impacto relevante. Hoy, en muchas organizaciones, las responde por defecto quien configura la herramienta.
Wiener advertía en 1960 que debíamos estar seguros de que el propósito que ponemos en la máquina es el que realmente deseamos. La IA ya está aprendiendo una cultura. La cuestión es si es la que queremos enseñarle.
Gracias a Agustín Cuenca y Carolina Gómez, con quienes he codirigido el Think Tank, y a los más de 25 profesionales que han participado en él. Y a Elena Herrero-Beaumont, Eduardo de la Cruz y Almudena de la Mata, que continuaron la conversación en la mesa redonda moderada por José María Beneyto.
Leer más:
- El desafío de erradicar las culturas destructivas.
- Cultura en acción.
- Siete claves para movilizar la cultura organizacional