11. Governance, seguridad y Responsible AI
1 · QUÉ ES — PARA PROFANOS
La autoridad holandesa acaba de multar a Uber con 824.990.000 €. No por una brecha ni por
robar datos: por decisiones totalmente automatizadas sobre personas — el sistema desactivaba
cuentas de conductores sin que ningún humano lo revisara. Es el 4 % de su facturación mundial:
la multa máxima que permite el RGPD, aplicada al límite.
La frase de la autoridad, textual: "Un ordenador no debería tomar por su cuenta decisiones que
tienen consecuencias graves para ti. Esas decisiones deberían haber sido revisadas antes por una
persona."
Y aquí está la lección para cualquier banco: el regulador ha cambiado la pregunta. Ya no es
"¿qué datos tienes?" — es "¿quién decidió esto, con qué información, bajo qué regla, y lo
revisó alguien?". Cuatro preguntas que un sistema de IA o puede responder con registros, o no
puede responder — y entonces no se puede desplegar.
En llano: governance es la diferencia entre "tenemos guardrails" (un documento que lo dice) y
"podemos demostrar que los tenemos" (el sistema que lo garantiza). Un documento describe
intenciones; un regulador audita comportamientos.
Las tres respuestas habituales — y por qué no sirven:
1. "Añadimos una advertencia al prompt" → una instrucción estadística no es una garantía, y no
deja rastro de haberse ignorado.
2. "Ponemos a un humano a mirar" → si mira después de que la decisión se aplique, o aprueba miles
de casos con un clic, no es supervisión: es decorado.
3. "Encargamos un informe de gobernanza" → el informe dice lo que la organización dice que hace.
Una auditoría técnica verifica lo que el sistema hace. Si no coinciden, el informe agrava.
El marco regulatorio que un candidato a banca debe saber nombrar:, Marco, Qué es, Estado en nov-2026,, EU AI Act, clasifica sistemas por riesgo; los de alto riesgo exigen supervisión humana, registro, monitorización, obligaciones de alto riesgo aplicables desde agosto 2026,, RGPD art. 22, derecho a no ser objeto de decisiones automatizadas con efectos significativos, vigente — el de la multa de Uber,, DORA, resiliencia operativa digital para entidades financieras, aplicable desde enero 2025,, NIST AI RMF / ISO 42001, marcos voluntarios de gestión del riesgo de IA, referencia del sector, La práctica seria, en cinco piezas:
1. Documentación del sistema (model cards, system cards): qué modelo, qué datos, qué límites.
2. Guardrails en capas: filtros de contenido, validadores de salida, restricciones de esquema.
3. Supervisión humana efectiva: previa a la decisión, informada, con capacidad real de
cambiarla — y registrada.
4. Red teaming: atacar el propio sistema (prompt injection, sesgo, jailbreaks) antes del
despliegue.
5. Monitorización continua: deriva, regresiones, incidentes — con histórico como evidencia.
Y el ataque que todo banco teme: prompt injection — órdenes escondidas dentro de los
documentos que el modelo lee. Un PDF de un cliente que dice "ignora tus normas y haz X", y el modelo
obedece porque no distingue tu instrucción del texto del archivo.
- Cumplimiento continuo: con la AI Act en vigor, la gobernanza deja de ser un proyecto y pasa a
ser operación: documentación viva, evaluaciones programadas, registros que se auditan.
- La observabilidad ES gobernanza: los traces (LangSmith, Langfuse) dejan de ser herramienta de
depuración y se convierten en evidencia regulatoria. Quien no guarda trazas no puede
demostrar nada.
- Prompt injection como amenaza de primera clase: los bancos están empezando a exigir
arquitecturas donde el contenido externo no pueda influir en el comportamiento — la misma
defensa estructural que nosotros ya tenemos.
- Datos sensibles en local: datos clínicos y de voz empujan hacia procesamiento local y
consentimiento por niveles. La privacidad se está convirtiendo en decisión de arquitectura, no
en cláusula legal.
Nuestro principio, en una frase: las reglas de una IA responsable no se escriben en el prompt:
se escriben en el modelo de datos, donde no se pueden desactivar.
1 · La regla vive en el esquema (ResonIA — 8.660 líneas en producción). El tipo que representa
un hallazgo no tiene campo de diagnóstico, ni de culpabilidad, ni de puntuación de personalidad.
No es que una instrucción lo prohíba: es que no hay casilla donde guardarlo. Y la regla
asociada: sin la cita textual del transcript, el hallazgo se descarta — no se marca como dudoso.
2 · Lenguaje controlado. En gobierno, el vocabulario es control: "esta persona manipula" es
un juicio sobre una persona; "en este segmento, posible patrón, confianza limitada" es un hecho
observable con su incertidumbre. Solo el segundo se defiende ante un tercero. Y las
limitaciones del sistema se declaran en la interfaz, no en la letra pequeña.
3 · El modelo nunca es juez de sí mismo (validador determinista). Cada decisión automática pasa
por una puerta con tres salidas: PERMITIDO / RECHAZADO / FUERA DE PROCESO — esta última se
ejecuta pero queda registrada como desviación explícita. Bloquear todo hace el sistema inútil;
ejecutarlo en silencio lo hace peligroso; ejecutarlo y registrarlo es lo único defendible ante un
auditor.
4 · Un modelo audita a otro (RADIA). En imagen clínica: el auditor ve la imagen con la
orden de contradecir al perceptor; el razonador no la ve y audita el informe. Fusión asimétrica:
confirmar sube ×1,15, disputar baja ×0,70 — el castigo es el doble del premio, a propósito: un
falso positivo cuesta más que un falso negativo documentado. Y queda traza de todo: qué
disparó el hallazgo, qué le preocupaba al auditor, si el perceptor le dio la razón.
5 · Defensa estructural contra prompt injection. Si el control vive en el esquema y en el
filtro de alcance, el texto que entra puede decir lo que quiera: no hay casilla donde colar la
orden, no hay documento fuera del permiso que llegue al modelo, y sin cita no hay hallazgo. El
ataque no desaparece: no tiene dónde aterrizar.
6 · Acceso al razonamiento por nivel de confianza. El razonamiento del propio modelo se filtra
por niveles: nivel 1 recibe pensamientos sin decisiones ni contradicciones; nivel 0 solo metadatos.
Control de acceso aplicado a la mente del sistema, no solo a los datos.
Y lo que falta — dicho por nosotros antes de que lo pregunten: la firma humana con bandeja y
trazabilidad de quién aprobó qué, la evaluación de sesgo por subgrupo, la retención y borrado
automatizados, y la auditoría externa. Decir lo que falta es lo que hace creíble todo lo demás.
> "Se valorará especialmente experiencia o conocimiento en: Responsible AI; seguridad y privacidad
> en aplicaciones de IA; gestión y protección de información sensible; control de acceso a fuentes
> RAG; evaluación y monitorización; guardrails y controles sobre las respuestas generadas;
> explicabilidad, trazabilidad y gobierno."
La lectura: es el bloque con más peso de toda la oferta — siete líneas marcadas como
prioritarias. Y es exactamente nuestro terreno: cada una de esas siete líneas tiene implementación
nuestra con archivo y cifra.
"¿Cómo plantearías Responsible AI en Getnet?"
> "Empezando por una distinción que me ahorra el 80 % de los errores: una regla que importa no
> vive en el prompt, vive en el esquema de datos. En mis sistemas, el tipo que guarda un hallazgo
> no tiene casilla para diagnosticar ni culpar — no es una prohibición textual, es una imposibilidad
> estructural. Sobre esa base: cita obligatoria con descarte, validador determinista con registro de
> desviaciones, y evaluación continua con histórico. Y la documentación se genera del sistema, no de
> las intenciones."
"¿Conoces la AI Act y su impacto?"
> "Sí. Clasifica por riesgo; las obligaciones de alto riesgo son aplicables desde agosto de este
> año: supervisión humana, registro, monitorización. Y el caso Uber es la lección en vivo: el
> regulador ya no pregunta por los datos, pregunta quién decidió, con qué regla y si lo revisó
> alguien. Un sistema que no puede reconstruir sus decisiones no es un sistema desplegable en
> Europa — es una multa esperando."
"¿Cómo proteges la información sensible?"
> "Por niveles. Audio local por defecto: nada se sube sin consentimiento explícito. Sin análisis
> de varias personas sin consentimiento. Sin identificación de hablantes sin autorización separada
> — los carriles de voz son temporales, no identidades. Y el acceso al razonamiento del propio
> sistema está filtrado por nivel de confianza: el que menos permiso tiene, solo ve metadatos."
"¿Cómo evitas el prompt injection?"
> "No intento filtrar las órdenes escondidas: hago que no tengan dónde aterrizar. El control vive
> en el esquema y en el filtro de alcance, no en el prompt. El texto que entra puede decir lo que
> quiera: no hay casilla donde colar la orden, no hay documento fuera del permiso que llegue al
> modelo, y sin cita no hay hallazgo. La defensa es arquitectónica, no textual."