Inteligencia Artificial: razones para su regulación. El caso de España y la Unión Europea

1. Ricard Martínez Martínez
Inteligencia Artificial: Razones para su regulación. El caso de España
y la Unión Europea.

2. ■ Smart world
■ Productivity revolution
■ Privacy and transparency
■ Critical enablers

3. Estrategia digital Europea
3
1. Inteligencia artificial
2. Estrategia europea de datos
3. Estrategia industrial europea
4. Informática de alto rendimiento
5. Ley de Mercados Digitales
6. Ley de Servicios Digitales
7. Ciberseguridad
8. Capacidades digitales
9. Conectividad
10. Identidad Digital Europea

4. ● Ecosistemas de tratamiento caracterizados por:
▪ una multiplicidad de fuentes de información propia o ajena;
▪ un entorno de tratamiento de datos con una doble dimensión relativa
al despliegue de las funciones normales de negocio de la
organización, pero también orientada a la analítica de datos para
múltiples propósitos.
▪ posibilidad, de proyectar sobre los repositorios de datos distintas
herramientas de Deep Learning y Machine Learning, APIs, o
soluciones decisionales o no de Business Intelligence e IA.
Complejidad en los sistemas de información

5. Central HUB
Atlas of
Cancer Images
Metadata Catalogue
Annotated Structured Data
AI Experimentation Platform
Governance
& Access
Hybrid (F&C) Platform
DICOM-
MIABIS
Observational
RWD Studies
Distributed RW Data Warehouses
Extract, Transform and Load
ML Federated Learning
CDM hyper-ontology
DIGITAL-2022-CLOUD-AI-02-CANCER-IMAGE
Data Altruism

6. Hybrid Platform

7. Empoderamiento del usuario

8. ● Crisis de la Constitución (Balaguer Callejón)
▪ Globalización
✓ Secuestro de la Constitución económica
▪ Multinacionales
✓ Modelo de innovación: Zuckerberg
✓ Privatización: sujeción de los derechos fundamentales a la imposición de un modelo
privatista.
▪ Bajo nivel de respuesta:
✓ Pesimismo constitucional
✓ Confianza en el marco de la UE: IA Act
▪ No existe una teoría desde la normatividad constitucional
Enfoques

9. ● Visiones pesimistas o catastrofistas:
▪ Todo esta mal: Carissa Veliz
▪ ¿El fideicomiso cómo solución?
▪ Capitalismo de la vigilancia (Zuboff)
▪ Crisis de la democracia (Byung-Chul Han, Harari)
▪ Labilidad, sociedad liquida (David Lyon & Zygmunt Bauman)
● Algunos elementos comunes (tendenciales):
▪ Tecno-pesimismo
▪ No aportan soluciones: sólo identifican el riesgo
▪ ¿La solución es prohibir?
● Deriva liberal-individualista

10. ● Parciales: enfoques de caso
▪ Transparencia del algoritmo, videovigilancia (Cotino Hueso)
▪ Caracterización jurídica de los algoritmos decisionales (Boix)
▪ IA y protección de datos (Arenas Ramiro, Ricard Martínez)
● Se identifican o reivindican espacios de normatividad que ordenan
sectorialmente la IA.
Visiones normativistas

11. ● La tecnología se somete por definición al Ordenamiento (Stefano Rodotà)
● Carta de Derechos Digitales
Afirmación radical de la normatividad

12. Posición personal

13. Cumplimiento normativo: el compliance como filosofía.

14. ● Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y
garantía de los derechos digitales. TÍTULO X
▪ Principio de normatividad:
▪ Neutralidad:
Garantía de los derechos digitales

15. ● El uso de los datos para el bien común.
Derecho de acceso a datos con fines de investigación científica, innovación
y desarrollo

16. ● El diseñador como garante de derechos.
● Una ética de:
▪ La dignidad humana.
▪ Ética de los derechos fundamentales.
▪ ¿Hay que romper cosas?
▪ Alterum non laedere.
● Una nueva sociedad con riesgos:
▪ Exclusión y discriminación digital y laboral.
▪ Educación.
▪ El sesgo del algoritmo.
● Una sociedad cargada de oportunidades.
▪ Salud
▪ Educación
▪ Tareas repetitivas
Una previa reflexión ética

17. ● Marco normativo sectorial
▪ Protección de datos
▪ Entornos financieros
▪ Desarrollo de dispositivos médicos…
● Enfoques
▪ Interpretación de la IA desde el derecho.
▪ Enfoque de diseño
▪ Enfoque de producto
▪ Enfoque consumidor-cliente
● Posibilidades
▪ Autoridades independientes
▪ Contratación pública
▪ Derecho de daños
● Ajustes normativos: memoria justificativa de la AI Act
▪ Regular lo necesario.
Tutela

18. ● IA sometida al derecho: prevalencia de los derechos fundamentales y los
principios y valores constitucionales. + Human centric approach
● Un enfoque centrado en el riesgo.
▪ Para los derechos
▪ Desde la robustez y la resiliencia
▪ Categorización del riesgo en los sistemas de IA (incluidos los integrados en un
producto)
● Un proceso orientado al control del producto:
▪ Visión omnicomprensiva del alcance subjetivo.
▪ Requisitos de desarrollo.
▪ Normas, evaluación de la conformidad, certificados, registro
▪ Obligaciones de transparencia (interacción humana, profiling emocional)
AI ACT: filosofía general

19. ● Catalogación de sistemas de alto riesgo
● Enforcement:
▪ Autoridades de IA
▪ Multas administrativas de hasta 30 000 000 EUR o, si el infractor es una
empresa, de hasta el 6 % del volumen de negocio total anual mundial del ejercicio
financiero anterior, si esta cuantía fuese superior:

20. Que supone AI ACT en su nueva versión

22. ● De una regulación orientada al desarrollo de producto con garantías a un
marco centrado en las garantías de los derechos (artículo1)

23. ● Ampliación del alcance subjetivo

24. ● Reforzamiento de una visión sistemática del Ordenamiento y las garantías de los
derechos:
▪ Marco de tutela en protección de datos y el secreto de las comunicaciones:
5a. Union law on the protection of personal data, privacy and the confidentiality of communications
applies to personal data processes in connection with the rights and obligations laid down in this
Regulation. This Regulation shall not affect Regulations (EU) 2016/679 and (EU) 2018/1725 and Directives
2002/58/EC and (EU) 2016/680, without prejudice to arrangements provided for in Article 10(5) and
Article 54 of this Regulation.;
▪ Protección de los consumidores:
5b. This Regulation is without prejudice to the rules laid down by other Union legal acts related to
consumer protection and product safety;
▪ Protección de los derechos de los trabajadores:
5c. This regulation shall not preclude Member States or the Union from maintaining or introducing laws,
regulations or administrative provisions which are more favourable to workers in terms of protecting their
rights in respect of the use of AI systems by employers, or to encourage or allow the application of
collective agreements which are more favourable to workers.

25. ● Fomento de la investigación y el emprendimiento:
▪ 5d. This Regulation shall not apply to research, testing and development activities regarding
an AI system prior to this system being placed on the market or put into service, provided
that these activities are conducted respecting fundamental rights and the aplicable Union
law. The testing in real world conditions shall not be covered by this exemption. The
Commission is empowered to may adopt delegated acts in accordance with Article 73 that
clarify the application of this paragraph to specify this exemption to prevent its existing and
potential abuse. The AI Office shall provide guidance on the governance of research and
development pursuant to Article 56, also aiming to coordinate its application by the national
supervisory authorities
● Potenciación de marcos de reutilización cooperativa: ciencia abierta.
▪ 5e. This Regulation shall not apply to AI components provided under free and open-source
licences except to the extent they are placed on the market or put into service by a provider
as part of a high-risk AI system or of an AI system that falls under Title II or IV. This exemption
shall not apply to foundation models as defined in Art 3.
● Apuesta por sandbox (definiciones)
▪ (44g) ‘regulatory sandbox’ means a controlled environment established by a public authority
that facilitates the safe development, testing and validation of innovative AI systems for a
limited time before their placement on the market or putting into service pursuant to a
specific plan under regulatory supervision;

26. Plena incorporación del modelo ALTAI:

27. Article 4 a
General principles applicable to all AI systems
● 1. All operators falling under this Regulation shall make their best efforts to develop and
use AI systems or foundation models in accordance with the following general principles
establishing a high- level framework that promotes a coherent human-centric European
approach to ethical and trustworthy Artificial Intelligence, which is fully in line with the Charter
as well as the values on which the Union is founded:
a) ‘human agency and oversight’ means that AI systems shall be developed and used as a tool
that serves people, respects human dignity and personal autonomy, and that is functioning in a
way that can be appropriately controlled and overseen by humans;
b) ‘technical robustness and safety’ means that AI systems shall be developed and used in a
way to minimize unintended and unexpected harm as well as being robust in case of
unintended problems and being resilient against attempts to alter the use or performance of
the AI system so as to allow unlawful use by malicious third parties;
c) ‘privacy and data governance’ means that AI systems shall be developed and used
incompliance with existing privacy and data protection rules, while processing data that meets
high standards in terms of quality and integrity;

28. ● d) ‘transparency’ means that AI systems shall be developed and used in a way
that allows appropriate traceability and explainability, while making humans aware
that they communicate or interact with an AI system as well as duly informing users
of the capabilities and limitations of that AI system and affected persons about their
rights;.
● e) ‘diversity, non-discrimination and fairness’ means that AI systems shall be
developed and used in a way that includes diverse actors and promotes equal
access, gender equality and cultural diversity, while avoiding discriminatory impacts
and unfair biases that are prohibited by Union or national law;
● f) ‘social and environmental well-being’ means that AI systems shall be
developed and used in a sustainable and environmentally friendly manner as well as
in a way to benefit all human beings, while monitoring and assessing the long- term
impacts on the individual, society and democracy.

29. Un enfoque centrado en el riesgo

33. ● (44m) ‘state of the art’ means the
developed stage of technical capability
at a given time as regards products,
processes and services, based on the
relevant consolidated findings of
science, technology and experience;
Accountability

34. Article 4 b AI literacy
● 1. When implementing this Regulation, the Union and the Member States shall promote
measures for the development of a sufficient level of AI literacy, across sectors and taking into
account the different needs of groups of providers, deployers and affected persons concerned,
including through education and training, skilling and reskilling programmes and while ensuring
proper gender and age balance, in view of allowing a democratic control of AI systems
● 2. Providers and deployers of AI systems shall take measures to ensure a sufficient level of
AI literacy of their staff and other persons dealing with the operation and use of AI systems on
their behalf, taking into account their technical knowledge, experience, education and training and
the context the AI systems are to be used in, and considering the persons or groups of persons on
which the AI systems are to be used.
● 3. Such literacy measures shall consist, in particular, of the teaching of basic notions and
skills about AI systems and their functioning, including the different types of products and uses,
their risks and benefits.
● 4. A sufficient level of AI literacy is one that contributes, as necessary, to the ability of
providers and deployers to ensure compliance and enforcement of this Regulation.

35. 2. Paragraph 1 is without prejudice to obligations set up by existing Union and national law. For
high-risk AI systems, the general principles are translated into and complied with by providers or
deployers by means of the requirements set out in Articles 8 to 15, and the relevant obligations
laid down in Chapter 3 of Title III of this Regulation.
● Sistema de gestión de riesgos:
▪ Durante todo el ciclo de vida del producto entendido como un proceso continuado y
documentado.
▪ Que considere el riesgo para la seguridad, salud y derechos fundamentales de las
personas y el medio ambiente con atención a la igualdad de oportunidades, la
preservación de la democracia y el estado de derecho.
▪ Despliegue de medidas adecuadas y proporcionales a la gestión del riesgo
(obligatorio para los sujetos obligados por la Act):
▪ Definición de riesgo residual aceptable
▪ Estrategias de eliminación, mitigación y modelos de mitigación y control del
riesgo residual
▪ Formación y capacitación de los desarrolladores
▪ Fase de prueba y verificación
Un ejemplo de despliegue: sistemas de alto riesgo

36. ● Prácticas adecuadas de gobernanza y gestión de datos.
▪ a) la elección de un diseño adecuado;
▪ b) la recopilación de datos;
▪ c) las operaciones de tratamiento oportunas para la
preparación de los datos, como la anotación, el etiquetado, la
depuración, el enriquecimiento y la agregación;
▪ d) la formulación de los supuestos pertinentes,
fundamentalmente en lo que respecta a la información que,
ateniéndose a ellos, los datos miden y representan;
▪ e) la evaluación previa de la disponibilidad, la cantidad y la
adecuación de los conjuntos de datos necesarios;

37. ● f) el examen atendiendo a posibles sesgos;
- que puedan afectar a la salud y la seguridad de las personas,
repercutir negativamente en los derechos fundamentales o dar lugar a
discriminaciones prohibidas por el Derecho de la Unión, especialmente
cuando los resultados de los datos influyan en los insumos para
operaciones futuras ("bucles de retroalimentación") y medidas
adecuadas para detectar, prevenir y mitigar posibles sesgos;
● - adoptar medidas adecuadas para detectar, prevenir y mitigar
posibles sesgos
● g) la detección de posibles lagunas o deficiencias en los datos y la forma
de subsanar
● Uso de categorías especiales de datos la medida en que sea
estrictamente necesario para garantizar la detección y corrección de sesgos
negativos:

38. ● - Documentación técnica
● - Registro de eventos (log)
● - Transparencia y comunicación de información a los usuarios
● - Vigilancia: supervisión humana
● - Precisión, solidez y ciberseguridad
● - Diligencia debida en su acción (CAP III) (calidad, documentación,
evaluación de conformidad, mantenimiento y retroalimentación)

39. Responsabilidad proactiva e inserción del cumplimiento normativo en los modelos
de desarrollo

41. ¿Cómo debería funcionar?

42. ● Formar no es el punto de llegada.
▪ Empoderamiento previo de las personas implicadas.
▪ Formar ética y jurídicamente al equipo.
✓ Formación al órgano de gobierno.
✓ Formación de cuadros directivos.
✓ Formación al equipo IT.
✓ Formación general.
Formar ética y jurídicamente

43. ● Punto de partida: los derechos fundamentales concernidos.
● El Ordenamiento vigente “aplica”:
▪ análisis exhaustivo del Derecho aplicable al mismo desde una aproximación
abierta a considerar todas las posibilidades.
● Principios:
▪ Lealtad.
▪ Licitud.
▪ Transparencia.
● Procesos:
▪ ¿Legalmente puedo?
▪ Análisis de riesgos.
▪ Seguridad desde el diseño
▪ Evaluación de impacto relativa a la protección de datos.
● Juicios complementarios / informes básicos:
▪ Legalidad y GDPR
▪ Seguridad
▪ Capacidad (recursos)
▪ Oportunidad
¿Qué necesitamos?

44. Metodologías orientadas al riesgo
● No existe el riesgo cero

45. ● Acompañar en cada círculo de innovación
del proceso.
▪ Asegurar confiabilidad.
▪ Corregir riesgos: sesgo, correlaciones,
hallazgo casual.
Vamos a Iterar, y a Iterar…

46. ¿Funciona?

47. A producción

48. Para siempre

49. ● 1) Aprender del propio funcionamiento de la tecnología.
▪ Los resultados obtenidos, los errores de funcionamiento, las incidencias…,
cualquier elemento verificado o verificable debería ser indexado y estudiado
también por el soporte jurídico.
▪ Prevenir posibles conflictos y responsabilidades, y mejorar las condiciones de
cumplimiento normativo.
● 2) Profundizar en el diseño de cumplimiento normativo proponiendo mejoras
cuando resulte necesario.
● 3) Acompañar cada fase o evolución del producto.

50. Metodologías

51. ● Criterio estricto en anonimización.
● Aplicación de GDPR en todas las fases si hay datos personales:
▪ Diseño.
▪ Entrenamiento.
▪ Validación.
▪ Despliegue
▪ Explotación.
▪ Retirada.

54. ● Una ética de:
▪ La dignidad humana.
▪ Ética de los derechos fundamentales.
Creemos en un enfoque de la ética en la IA basado en los derechos fundamentales
consagrados en los Tratados de la UE15, la Carta de los Derechos Fundamentales de la
Unión Europea (la «Carta de la UE») y la legislación internacional de derechos humanos. El
respeto de los derechos fundamentales, dentro de un marco de democracia y estado de
Derecho, proporciona la base más prometedora para identificar los principios y valores
éticos abstractos que se pueden poner en práctica en el contexto de la IA.
Ética de la inteligencia artificial.

55. ● Componentes
▪ La IA debe ser lícita, es decir, cumplir todas las leyes y reglamentos aplicables.
▪ Ha de ser ética, de modo que se garantice el respeto de los principios y valores
éticos.
▪ Debe ser robusta, tanto desde el punto de vista técnico como social, puesto que
los sistemas de IA, incluso si las intenciones son buenas, pueden provocar daños
accidentales.
High Level Expert Group

56. ● Respeto de la dignidad humana.
▪ Los sistemas de IA deben desarrollarse de un modo que respete, proteja y esté al servicio de la integridad física y mental de lo
seres humanos, el sentimiento de identidad personal y cultural y la satisfacción de sus necesidades esenciales.
● Libertad individual.
▪ Garantizar que los individuos o las personas en riesgo de exclusión disfruten de igualdad de acceso a los beneficios y la
oportunidades que ofrece la IA.
▪ Mitigar la coerción ilegítima (in)directa, las amenazas a la autonomía mental y la salud mental, la vigilancia injustificada, el engañ
y la manipulación injusta.
● Respeto de la democracia, la justicia y el estado de Derecho
▪ Los sistemas de IA no deben socavar los procesos democráticos, las deliberaciones humanas ni los sistemas democráticos d
votación.
▪ Los sistemas de IA deben incluir un compromiso de garantizar que su funcionamiento no menoscabe los compromisos esenciale
en los que se fundamenta el estado de Derecho —así como las leyes y reglamentos de obligado cumplimiento— y de asegurar e
respeto de las garantías procesales y la igualdad ante la ley.
Ética desde los derechos fundamentales

57. ● Igualdad, no discriminación y solidaridad, incluidos los derechos de las
personas en riesgo de exclusión.
▪ El funcionamiento de la IA no debe generar resultados injustamente sesgados.
● Derechos de los ciudadanos.
▪ Los sistemas de IA ofrecen un potencial muy importante para mejorar el alcance
y la eficiencia del gobierno en la prestación de bienes y servicios públicos a la
sociedad.
▪ Al mismo tiempo, determinadas aplicaciones de la IA también pueden afectar
negativamente a los derechos

58. ● I) respeto de la autonomía humana;
● II) prevención del daño;
● III) equidad;
● IV) explicabilidad.
Principios éticos

59. Requisitos de una IA fiable

60. ● «Ethical Impact Assessment (EIA) is an
approach for contextualized ethical
assessment of technology development
projects by developers and decision-makers
involved in the project. The framework also
involves a checklist and stakeholder
involvement».
● Rasmus Øjvind Nielsen, Agata M. Gurzawska and Philip Brey. Principles and
Approaches in Ethics Assessment. Ethical Impact Assessment and Conventional Impact
Assessment. Deliverable 1.1. Annex 1.a. IN: SATORI. Ethical Assessment of Research and
Innovation: A Comparative Analysis of Practices and Institutions in the EU and selected
other countries. Accessed 05/05/2021 https://satoriproject.eu/media/1.a-Ethical-
impact-assessmt-CIA.pdf.
Análisis de riesgos en la inteligencia artificial.

62. GR CIAS
• ricard.martinez@uv.es ;
•
@ricardmm; @catedramuv1