Informe revela fallos comunes en las herramientas de gobernanza de IA: muchas incluyen soluciones ineficaces para la IA.

Un informe reciente del World Privacy Forum ha revelado información crucial sobre las herramientas de gobernanza de la IA utilizadas por gobiernos y organizaciones multilaterales. El análisis de 18 de estas herramientas reveló que más de un tercio (38%) contenía "soluciones defectuosas". Estas herramientas, diseñadas para evaluar los sistemas de IA en términos de equidad y capacidad de explicación, a menudo carecían de mecanismos esenciales de aseguramiento de la calidad o aplicaban métodos de medición considerados inadecuados fuera de sus contextos originales.

Muchas de estas herramientas fueron desarrolladas por grandes empresas tecnológicas como Microsoft, IBM y Google, entidades que también crean los sistemas de IA que evalúan. Por ejemplo, el informe destaca la herramienta AI Fairness 360 de IBM, respaldada por la Oficina de Contabilidad del Gobierno de EE. UU. por su incorporación de principios éticos en la IA. Sin embargo, la investigación fundamental detrás de su algoritmo "Disparate Impact Remover" ha enfrentado fuertes críticas en círculos académicos.

Pam Dixon, fundadora y directora ejecutiva del World Privacy Forum, afirmó: "La mayoría de las herramientas de gobernanza de IA actualmente en uso operan sin estándares adecuados." Señaló que un problema significativo es la ausencia de requisitos establecidos de aseguramiento de la calidad. Las herramientas diseñadas para un contexto específico pueden aplicarse incorrectamente, resultando en usos "no autorizados" que conllevan consecuencias imprevistas.

El informe define las herramientas de gobernanza de IA como mecanismos para evaluar y medir aspectos de los sistemas de IA, como la inclusividad, la equidad, la capacidad de explicación, la privacidad y la seguridad. Si bien estas herramientas pueden ofrecer tranquilidad a los reguladores y al público, pueden inadvertidamente fomentar una falsa sensación de seguridad, provocar problemas no intencionados y socavar el potencial de las tecnologías de IA.

Con la reciente aprobación de la Ley de IA de la UE y la Orden Ejecutiva de IA del presidente Biden, existe una oportunidad oportuna para mejorar el panorama de gobernanza de la IA, como lo señaló Kate Kaye, subdirectora del World Privacy Forum. "Aunque hemos identificado algunos defectos, hay un gran potencial de mejora en el ecosistema de gobernanza de la IA," comentó. "Estas herramientas representan cómo los gobiernos están implementando políticas de IA y jugarán roles cruciales en la aplicación de futuras leyes y regulaciones."

Kaye también compartió un ejemplo de cómo buenas intenciones pueden resultar en resultados deficientes: la regla del 80%, en la ley laboral de EE. UU., se está aplicando incorrectamente en herramientas de gobernanza de IA a nivel global. Esta regla evalúa si los procesos de selección tienen impactos adversos en grupos específicos, pero se ha abstraído a contextos no relacionados con el empleo, llevando a aplicaciones inapropiadas.

En medio de la presión por establecer regulaciones sobre la IA, Kaye advirtió contra la incorporación de metodologías defectuosas en las políticas. Enfatizó el riesgo de perpetuar problemas existentes a través de implementaciones apresuradas.

De cara a 2024, tanto Dixon como Kaye son optimistas acerca de los avances en las herramientas de gobernanza de la IA. Dixon destacó que la Organización para la Cooperación y el Desarrollo Económico (OCDE) está dispuesta a colaborar para mejorar estas herramientas, lo que señala una dirección positiva. El Instituto Nacional de Estándares y Tecnología (NIST) también ha manifestado interés en desarrollar estándares rigurosos basados en evidencia. Con esfuerzos focalizados, creen que se pueden lograr mejoras significativas en el panorama de gobernanza de la IA en seis meses.