El auge de la IA en negocios centrados en el consumidor viene acompañado de crecientes preocupaciones sobre su gobernanza a largo plazo. La urgencia de una regulación efectiva de la IA se subraya con el reciente decreto ejecutivo de la administración Biden, que impone nuevos protocolos para el desarrollo y despliegue de sistemas avanzados de IA.
Hoy, los proveedores de IA y los reguladores enfatizan la explicabilidad como un componente esencial de la gobernanza de la IA. Este enfoque permite a las personas afectadas por los sistemas de IA entender y cuestionar los resultados generados por estas tecnologías, incluyendo posibles sesgos.
Aunque explicar algoritmos más sencillos, como los utilizados para la aprobación de préstamos de automóviles, puede ser directo, las tecnologías de IA más recientes involucran algoritmos complejos que a menudo son difíciles de interpretar, pero que ofrecen ventajas significativas. Por ejemplo, GPT-4 de OpenAI, con su extenso conjunto de datos y miles de millones de parámetros, genera conversaciones similares a las humanas que están transformando numerosas industrias. De manera similar, los modelos de detección de cáncer de Google DeepMind aprovechan el aprendizaje profundo para ofrecer diagnósticos precisos que pueden salvar vidas.
Estos modelos intrincados pueden oscurecer los procesos de toma de decisiones, planteando una pregunta vital: ¿deberíamos renunciar a estas tecnologías parcialmente explicables pero beneficiosas para evitar la incertidumbre? Incluso los legisladores estadounidenses que buscan regular la IA están reconociendo las complejidades de la explicabilidad, subrayando la necesidad de un enfoque centrado en los resultados en lugar de uno exclusivamente enfocado en la explicabilidad.
Abordar las incertidumbres en torno a las tecnologías emergentes no es nuevo. La comunidad médica ha comprendido durante mucho tiempo que identificar posibles daños es crucial al desarrollar nuevas terapias. Este entendimiento ha llevado a la creación de ensayos controlados aleatorios (ECA) para evaluar riesgos.
En los ECA, los participantes se dividen en grupos de tratamiento y control, donde el grupo de tratamiento recibe la intervención médica y el grupo de control no. Comparando resultados entre estas cohortes comparables, los investigadores pueden establecer causalidad y determinar la eficacia de un tratamiento.
Históricamente, los investigadores médicos emplearon diseños de pruebas estables para evaluar la seguridad y eficacia a largo plazo. Sin embargo, en el ámbito de la IA, donde los sistemas están en constante aprendizaje, nuevos beneficios y riesgos pueden surgir con cada reentrenamiento y despliegue. Por lo tanto, los ECA tradicionales pueden no abordar de manera adecuada las evaluaciones de riesgo de la IA. Marcos alternativos, como las pruebas A/B, podrían ofrecer perspectivas valiosas sobre los resultados de los sistemas de IA a lo largo del tiempo.
Las pruebas A/B se han utilizado ampliamente en el desarrollo de productos durante los últimos 15 años. Este método implica tratar a diferentes grupos de usuarios de manera distinta para evaluar el impacto de diversas características, como qué botones reciben más clics en una página web. Ronny Kohavi, exjefe de experimentación en Bing, fue pionero en la experimentación continua en línea, donde los usuarios son asignados aleatoriamente a la versión actual de un sitio o a una nueva versión. Este estricto monitoreo permite a las empresas mejorar continuamente sus productos mientras comprenden los beneficios de estos cambios en relación con métricas clave.
Muchas empresas tecnológicas, incluidas Bing, Uber y Airbnb, han establecido sistemas para probar continuamente cambios tecnológicos. Este marco permite a las empresas evaluar no solo métricas comerciales, como tasas de clics e ingresos, sino también identificar posibles daños, como la discriminación.
Una medición efectiva de la seguridad de la IA podría ser así: un gran banco podría estar preocupado de que un nuevo algoritmo de precios para préstamos personales desventaje injustamente a las mujeres. Aunque el modelo no utiliza explícitamente el género, el banco sospecha que proxies pueden influir en los resultados de manera involuntaria. Para comprobar esto, el banco podría crear un experimento donde el grupo de tratamiento utiliza el nuevo algoritmo, mientras que un grupo de control recibe decisiones de un modelo anterior.
Al asegurar que demografías como el género estén distribuidas equitativamente entre los grupos, el banco puede medir cualquier impacto dispar y evaluar la equidad del algoritmo. Además, la exposición a la IA se puede controlar mediante implementaciones graduales de nuevas características, permitiendo una gestión de riesgos medida.
Alternativamente, organizaciones como Microsoft utilizan "red teaming", donde empleados desafían al sistema de IA de manera adversarial para identificar sus riesgos significativos antes de un despliegue más amplio.
En última instancia, medir la seguridad de la IA fomenta la responsabilidad. A diferencia de la explicabilidad subjetiva, evaluar los resultados de un sistema de IA entre diversas poblaciones proporciona un marco cuantificable para valorar posibles daños. Este proceso establece responsabilidad, permitiendo a los proveedores de IA garantizar que sus sistemas operen de manera efectiva y ética.
Si bien la explicabilidad sigue siendo un punto focal para los proveedores y reguladores de IA, adoptar metodologías del sector salud puede contribuir a lograr el objetivo universal de contar con sistemas de IA seguros y eficaces que funcionen según lo previsto.
Clasificación
