también te interesará


[EN VIDÉO] Las 10 amenazas de inteligencia artificial más peligrosas
La inteligencia artificial ha permitido avances en el campo de la salud, la investigación y la industria. Pero en las manos equivocadas, también puede utilizarse con fines delictivos o de desinformación.

El 3 de marzo, el pueblo por CA Provence Côte d’Azur organizar una conferencia y una mesa redonda alrededor » Lenguaje natural, inteligencia artificial y la lucha contra el discurso sexista » en colaboración con Futura Science y el ClusterIA Costa Azul. En esta ocasión, un Instagram en vivo se realizará en la cuenta PACA de Village By CA. participara imparcialidad, una startup que creó el primer modelo que “elimina” el sexismo común en lengua francesa en inteligencias artificiales (IA). Daphné Marnat, cofundadora y directora de Unbias, nos habla de los problemas y métodos.

Futura: ¿Qué es un sesgo algorítmico?

Dafne Marnat: Es cierto que lo que se llama sesgo es un concepto un poco de maleta que abarca muchas definiciones y significados diferentes. Yo diría, desde el punto de vista del antropólogo, que estos son una especie de atajos tomados por el cerebro, que conducen a conclusiones o decisiones sesgadas de la realidad. Están en el centro de nuestras representaciones, a menudo implícitas, a menudo es difícil ser consciente de ellas y evitarlas. Se materializan en nuestras producciones lingüísticas, en particular en el texto, y son reproducidas mecánicamente por inteligencia artificial. La antropología y la etnología siempre han cuestionado y analizado estos sesgos porque pueden influir en la observación de comportamientos y prácticas sociales y dar una lectura subjetiva de una realidad objetivada. Desde el punto de vista de la ciencia de la información, el sesgo es fundamental ya que sin él, el cerebro o las máquinas no pueden diferenciar entre dos piezas de información. También, con respecto a la cuestión de la discriminación, mantengo la definición antropológica. En el caso del aprendizaje automático, estos sesgos pueden provenir de sesgos cognitivos de científicos de datospor lo tanto un mecanismo de pensamiento en el origen de una alteración del juicio, o estadística, porque se alojan en los datos de aprendizaje, y el proceso deaprendizaje automático tiende a amplificarlos.

Futura: ¿Qué impactos dañinos pueden causar estos sesgos para la inteligencia artificial?

Dafne Marnat: El peligro del sesgo algorítmico es que puede conducir a resultados distorsionados y generar formas de discriminación. Tay, el chatbot creado por microsoft en 2016 y capacitado en corpus de texto de Gorjeopor ejemplo, fue suspendida después de apenas un día por haber generado mensajes misóginos, racistas o antisemitas, por ejemplo calificando el feminismo como cáncer. Algunas plataformas de contratación sobrerrepresentan puestos técnicos para hombres y, por el contrario, anuncios relacionados con profesiones de cuidados para mujeres. También puede conducir a prejuicios raciales. algoritmos software de reconocimiento facial, que luchan por reconocer rostros de piel oscura que en su mayoría han sido entrenados en rostros de piel clara. Otro ejemplo es que las herramientas de traducción en línea traducen sistemáticamente «enfermera» como «enfermera», incluso si la oración significa que es un hombre.

Futura: Entonces, ¿por qué elegiste el tema del sexismo?

Dafne Marnat: Se multiplican las declaraciones de intenciones sobre inteligencia artificial, como el informe Villani, pero se producen pocas herramientas tecnológicas que permitan científicos de datos para tomar medidas concretas. imparcialidad nació por tanto del deseo de pasar a la acción y proporcionar los medios técnicos para el desarrollo de una IA ética. Es por eso que yo, un antropólogo formado en innovación, me uní a Benoît dal Ferro, un científico de datos. Tuvimos que probarnos a nosotros mismos, ¡así que también podríamos abordar lo más difícil! Para empezar, optamos por producir una prueba de concepto sobre el tema del sexismo común en lengua francesa. Mientras que el sexismo hostil es fácil de identificar porque se expresa a través de palabras e insultos, el sexismo común es más difícil de tratar porque se aloja en representaciones, lo simbólico, como asociar una habilidad con un género. Por lo tanto, para procesarlo, las máquinas deben ser capaces de decodificar conceptos, este simbolismo oculto en el lenguaje. Luego, elegimos el francés que, como toda lengua latina, tiene mucho género y una regla gramatical discutida pero establecida: lo masculino prevalece sobre lo femenino. La idea es lograr un lenguaje epiceno, es decir, que no sea discriminatorio desde el punto de vista del género.

Futura: ¿Cómo solucionarlo?

Dafne Marnat: Obviamente, combatir el sexismo en la IA significa diversificar los equipos tanto en términos de género como de habilidades. Según la UNESCO, el 22% de los profesionales de IA en todo el mundo son mujeres. Y diría que la inteligencia artificial no es solo el dominio de la ciencia de datos, el algoritmo, otras ciencias tienen mucho que aportar. La solución también puede ser técnica. Hemos creado así un algoritmo para medir las representaciones femeninas y masculinas en los modelos o los corpus y ver su evolución a medida que avanza el aprendizaje. Esto le permite al científico de datos evaluar si su modelo tiende a favorecer las representaciones femeninas o masculinas y, por lo tanto, tomar decisiones posiblemente sexistas. Esto tiene sentido especialmente para los modelos que asignan puntajes a los perfiles de los clientes, que relacionan los anuncios de trabajo con los candidatos, en traductores automáticos. estamos entrenando un máquina de escribir en lenguaje epiceno, la ambición es fuerte, porque hasta el humano tiene dificultades para hacerlo, no tenemos ejemplo que mostrárselo. Nuestro único medio es el poder algorítmico, las matemáticas en cierto modo. Entender el sexismo no es tan sencillo, es por eso que en el proceso de creación de nuestros algoritmos le damos mucha importancia a las ciencias humanas, lingüistas, filólogos, sociólogos, que llevan mucho tiempo trabajando en estos temas y pueden orientarte. los caminos correctos de trabajo.

Futura: ¿Cómo es percibida vuestra solución por las empresas y administraciones que utilizan inteligencia artificial?

Dafne Marnat: La máquina puede ayudar a implementar el cambio que la mayoría de los principales actores institucionales y económicos afirman iniciar, particularmente a través de su política de RSE. Además, siempre somos bien recibidos por las empresas o administraciones, sobre todo porque nuestro producto se puede implementar en forma de add-on, por lo tanto, un componente de software para agregar a un sistema, de costo muy bajo y sin riesgo para los modelos. probado Pero si la intención está presente, la implementación solicitud está sin aliento. Yo creo que sin obligación legal, nos vamos a seguir quedando en una salida deinercia porque, ante su realidad industrial y de desarrollo, la lucha contra estas formas de discriminación a nivel algorítmico no es una prioridad. Se nos dice que esto sería una restricción adicional, un freno a la innovación. Experimentamos todo lo contrario, habiendo desarrollado bajo restricciones: pocos corpus disponibles, presupuesto para el cálculo, poca potencia de cómputo, un hardware comercio y fuertes requisitos ecológicos. La restricción, por el contrario, estimuló nuestro proceso de innovación, siendo más centrado en el modelo qué centrado en datos en particular, nos obligó a pensar fuera del marco. Hemos visto claramente que el RGPD finalmente ha limpiado el mercado para el uso de datos personales. Es cierto que esto ha limitado muchos modelos económicos, pero han nacido otros, más virtuosos e igual de estimulantes desde el punto de vista de la innovación y el rendimiento.

Futura: ¿Puede su enfoque finalmente convertirse en una oportunidad para cambiar las actitudes sobre la discriminación?

Dafne Marnat: Nuestra solución proporciona una respuesta técnica, pero en realidad sigue siendo el problema estructural. Matemáticas no son en sí mismos discriminatorios. Con esta herramienta de medición y corrección, los actores de inteligencia artificial pueden revelar y comprender mejor el problema social. Un poco como un corrector ortográfico que resalta nuestros errores. De hecho, podría cambiar la mentalidad (la mentalidad) en particular de los científicos de datos, desarrolladores. No pretendemos resolver el problema, pero nuestras herramientas pueden ayudar a encontrar pistas en las que no hubiéramos pensado y, así, permitirnos avanzar en el tema.

Para la gente de PACA, vengan y participen del debate: “ Lenguaje natural, inteligencia artificial y la lucha contra el discurso sexista »

¿Te interesa lo que acabas de leer?