- Le développement : Au milieu des années 2010, Amazon a cherché à automatiser une partie de son processus de recrutement en développant une IA capable de noter les CV des candidats sur une échelle de 1 à 5 étoiles. Pour l’entraîner, les ingénieurs lui ont fourni les CV reçus par l’entreprise sur une période de 10 ans.
- Le biais systémique : Le problème est que, durant cette décennie, la grande majorité des postes techniques et des dirigeants embauchés étaient des hommes. L’IA a donc appris ce biais historique. Elle a conclu que les CV d’hommes étaient préférables et a commencé à pénaliser systématiquement les CV qui contenaient le mot « femme » ou « féminin » (par exemple « capitaine du club d’échecs féminin ») ou qui mentionnaient des universités pour femmes.
- La leçon : Même avec les meilleures intentions, si les données d’entraînement reflètent les biais et les inégalités du passé, l’IA les apprendra et les amplifiera, les automatisant à grande échelle. Il ne suffisait pas de dire à l’IA d’ignorer le genre ; le biais était incrusté dans chaque décision passée qu’elle analysait. Amazon n’a jamais réussi à corriger totalement ce problème et a finalement abandonné le projet. C’est un cas d’école sur les dangers de l’IA en matière de justice sociale et d’équité.
