Le challenge de l’apprentissage des machines et de l’éthique


L’apprentissage automatique peut en apprendre beaucoup sur vous, y compris certaines de vos informations les plus sensibles. Par exemple, il peut prédire votre orientation sexuelle, si vous êtes enceinte, si vous quitterez votre emploi et si vous êtes susceptible de mourir bientôt. Les chercheurs peuvent prédire la race en fonction des préférences de Facebook, et les responsables chinois utilisent la reconnaissance faciale pour identifier et suivre les Ouïghours, un groupe ethnique minoritaire.

Maintenant, est-ce que les machines «savent» réellement ces choses sur vous, ou font-elles seulement des suppositions éclairées? Et, s’ils font une déduction à votre sujet, comme tout humain que vous connaissez pourrait le faire, y a-t-il vraiment quelque chose qui cloche à ce qu’ils soient si astucieux?

Examinons quelques cas:

Aux États-Unis, l’histoire de Target prédisant qui est enceinte est probablement l’exemple le plus célèbre d’un algorithme faisant des inférences sensibles sur les personnes. En 2012, un article du New York Times sur la façon dont les entreprises peuvent exploiter leurs données comprenait une anecdote sur un père apprenant que sa fille adolescente était enceinte parce que Target lui a envoyé des coupons pour des articles pour bébé dans un acte de prémonition apparent. Bien que l’histoire de l’adolescent puisse être apocryphe – même si cela s’était produit, cela aurait probablement été une coïncidence, et non une analyse prédictive qui était responsable des coupons, selon le processus de Target détaillé par l’histoire du New York Times – il y a un réel risque pour la vie privée à la lumière de ce projet prédictif. Après tout, si le service marketing d’une entreprise prédit qui est enceinte, il a vérifié des données médicalement sensibles et non volontaires que seul le personnel de santé est normalement formé pour gérer et protéger correctement.

Un accès mal géré à ce type d’information peut avoir des conséquences considérables sur la vie d’une personne. Comme une citoyenne inquiète a posté en ligne, imaginez que «le travail d’une femme enceinte est fragile et que [son] état d’incapacité n’est pas encore configuré correctement… la divulgation pourrait entraîner le coût de détail d’une naissance (environ 20 000 $), les paiements d’invalidité pendant congé (environ 10 000 $ à 50 000 $), et même son travail. »

Ce n’est pas un cas de mauvaise gestion, de fuite ou de vol de données. Il s’agit plutôt de la génération de nouvelles données – la découverte indirecte de vérités non volontaires sur les gens. Les organisations peuvent prédire ces informations puissantes à partir de données inoffensives existantes, comme si elles les créaient à partir de rien.

Alors, ironiquement, sommes-nous confrontés à un inconvénient lorsque les modèles prédictifs fonctionnent trop bien? Nous savons qu’il y a un coût lorsque les modèles prédisent de manière incorrecte, mais y a-t-il également un coût lorsqu’ils prédisent correctement?

Même si le modèle n’est pas très précis, en soi, challenge force de ventes il peut toujours être sûr de ses prédictions pour un certain groupe de les personnes enceintes. Disons que 2% des clientes âgées de 18 à 40 ans sont enceintes. Si le modèle identifie des clientes, disons trois fois plus susceptibles que la moyenne d’être enceintes, seules 6% des personnes identifiées seront effectivement enceintes. C’est une remontée de trois. Mais si vous regardez un groupe beaucoup plus petit et ciblé, disons les 0,1% les plus susceptibles d’être enceintes, vous pourriez avoir une augmentation beaucoup plus élevée de, disons, 46, ce qui rendrait les femmes de ce groupe 92% susceptibles d’être enceintes. Dans ce cas, le système serait capable de révéler ces femmes comme très susceptibles d’être enceintes.

Le même concept s’applique lors de la prédiction de l’orientation sexuelle, de la race, de l’état de santé, de l’emplacement et de vos intentions de quitter votre emploi. Même si un modèle n’est pas très précis en général, il peut toujours révéler avec une grande confiance – pour un groupe limité – des choses comme l’orientation sexuelle, la race ou l’appartenance ethnique. Ceci est dû au fait que, généralement, il est plus facile de prévoir une petite partie de la population. Maintenant, il se peut que seulement pour prédire avec confiance pour un groupe relativement petit, mais même seulement le 0,1% supérieur d’une population d’un million, cela signifierait que 1 000 individus ont été identifiés en toute confiance.

Il est facile de penser aux raisons pour lesquelles les gens ne voudraient pas que quelqu’un sache ces choses. À partir de 2013, Hewlett-Packard évaluait de manière prédictive ses plus de 300 000 employés avec la probabilité de quitter leur emploi – HP appelait cela le score de risque de vol, et il a été remis aux responsables. Si vous prévoyez de partir, votre patron sera probablement la dernière personne que vous voudriez savoir avant que ce soit officiel.

Autre exemple, les technologies de reconnaissance faciale peuvent servir de moyen de suivre l’emplacement, réduisant la liberté fondamentale de se déplacer sans divulgation, car, par exemple, des caméras de sécurité placées publiquement peuvent identifier des personnes à des moments et à des endroits spécifiques. Je ne condamne certainement pas catégoriquement la reconnaissance faciale, mais je sais que les PDG de Microsoft et de Google se sont prononcés pour cela raison.

Dans un autre exemple encore, un cabinet de conseil modélisait la perte d’employés pour un service des ressources humaines et a remarqué qu’il pouvait en fait modéliser les décès d’employés, car c’est une façon de perdre un employé. Les responsables des ressources humaines ont répondu: «Ne nous montrez pas!» Ils ne voulaient pas la responsabilité de savoir quels employés risquaient de mourir bientôt.

La recherche a montré que les modèles prédictifs peuvent également discerner d’autres attributs personnels – tels que la race et l’ethnicité – en fonction, par exemple, des likes de Facebook. Une préoccupation ici est la manière dont les spécialistes du marketing peuvent utiliser ce type de prédictions. Comme l’a dit Latanya Sweeney, professeur de gouvernement et de technologie à Harvard, «En fin de compte, la publicité en ligne est une question de discrimination. Vous ne voulez pas que les mères ayant des nouveau-nés reçoivent des publicités pour des cannes à pêche, et vous ne voulez pas que les pêcheurs reçoivent des publicités pour les couches. La question est de savoir quand cette discrimination franchit-elle la ligne du ciblage des clients à un impact négatif sur tout un groupe de personnes? » En effet, une étude de Sweeney a montré que les recherches sur Google pour les noms «à consonance noire» étaient 25% plus susceptibles d’afficher une annonce suggérant que la personne avait un dossier d’arrestation, même si l’annonceur n’avait personne avec ce nom dans sa base de données d’arrestations. .

«Si vous créez une technologie qui peut classer les gens selon une ethnie, quelqu’un l’utilisera pour réprimer cette ethnie», déclare Clare Garvie, associée principale au Center on Privacy and Technology de Georgetown Law.

Ce qui nous amène en Chine, où le gouvernement applique la reconnaissance faciale pour identifier et suivre les membres des Ouïghours, un groupe ethnique systématiquement opprimé par le gouvernement. Il s’agit du premier cas connu d’un gouvernement utilisant l’apprentissage automatique pour établir un profil par appartenance ethnique. Ce signalement d’individus par groupe ethnique est conçu spécifiquement pour être utilisé comme facteur de décisions discriminatoires – c’est-à-dire fondées au moins en partie sur une classe protégée. Dans ce cas, les membres de ce groupe, une fois identifiés, seront traités ou considérés différemment en raison de leur appartenance ethnique. Une start-up chinoise évaluée à plus d’un milliard de dollars a déclaré que son logiciel pouvait reconnaître «des groupes de personnes sensibles». Son site Internet disait: «Si à l’origine un Ouïghour vit dans un quartier et que dans les 20 jours, six Ouïghours apparaissent, il envoie immédiatement des alarmes» aux forces de l’ordre.

La mise en œuvre du traitement différentiel d’un groupe éthique basé sur la technologie prédictive prend les risques à un tout autre niveau. Jonathan Frankle, chercheur en apprentissage profond au MIT, prévient que ce potentiel s’étend au-delà de la Chine. «Je ne pense pas qu’il soit exagéré de traiter cela comme une menace existentielle pour la démocratie. Une fois qu’un pays adopte un modèle dans ce mode autoritaire lourd, il utilise des données pour imposer la pensée et les règles de manière beaucoup plus profonde… Dans cette mesure, il s’agit d’une crise urgente dans laquelle nous entrons lentement en somnambulisme. »

C’est un véritable défi de tracer la ligne pour déterminer quels objectifs prédictifs poursuivis avec l’apprentissage automatique sont contraires à l’éthique, et encore moins contre lesquelles il faudrait légiférer, le cas échéant. Mais, à tout le moins, il est important de rester vigilant lorsque l’apprentissage automatique sert à renforcer une pratique contraire à l’éthique préexistante, et également lorsque cela génère des données qui doivent être traitées avec précaution.



Europe: des banques toujours plus grosses


La BCE a un rêve: déclencher un tourbillon de consolidation à l’échelle du système bancaire de la zone euro, à partir duquel naîtra une nouvelle génération de banques transeuropéennes géantes. Les opérations de ces nouveaux méga-prêteurs chevaucheront le continent, contribuant ainsi à transformer enfin la zone euro en un véritable marché financier unique. Leur taille gargantuesque leur permettra enfin de rivaliser avec leurs méga-banques rivales américaines et chinoises. Au moins c’est la théorie. En prime, ces méga-opérations bancaires peuvent servir de couverture pratique pour les recapitalisations furtives de banques en faillite ou en faillite.

Ce rêve n’est pas nouveau, bien sûr. L’un des principaux objectifs de l’Union bancaire à moitié cuite de l’Europe, lancée en 2014, était d’accroître considérablement la concentration et la consolidation du secteur bancaire. Le nombre de banques en Europe est en baisse constante depuis la crise financière mondiale. De nombreux petits et moyens prêteurs sont tombés à l’écart, victimes de leurs propres mauvaises pratiques de prêt, les charges réglementaires et / ou les taux d’intérêt nuls et négatifs de l’UE, qui ont effacé les marges d’intérêt des banques. En 2018, il y avait 5698 banques dans l’UE, 30% de moins qu’en 2008.

Éclaircir le troupeau

La BCE pourrait accélérer fortement cette tendance si elle poursuivait sa proposition d’introduire une monnaie numérique de banque centrale (CBDC) à un moment indéfini dans le futur. Certains économistes, y compris les auteurs d’un nouveau rapport publié par la Federal Reserve Bank of Philadelphia, ont averti que les CBDC pourraient finir par réduire de manière significative, voire éliminer la raison d’être des banques commerciales, la banque centrale se présentant comme un monopole des dépôts , attirant tous les dépôts loin du secteur bancaire commercial. »

Avant que cela ne se produise, le tsunami massif de prêts en souffrance et de pertes en cascade qui approche à grands pas avec la fin des congés de la dette pourrait offrir une opportunité dans l’intervalle de réduire le troupeau. Une nouvelle série de faillites bancaires et de fusions servira à nouveau de Launchpad pour une consolidation plus poussée. En tant que décideur ultime pour savoir quelle banque en difficulté vivra ou mourra et quel concurrent chanceux pourra récupérer les pièces désinfectées par la suite, le conseil de surveillance de la BCE sera dans une position idéale pour faire avancer ce type de consolidation.

Le superviseur de la Banque centrale européenne, Andrea Enria, a déclaré que la crise des coronavirus créerait une marge de manœuvre pour des fusions et acquisitions, à la fois au niveau national et transfrontalier, car elle réduisait la rentabilité des banques. Pour lancer le bal, la banque centrale a déjà abaissé la barre des fusions, dans l’espoir d’encourager les banques à racheter leurs rivaux. Comme Reuters l’a rapporté en juillet, les entités fusionnées n’auront pas nécessairement à lever des capitaux supplémentaires et seront autorisées à utiliser leurs propres modèles comptables ainsi que tout «badwill» – un profit papier qui se produit lorsqu’un actif est acheté en dessous de sa valeur comptable.

Des fusions ont déjà commencé en Italie et en Espagne

En septembre, Intesa Sao Paolo a racheté UBI Banca dans une prise de contrôle hostile pour créer l’Italie première banque par actifs et deuxième de la zone euro par capitalisation boursière. Cela n’était pas suffisant pour mériter à Intesa une place sur la liste sacrée du Conseil de stabilité financière des «banques d’importance systémique mondiale» (G-SIB). Au total, il existe 30 G-SIB, dont quatre français (BNP Paribas, Groupe BPCE, Groupe Crédit Agricole et Société Générale), deux britanniques (HSBC et Barclays) et deux suisses (Credit Suisse et UBS). L’Allemagne (Deutsche Bank), les Pays-Bas (ING), l’Espagne (Santander) et l’Italie (Unicredit) ont chacun un G-SIB par pièce.

Unicredit est également susceptible de croître en taille dans un proche avenir, une fois qu’on lui offrira suffisamment d’incitations financées par les contribuables, y compris de généreux crédits fiscaux, pour qu’il vaille la peine d’absorber le prêteur public en difficulté permanente Monte dei Paschi di Siena (MPS ). Étant donné que MPS est toujours sous-capitalisée et que ses livres sont toujours remplis d’actifs toxiques à différents stades de décomposition, aucune autre banque n’en veut.

Le troisième plus grand Le prêteur, Caixabank, a récemment noué le nœud avec Bankia, une société d’État majoritaire, elle-même le produit d’une fusion de sept banques d’épargne en faillite, pour donner naissance à un nouveau leader du marché intérieur qui représentera entre 25% et 30% des prêts du marché intérieur espagnol , dépôts et fonds communs de placement. L’opération n’a pas encore reçu la bénédiction des actionnaires des deux banques, mais cela devrait être une formalité. Les actionnaires comprennent des contribuables espagnols, qui ont récupéré un maigre 3 milliards d’euros sur les 24 milliards d’euros de fonds publics utilisés pour renflouer Bankia.

En France, les rumeurs ont brièvement tourné en octobre selon lesquelles BNP Paribas pourrait racheter son compatriote en difficulté G-SIB Société Générale, puis se sont rapidement calmées. Le Crédit Agricole a lancé la semaine dernière une offre pour reprendre le petit prêteur italien Credito Valtellinese SpA, ce qui permettra au géant français d’étendre encore ses opérations italiennes. Pendant ce temps, en Suisse, on a même parlé des deux plus grands prêteurs, UBS et Credit Suisse, tous deux G-SIB, liant le nœud.

Ce dont on ne parle pas, c’est l’impact potentiel que la consolidation du secteur bancaire est susceptible d’avoir sur le coût et la qualité des services bancaires. Une concurrence réduite entraînera probablement une augmentation des frais bancaires et des frais. Il n’y a pas non plus de discussion sur les aléas moraux ou les risques systémiques que ces opérations entraîneraient pour l’avenir. N’oublions pas que bon nombre des pires effondrements bancaires en Europe, de RBS à MPS, impliquaient des prêteurs qui ont effectué de grandes acquisitions transfrontalières juste avant la dernière crise.

De plus, la perte des petites banques signifie la perte des services bancaires vitaux qu’elles fournissent aux petites entreprises et aux collectivités. Plus d’un quart (28%) des banques européennes se trouvent en Allemagne. Ils comprennent plus d’un millier de caisses d’épargne locales, de coopératives de prêteurs et d’associations mutuelles qui jouent un rôle essentiel dans le financement des collectivités locales ainsi que des petites et moyennes entreprises du Mittelstand en Allemagne. Comme l’a dit l’économiste Richard Werner, aucun d’entre eux n’avait besoin d’un plan de sauvetage public la dernière crise. Mais leur nombre diminue, en grande partie en raison des pressions liées aux taux d’intérêt négatifs de la BCE et à une réglementation bancaire plus stricte comme Bâle III.

Limites de la consolidation

L’année dernière, l’échec de la fusion des deux principaux prêteurs allemands, mais en difficulté, Deutsche Bank et Commerzbank, a montré qu’il y avait des limites à la consolidation. En fin de compte, les banques ont abandonné les pourparlers, affirmant que l’accord aurait été trop risqué. La fusion proposée s’est également heurtée à une vive opposition de la part des syndicats et des principaux actionnaires des deux banques, au milieu des préoccupations concernant les risques d’exécution, les licenciements massifs et les coûts de restructuration.

En attendant, le rêve de la BCE de fusions transfrontalières donnant naissance à un nouveau type de superbancaires transeuropéens reste insaisissable, en grande partie en raison des quatre obstacles suivants:

1. Le triste état de certaines des plus grandes banques d’Europe. Malgré des exigences de fonds propres plus strictes, certaines grandes banques européennes représentent un risque aussi important pour le système financier qu’elles le faisaient à la veille de la dernière crise, en 2008. Une différence majeure est qu’ils sont désormais dépendants des innombrables programmes de protection monétaire de la BCE (LTRO, TLTRO I et II…), qui ont réussi à les maintenir à flot alors même que la politique monétaire de la BCE restreint leurs marges de crédit. Comme elles n’ont aucune idée de la gravité des problèmes de leurs institutions rivales, de nombreuses banques hésitent naturellement à les acheter ou à fusionner avec elles.

2. Même si elles le voulaient, la plupart des banques n’ont pas les moyens de se lancer dans des acquisitions transfrontalières. Le secteur bancaire européen ne s’est jamais vraiment remis de ses deux crises précédentes – la crise financière mondiale suivie de la crise de la dette en euros. Comme l’écrivait l’auteur, journaliste financier et ancien banquier d’investissement Nomi Prins dans une interview accordée en 2015 au groupe de médias néerlandais VPRO, «en Europe, il existe encore des quantités massives de transactions (sur les bilans des banques) qui sont sous-marines et qui tournent mal tous les jours.»

Certes, depuis lors, bon nombre de ces actifs dépréciés ont été regroupés en titres, certains en partie le gouvernement a soutenu et vendu aux investisseurs. Grâce en grande partie à cela, le ratio des prêts improductifs (NPL) de l’UE a diminué de moitié depuis 2015, passant de 6% à 3%. En Italie, il est descendu à 7,2%, ce qui est toujours dangereusement élevé mais néanmoins une nette amélioration par rapport au sommet historique de 17% en 2015.

Mais les investisseurs restent méfiants, en particulier avec une nouvelle vague de NPL qui devrait frapper l’année prochaine. Même après deux semaines de fortes hausses, sur le dos d’un optimisme alimenté par les vaccins, l’indice Stoxx 600 Banks, qui couvre les principales banques européennes, est toujours en baisse de 23% depuis le début de l’année et de 80% par rapport à son sommet historique de mai 2007.

3. Fragmentation de l’industrie. La zone euro est toujours un progrès de travail. Lorsqu’il s’agit de banque et de finance, il est extrêmement fragmenté. Il n’a pas de trésorerie centrale, pas de ministre des Finances et pas d’union bancaire globale. Les règles bancaires peuvent encore différer d’un pays à l’autre. Il y a aussi des limites sur le transfert d’argent entre les pays et toujours aucun signe d’une assurance-dépôts commune, tous ce qui rend les transactions transfrontalières plus difficiles.

4. Incompatibilité informatique. Aux États-Unis, certaines fusions bancaires ont été annulées en raison d’une incompatibilité informatique. Dans l’UE, ce problème n’est pas moins important, en particulier pour les fusions transfrontalières, mais il est souvent négligé dans la presse financière (le capitalisme nu étant une rare exception). Il n’y a pas de meilleur exemple de la façon dont les choses peuvent mal tourner lorsque deux banques essaient – mais échouent – de relier leurs systèmes informatiques que le gâchis catastrophique de Banco Sabadell du changement de plate-forme en ligne de sa filiale britannique TSB, qui a créé des cauchemars pour les clients du TSB et a entraîné le prêteur espagnol au bord de l’effondrement. Ce sera le sujet de mon prochain article, qui paraîtra très prochainement.