Très bonne analyse, à lire. Le seul point noir est l'approche "le gouvernement pourrait nous sauver s'il le voulait"/"les élites également". Non, juste NON, N-O-N : il ne faut rien laisser à des prétendues élites et il faut se bouger pour obtenir ce que l'on désire. À mettre en lien avec :
http://www.nextinpact.com/news/93072-les-deputes-retirent-secret-affaires-loi-macron.htm
« Frank Pasquale, professeur à l’Université du Maryland, vient de publier « The Black box society ». Il décrit comment les algorithmes, protégés par le secret commercial, créent de nouveaux rapports de pouvoir.
[...]
En 2003, il y a eu un premier procès contre Google : celui-ci faisait systématiquement descendre dans ses résultats une entreprise appelée SearchKing, qui était un autre moteur de recherche. Or il était impossible de savoir si Google essayait délibérément de se débarrasser d’un concurrent ou si le site descendait automatiquement dans les résultats parce qu’il était mauvais. On ne pouvait pas savoir parce que les algorithmes de Google, qui régissent ces résultats, sont protégés par le secret commercial.
[...]
Aux Etats-Unis, Latanya Sweeney, professeure de droit à Harvard, s’est aperçue que quand elle faisait une recherche avec son nom dans Google, elle voyait apparaître des publicités automatiques proposées par AdSense titrées « Latanya : arrêtée ? ». Elles proposaient d’accéder à son casier judiciaire (via instantcheckmate.com), suggérant ainsi qu’elle avait déjà été condamnée. Par contre, si elle cherchait « Tanya Sweeney », alors les publicités qui s’affichaient lui proposaient de simples services de localisation, avec des titres neutres comme : « Tanya Sweeney : nous l’avons retrouvée pour vous ». La différence, c’est que Latanya est un prénom que l’on trouve plus souvent chez les Afro-américains, alors que Tanya est plus souvent un prénom « blanc ».
Latanya Sweeney a recherché sur Google les 2300 noms les plus représentés chez les Afro-américains. Elle a découvert que la plupart du temps, les mêmes publicités de instantcheckmate.com s’affichaient, avec le prénom suivi de « arrêtée ? » Ce n’était pas le cas pour les prénoms connotés « blancs ». En réponse, Google et les annonceurs ont affirmé que le processus était entièrement automatisé, et reflétait ce sur quoi les gens cliquaient le plus.
Et ceci est loin d’être un cas isolé : il y a déjà eu des problèmes similaires avec les posts recommandés de Facebook, par exemple.
[...]
Auparavant, le secret commercial s’appliquait aux personnes les plus haut placées dans les entreprises. Aujourd’hui, les entreprises attachent une telle importance à leurs secrets qu’elles l’appliquent jusqu’en bas de la hiérarchie. Aux Etats-Unis, le secret commercial est même utilisé pour forcer les employés de la chaîne de sandwichs Jimmy John’s à signer un contrat de confidentialité sur la composition de leurs sandwichs ! En revanche, les actions des dirigeants restent cachées dans ces boîtes noires – protégées par le secret commercial, le jargon qu’ils emploient et des techniques de verrouillage et de cryptographie.
[...]
Absolument. La capacité de surveiller les moindres faits et gestes des autres, tout en cachant les siens, est la forme la plus haute du pouvoir.
C’est l’histoire platonicienne de l’anneau de Gygès : celui qui est invisible, et qui donc peut voir tout ce que font les autres à leur insu, dispose d’un avantage stratégique énorme. C’est le ressort central d’entreprises comme Google ou Facebook. Elles disent qu’elles doivent leur richesse et leur succès au fait d’avoir les meilleurs analystes de données et les meilleurs algorithmes. Mais ce succès tient moins à des compétences spéciales qu’à une position de pouvoir particulière, qui leur permet de surveiller tout le monde en se soustrayant elles-mêmes aux regards.
[...]
Les entreprises spécialisées dans la réputation, c’est la vision à la première personne. Ma réputation, c’est la façon dont les autres me perçoivent et me connaissent, et les algorithmes de réputation participent à cette interprétation.
Les moteurs de recherche, c’est la façon dont j’essaie de comprendre le monde qui m’entoure.
Et la finance... avec le secteur militaire, c’est ce qui détermine in fine nos marges de manœuvre. Et ils utilisent ces technologies de réputation et de recherche.
[...]
C’est le journaliste américain Clay Shirky qui a exprimé cette idée d’autorité algorithmique, qu’on peut résumer ainsi : avant, la meilleure source faisait autorité. Si je voulais trouver le meilleur article d’info internationale, j’allais voir sur le site du New York Times ou du Guardian, des journaux qui font autorité à cause de leur ancienneté, des prix de journalisme qu’ils ont reçus, etc.
Dans le monde de l’autorité algorithmique, je vais sur Google et je tape « meilleur article d’info internationale ». Google me propose un millier de résultats parmi lesquels il en sélectionne un en tête de liste. Ici, ce n’est plus la source qui crée autorité mais mes précédentes recherches Google. Or je ne sais rien des algorithmes qui choisissent pour moi.
Pour Shirky, c’est une bonne chose. Mais je suis plus critique et j’interroge ce que nous perdons lorsque nous entrons dans le monde de l’autorité des algorithmes. Ce qu’il promet, évidemment, c’est qu’aujourd’hui n’importe qui peut voir son article en tête des résultats de Google News, ce n’est plus réservé à un petit groupe de gens « légitimes » comme ceux du New York Times.
Mais nous ignorons tout des arrangements commerciaux qui existent entre Google et les entreprises de notation et classement. Quels sont leurs buts ? Capter plus de notre attention ? Récolter plus de données ? Nous savons vraiment peu de choses sur cette autorité algorithmique et ce qui l’anime.
[...]
Pour construire un algorithme, vous êtes obligé de donner la priorité à un certain type de signal, parmi tous les signaux que vous recevez.
[...]
Si Google n’était qu’une grosse machine automatique, que l’entreprise mettait en marche sans plus intervenir après, alors cet argument serait recevable. Mais en réalité, il existe de nombreux contre-exemples.
A un moment donné, si l’on tapait « juif » (« jew ») dans le moteur de recherche, on tombait en premier sur un site antisémite et négationniste. Ce n’était pas le cas pour « Israel » ou « Jewish », mais pour « Jew », qui est le terme utilisé par les antisémites : ceux-ci se trouvaient algorithmiquement propulsés vers le haut des résultats. A ce moment-là, Google avait vivement réagi en affichant un message sur leur page de résultat, disant qu’ils ne cautionnaient ni la validité du site ni sa crédibilité.
Cela tient beaucoup aux contraintes que les développeurs acceptent comme légitimes, et à celles qu’ils refusent.
[...]
D’abord il faut arrêter de vénérer ces entreprises, comme si ce qu’elles faisaient était aussi génial et compliqué qu’envoyer un homme sur la Lune ou guérir le cancer. Les gens doivent commencer à comprendre, même grossièrement, comment fonctionne le « big data » : comment les données sont récoltées, nettoyées, utilisées.
Nous avons aujourd’hui un vrai problème culturel : beaucoup, beaucoup de gens, parmi lesquels des politiques, n’ont pas la moindre idée de comment tout ceci fonctionne. Ils voient ça comme quelque chose de magique, et pensent qu’il faut être un génie pour faire ça. J’essaie de calmer un peu ces ardeurs, et de dire que si ces entreprises ont la position dominante qu’elles ont aujourd’hui, c’est surtout parce que ce sont elles qui possèdent le plus de données.
De plus, c’est l’intelligence collective qui aide Google à affiner ses algorithmes. Google, c’est nous tous, c’est toutes nos recherches sur le Web. Même chose pour Instagram. On s’émerveille en disant : « oh, il n’y a que quatorze personnes pour faire tourner Instagram, alors qu’il y en avait 14 000 chez Kodak. Ces quatorze personnes sont incroyablement intelligentes ! » Mais non ! Ces quatorze personnes ne représentent rien, comparées à l’ensemble des photos que nous prenons !
[...]
Oui, je pense qu’on peut dire ça. Aujourd’hui, sont concentrées un nombre considérables de richesse et de données dans les mains d’un tout petit nombre d’entreprises qui maîtrisent des algorithmes clés. On peut donc dire que les algorithmes accroissent les inégalités sociales au lieu de les redresser.
Bien sûr, il existe des contre-exemples : un algorithme pourra estimer qu’on peut accorder du crédit à quelqu’un à qui on n’en aurait jamais donné. Les algorithmes permettront aussi de nouvelles façons d’apprendre, nous feront découvrir des choses que nous n’aurions jamais perçues autrement. C’est une dimension évidemment très importante. Mais nous devons aussi regarder leurs côtés négatifs et comprendre que des régulations et des politiques publiques peuvent répondre aux problèmes que ces algorithmes engendrent. Ce n’est pas un phénomène naturel qui poursuit un processus inéluctable.
[...]
En ce qui concerne la protection de la vie privée, celle-ci doit être appliquée bien plus strictement pour protéger les individus. Le secret commercial, dans bien des cas, n’est que l’appropriation des lois sur la protection de la vie privée par les entreprises. A mon sens, chaque mesure qui étend le secret commercial pour les entreprises doit être compensée par une mesure équivalente dans la protection de la vie privée des individus. Les courtiers en données ne devraient pas pouvoir avoir un dossier sur moi sans que je puisse le consulter, l’annoter, le contester et le faire modifier si besoin.
[...]
Quant à remplacer les systèmes propriétaires par des versions open source... [...] Si je ne faisais qu’envoyer des mails, poster des photos sur Instagram... Mais je fais toutes ces choses en même temps, en plus de ma vie professionnelle et familiale. Je n’ai pas le temps de faire tout ça, tout simplement ! Et si même moi, que ces questions préoccupent suffisamment pour que j’en fasse un livre, je n’ai pas le temps, je doute que beaucoup de gens l’aient. »
Via
https://twitter.com/MathildeCarton/status/567247825747341312