GuiGui's Show

TL;DR : carte OpenStreetMap des câbles sous-marins d'Internet / Internet submarine cables map OpenStreetMap. Ci-dessous, pourquoi et comment construire une telle carte.

Introduction

Loin d'être virtuel, Internet repose sur des infrastructures physiques dont des câbles sous-marins en fibre optique (qu'il faut entretenir contre l'usure, les événements naturels ou humains, les sabotages, etc.).

La liste de ces câbles, leurs stations d'atterrissement et leur tracé est environ public (environ car le tracé ne l'est pas de manière précise). Nous disposons de l'excellent site web Submarine Cable Map.

Néanmoins, cet existant, cette carte, me pose deux problèmes :

• Elle repose sur le service Maps de la multinationale Google. Ça pose les habituelles questions de dépendance vis-à-vis d'un acteur unique hors contrat, de pérennité et de respect de la vie privée ;
  
  
• Elle est plutôt unique, donc elle peut disparaître promptement. À titre d'exemple, les repreneurs du site web historique en la matière, cablemap.info, demandent une inscription préalable, donc, en pratique, cette carte publique a disparu. J'ai vu que les sources du site web sont disponibles (donc que quiconque peut en héberger une copie), mais node.js, yarn et compagnie, ça sera sans moi (et ça ne résout pas la dépendance à Google Maps).

Pour l'heure, les données (le tracé des câbles et les coordonnées géographiques des stations d'atterrissement) de la carte « Submarine Cable Map » sont disponibles dans un dépôt git public sous une licence environ libre (CC BY-NC-SA).

Et si on les utilisait pour construire une carte basée sur OpenStreetMap, l'outil de cartographie libre et communautaire (OSM) ?

C'est chose faite : carte OpenStreetMap des câbles sous-marins d'Internet / Internet submarine cables map OpenStreetMap.
J'actualiserai cette carte au fil de l'eau, en me basant sur le dépôt git sus-cité.

Ci-dessous, un retour sur la façon dont j'ai procédé pour construire cette carte.

Que faut-il pour créer cette carte ?

Pour réaliser cette carte, il faut deux choses.

D'un côté, il faut pouvoir créer une carte personnalisée en utilisant un fond de carte OpenStreetMap, c'est-à-dire une carte sur laquelle on peut représenter ce que l'on veut : un itinéraire, un parcours de trail, un marqueur sur un lieu avec une éventuelle infobulle pour donner des infos, plusieurs marqueurs afin d'identifier plusieurs lieux (pour un festival décentralisé, par exemple), etc.

Le site web officiel d'OpenStreetMap permet de tracer des itinéraires et de partager une carte avec un marqueur sur un lieu (sans infobulle, sans marqueur personnalisé), mais ça s'arrête là.

Le logiciel web umap pemet tout le reste sus-cité. On peut installer sa propre instance ou utiliser celles qui existent. Exemples : instance umap OSM France, instance umap Framasoft.

Vu mon maigre besoin, j'ai décidé d'utiliser une instance existante. J'ai choisi celle de Framasoft, une association française qui œuvre pour des services numériques éthiques et la culture libre.

Pour débuter, je recommande vivement cet exellent tutoriel umap. D'autres tutoriels, et même des tutoriels vidéos sont disponibles sur le wiki officiel OSM France.

D'un autre côté, il faut retravailler les données géographiques disponibles :

• Les tracés des câbles sont dans un fichier JSON alors que les informations sur les câbles (nom, longueur, date de mise en service, etc.) sont stockées dans un autre fichier ;
  
  
• On aimerait mettre en forme (gras, liste à puces, liens vers les stations d'atterrissement, etc.) le texte associé à un câble / une station ;
  
  
• On aimerait conserver la coloration des câbles, mais l'attribut JSON utilisé n'est pas prise en charge par umap (et sa valeur n'est pas au format attendu ‒ # ‒).

On pourrait faire ça à la main, mais de nouveaux câbles entrent régulièrement en service pendant que d'autres rendent leur tablier. Une mise à jour à la main ne serait pas gérable. Il faut donc qu'un programme informatique fasse cette transformation des fichiers d'origine prévus pour Google Maps en fichiers compréhensibles par OpenStreetMap en y ajoutant, au passage, nos desiderata de mise en forme.

Dès que l'on évoque la manipulation de JSON, on pense forcément à la commande jq. J'ai écrit un tutoriel pour jq qui est rien de plus que le retour de l'expérience acquise pour construire cette carte des câbles sous-marins d'Internet.

Voici le script que j'ai pondu : transform_carte_cables_sous-marins.sh.

• Les logiciels git et jq doivent être installés ;
  
  
• Il suffit de le lancer. Aucun argument attendu ;
  
  
• Il va récupérer le dépôt git, créer un espace de travail temporaire, travailler, détruire l'espace de travail temporaire, indiquer où trouver les fichiers résultants de son traitement ;
  
  
• Deux variables en début de script permettent d'ajouter des paramètres umap sur les câbles et les stations (opacité, forme, interaction, etc.). Pour l'instant, tous les paramètres peuvent être définis au niveau du calque, donc ces variables ne servent pas.

Construire la carte

Une fois que l'on a exécuté ce script afin de traiter les données, comment créer la carte et y importer les données ?

• Créer une carte sur une instance umap ;

• Dans l'entête, à côté de « Carte sans nom », il y a une icône en forme de crayon. Cliquer dessus :

  • Nom = « Submarine Cable Map » ;
    
    
  • Description = contenu du fichier summary.txt ;
    
    
  • Options d'interface :
    • Afficher le bouton de plein écran = jamais ;
      
      
    • Afficher le bouton de localisation = jamais ;
      
      
    • Afficher le bouton pour ouvrir l'éditeur d'OpenStreetMap = jamais (je ne souhaite pas donner de faux espoirs au pékin : ce ne sont pas les données relatives aux câbles qui seront modifiables par ce biais) ;
      
      
    • Afficher le bouton d'accès rapide aux couches de données = caché ;
      
      
    • Voulez-vous afficher un panneau latéral au chargement? = légende.

  • Limites géographiques (pour limiter les déplacements sur la carte aux endroits où il y a des câbles afin d'éviter les fausses manips) :

    • Sud = -90 ;
      
      
    • Ouest = -250 ;
      
      
    • Nord = 90 ;
      
      
    • Est = 250.
  • Crédits
    • Crédit = « CC BY-NC-SA 3.0 \n Original (Google Maps): [[https://www.submarinecablemap.com/|Submarine Cable Map]] by [[https://www2.telegeography.com/|TeleGeography]]. \n Datas: [[https://github.com/telegeography/www.submarinecablemap.com|Github TeleGeography]]. ».

• Cliquer sur le bouton « Enregistrer ». Garder impérativement le lien de modification (tant que le cookie est conservé par ton navigateur web, ça va, mais sinon il constitue le seul moyen de pouvoir modifier la carte) ;

• Cliquer sur le bouton « calques » :

  • Supprimer le calque 1 ;

  • Ajouter un calque :

    • Nom = « landings » ;
      
      

    • Description = « Landing stations » ;

    • Propriétés de la forme :

      • Forme de l'icône = cercle (elle attire moins l'œil / monopolise moins l'espace disponible).
    • Options d'interaction :
      • Forme de popup = panneau latéral (plus pratique que les infobulles + comportement par défaut d'OSM).

  • Ajouter un calque :

    • Nom = « cables » ;
      
      

    • Description = « submarine cables » ;

    • Propriétés de la forme :

      • Opacité = 1 (curseur le plus à droite possible).
    • Options d'interaction :
      • Forme de popup = panneau latéral.

• Cliquer sur le bouton « Enregistrer » ;

• Cliquer sur le bouton « importer des données » :

  • Importer des données = choisir le fichier landings.json produit par le script sus-mentionné ;
    
    
  • Choisir le calque de données pour l'import = landings ;
    
    
  • Cliquer sur le bouton « Importer ».
• Cliquer sur le bouton « Enregistrer » ;
  
  
• Cliquer sur le bouton « importer des données » :
  • Importer des données = choisir le fichier cables.json produit par le script sus-mentionné ;
    
    
  • Choisir le calque de données pour l'import = cables ;
    
    
  • Cliquer sur le bouton « Importer ».
• Cliquer sur le bouton « Enregistrer » ;
  
  
• À la fin de l'URL, ajouter « #2/-0.2/0.0 » et valider ;
  
  
• Cliquer sur le bouton « enregistrer le zoom et le centre actuels » ;
  
  
• Cliquer sur le bouton « exporter et partager la carte » :
  • Télécharger les données = données complètes de la carte ;
    
    
  • Cliquer sur le bouton « télécharger les données ». Conserver ce fichier de sauvegarde.

Je note quelques limites d'umap :

• Contrairement à la version originale de la carte, je ne suis pas parvenu à créer un lien vers un câble sous-marin dans le panneau latéral d'une station d'atterrissement. De même, pour avoir un lien vers une station d'atterrissement dans le panneau latéral d'un câble, j'ai dû ruser en utilisant ses coordonnées géographiques plutôt que son nom afin de former une URL valide au sens OSM (#<niveau_de_zoom>/<latitude>/<longitude>). Dit autrement : je n'ai pas trouvé un moyen de faire un lien vers un objet. Sur OSM, les objets (le tracé d'une ligne de bus, par exemple) ont un identifiant interne public, donc on peut construire une URL de la forme « /relation/<identifiant> ». Avec umap, je n'ai pas trouvé d'identifiant, y compris dans l'export ;
  
  
• Contrairement à la version originale de la carte, je n'ai pas trouvé comment mettre en évidence / surligner l'ensemble du tracé d'un câble quand on clique dessus, puisque, comme indiqué au point précédent, je n'ai pas trouvé comment pointer un objet par son nom afin de créer un lien pointant sur lui dans son intégralité.

Annexe : premier script, méconnaissance de jq, optimisation et autocritique

Le script présenté plus haut permettant de traiter les données géographiques avant importation dans umap n'est pas le premier que j'ai écrit. Le premier, c'est celui-ci : transform_carte_cables_sous-marins.original.sh.

Quelles différences ?

• Je n'avais pas compris que jq peut mettre le contenu d'un (ou plusieurs) fichier secondaire dans une (ou des) variable afin d'enrichir le fichier principal avec des informations du (des) fichier secondaire ;
  
  
• Je ne voulais pas admettre qu'une fois qu'on a sélectionné / demander l'affichage d'un attribut qui contient un tableau (« '.monAttribut[]' »), alors on itère sur ce tableau jusqu'à la fin de la commande jq. Tout filtre ajouté à la chaîne sera exécuté autant de fois qu'il y a d'éléments dans le tableau parcouru. Cela signifie aussi que l'on perd tout le contenu JSON qui était autour de ce tableau. Oui, c'est aussi idiot que de se plaindre qu'avec un grep | xarg <maCommande>, maCommande n'accède pas à ce qui n'a pas été retenu par grep. Mais, du coup, ça me fait perdre l'entête et le pied du fichier JSON d'origine, donc ça produit un JSON invalide. Si je n'itère pas sur le tableau, je ne peux pas accéder aux attributs de chaque élément du tableau, donc il m'est impossible, par exemple, de transvaser la couleur d'un câble dans un attribut compréhensible par umap (genre jq '.features[].properties += { "_umap_options": { "color": .color } }' cables.json, ça ne fonctionne pas). Comme je n'avais pas compris que jq permet de travailler sur plusieurs fichiers, je n'avais pas perçu que l'on peut reconstruire le fichier JSON d'origine ;
  
  
• Comme je n'avais pas compris non plus que l'on peut circonscrire une itération sur un tableau au sein d'une opération bornée / finie comme une affectation, je n'avais pas perçu que ça pouvait être une autre solution au problème du point précédent. C'est finalement la solution que j'ai retenue.

Ces trois points sont détaillés dans mon shaarli dédié à la prise en main de jq par des exemples pratiques.

En conséquence, je faisais une boucle « for » avec mon shell. La fin de l'itération était le nombre d'éléments dans le tableau - 1. Ainsi, j'avais un indice de tableau. Donc je pouvais accéder à l'élément que je voulais dans le tableau, récupérer son identifiant (permettant de récupérer ses infos dans le fichier JSON séparé) et le modifier.

• L'inconvénient, c'est que je lançais plusieurs jq (récupérer l'identifiant d'un élément, récupérer les infos dans le deuxième fichier, modifier le JSON avec tout ça) ‒ ce qui implique des fork() et des exec() en pagaille ‒, que j'écrivais autant de fichiers temporaires qu'il y a d'éléments parcourus, et que jq renvoi l'intégralité du JSON à chaque passe. Tout ça consomme du CPU, de la RAM et des IO. Ce premier jet s'exécute en 1 minute 54 (moyenne sur 3 exécutions, récupération du dépôt git exclue). Et, encore, je suis en RAM (tmpfs).
  
  
• L'avantage de cette première version, c'est que, puisque je récupère les informations (sur un câble ou une station) avec une commande jq distincte, je peux appliquer très facilement un grep -v 'null' afin de dégager de la sortie les attributs JSON non-remplis (genre un câble qui n'a pas de site web associé, par exemple).
  
  
• Autre avantage : pour faire passer le temps d'exécution, j'affiche un joli compteur avec printf() genre « Working on cables: 001/469… […] 142/469… ». Ça fait bien longtemps que je n'avais pas écrit un code générant un affichage aussi kikoo. :D

La version actuelle du script utilise une seule commande jq (mais avec des filtres supplémentaires) afin de réaliser l'itération, l'enrichissement du JSON et la modification du flux JSON.

• Cette dernière version s'exécute en 3,6 secondes (conditions de test identiques). 31 fois plus rapide ! :O
  
  
• Inconvénient : la commande jq commence à devenir touffue et très compliquée à comprendre, donc à maintenir dans le temps. Oui, je pourrais virer des variables, mais guère plus, je pense.
  
  
• Le premier avantage de la première version devient un inconvénient : je ne peux plus virer aussi facilement les attributs JSON non-remplis. Probablement que ça peut se faire avec une condition jq mais au prix de la lisibilité.

Merci Johndescs pour la relecture et la correction des scripts.

jq (paquet logiciel du même nom) est un outil en ligne de commande pour manipuler du JSON (quelle idée !).

Il m'apparaît que le meilleur moyen d'apprendre à utiliser jq, c'est de pratiquer. C'est ce que nous allons faire dans ce shaarli.

Fichiers utilisés dans les exemples ci-dessous : cables.json et cablesDefs.json.

L'usage le plus simple de jq est de rendre lisible (indentation, coloration syntaxique, etc.) un bout de JSON qui ne l'est pas (on dit aussi prettifyer, forrmatter) : jq '.' cables.json.

• Note : « . » est l'identité. Elle désigne l'élément / l'objet courant. Au début, elle pointe sur l'objet racine du fichier JSON, mais ça peut évoluer : lors d'une itération dans un tableau, par exemple, l'identité pointera sur l'élément actuellement parcouru.

Afficher la valeur / le contenu de l'attribut « features » de l'entité / objet racine : jq '.features' cables.json.

• Comme la valeur de cet attribut est un tableau, tout son contenu est affiché. Si l'on avait afficher la valeur de l'attribut « type » de l'objet racine avec jq '.type' cables.json, le retour serait une unique chaîne de caractères.

Afficher uniquement l'attribut « slug » de chaque élément du tableau « features » : jq '.features[].properties.slug' cables.json.

• Sorte de grep.

Notons que jq propose des paramètres intéressants.

• « -r » (raw) permet de ne pas afficher les guillemets autour d'une chaîne de caractères ;
  
  
• « -a » (ascii) remplace les caractères non-ASCII par leur séquence échappée, ce qui est pratique pour identifier un problème lié à l'encodage.

Ce que nous avons mis entre apostrophes dans les exemples précédents se nomme un filtre. Il est possible d'enchaîner les filtres. Pour ce faire, deux opérateurs existent :

• « , » exécute les deux filtres et concatène leur résultat (comme « ; » dans un shell). Afficher le contenu de l'attribut « slug » de chaque élément du tableau « features » puis afficher le contenu de leur attribut « color » : jq '.features[].properties.slug , .features[].properties.color' cables.json ;
  
  
• « | » a le même rôle que dans un shell : la sortie du filtre de gauche est l'entrée du filtre de droite. Travailler sur le slug de chaque élément du tableau : jq '.features[].properties.slug | .' cables.json.

Tout peut être stocké dans une variable à tout moment : jq '.features[].properties as $props | .' cables.json.

• Plus loin dans l'enchaînement de filtres, on pourra utiliser la variable avec $props | <traitement_ici> ou $props.<nom_attribut> (exemple : « $props.color »).
  
  
• Forcément, si le résultat d'un filtre est stocké dans une variable, alors ce filtre enverra rien sur l'entrée d'un filtre qui lui serait chaîné. C'est le résultat du dernier filtre sans stockage dans une variable qui sera injecté dans l'entrée du filtre chaîné.

Si un filtre retourne plusieurs résultats et qu'un ou plusieurs filtres lui sont chaînés, ces derniers filtres s'appliqueront / seront exécutés pour chaque résultat retourné par le premier filtre. Il est donc possible de travailler sur chaque élément d'un tableau. Nous le faisons depuis le début : jq '.features[].properties.slug' cables.json = jq '.features[] | .properties.slug' cables.json. Il est donc possible d'exécuter un traitement sur chaque élément du tableau, comme une sorte de grep | xargs.

• Comme c'est confusant, je conseille vivement d'écrire tranquillement son filtre sur un seul objet à la fois avec jq '.features[0] | .properties.slug' cables.json (« [0] » demande à travailler sur le premier élément du tableau) avant de le généraliser ;
  
  
• Si l'on fait jq '.features[] | ., c'est-à-dire « affiche-moi chaque élément du tableau « features » », on se rend compte que l'on perd l'entête (« { "type": "FeatureCollection", "features": [ ») et le pied (« ] } ») de notre fichier. Il faut comprendre qu'on les retrouvera jamais, qu'on peut jamais remonter au niveau supérieur. Ce serait comme utiliser grep essai | xargs <maCommande> et vouloir que maCommande accède à ce qui n'a pas été grep-é (retenu par grep). Si l'on tente d'enregistrer la racine dans une variable (« . as $racine ») et que l'on tente de l'afficher dans une itération (exemple : jq '. as $racine | .features[] | .properties.slug | $racine' cables.json), l'ensemble du fichier JSON sera affiché autant de fois qu'il y a d'éléments dans le tableau « features », ce qui n'est pas ce que l'on veut. Bref, n'essaye pas. On ne sort pas d'une itération, tout enchaînement de filtres après un filtre qui émet plusieurs éléments JSON sera exécuté autant de fois qu'il y a d'éléments ;
  
  
• En revanche, on peut contenir une telle itération au sein d'une opération bornée, comme une affectation. Ainsi, tout le résultat produit par l'enchaînement des filtres de l'itération sera affecté à une variable. Nous verrons selon un peu plus loin, car il nous manque encore des connaissances.

Recherche sur la valeur d'un attribut / afficher l'élément du tableau « features » dont la valeur de l'attribut « slug » est « adria-1 » : jq '.features[] | select(.properties.slug=="adria-1")' cables.json.

• Afficher uniquement la valeur de l'attribut « properties.color » de cet objet ? jq '.features[] | select(.properties.slug=="adria-1") | .properties.color' cables.json ou, plus simplement : jq '.features[] | select(.properties.slug=="adria-1").properties.color' cables.json.

On peut mettre en forme /formater la sortie (afficher plusieurs attributs, ajouter du texte libre, etc.). Pour chaque élément du tableau « features », je veux afficher une ligne de la forme \*\*SLUG\*\*: <slug> ~ \*COLOR\*: <color>.. Les « * » sont du formatage Markdown (**gras**, *italique*). Le texte en majuscule, le caractère « ~ » et le caractère final (« . ») sont des bouts de texte arbitraires que je souhaite afficher. jq '.features[] | "**SLUG**: \(.properties.slug) ~ *COLOR*: \(.properties.color)."' cables.json.

• Les guillemets permettent de saisir des chaînes de caractères. « \() » est l'opérateur qui indique à jq d'interpréter une expression située au milieu d'une chaîne de caractères.

Et si je veux utiliser le contenu d'une variable shell dans un filtre ?

• Normalement, on écrit un filtre jq entre apostrophes afin que le shell n'interprète pas la chaîne de caractères. Mais, on peut aussi l'écrire entre guillemets afin quil l'interpète. Exemple : maVariable='{ "test": "toto" }' ; jq ".features[].properties += $maVariable" cables.json. Cela signifie aussi que tu vas devoir échapper tout ce que le shell pourrait interpréter : le « $ » d'une variable interne à jq, les guillemets, etc. Pour peu que ton enchaînement de filtres jq soit un peu costaud, ça va le rendre illisible. Je déconseille ;
  
  
• jq propose les arguments --arg <nom_variable_interne> <contenu> (le contenu sera enregistré comme une chaîne de caractères) et --argjson <nom_variable_interne> <bout_de_JSON> (attention : le bout de JSON doit avoir une syntaxe valide !). Reprise de l'exemple précédent : maVariable='{ "test": "toto" }' ; jq --argjson varInterne "$maVariable" '.features[].properties += $varInterne' cables.json.

Et si l'on veut modifier le flux JSON ? Il existe les opérateurs « |= » et « += ». Le premier modifie la valeur d'un attribut en écrasant l'exisant. Le second ajoute un élément dans la valeur d'un attribut.

• Je veux changer / remplacer la valeur de l'attribut « properties.color » de chaque élément du tableau « features » pour « yellow » : jq '.features[] | .properties.color |= "yellow"' cables.json ;
  
  
• Je veux ajouter un attribut « toto » avec la valeur « titi » dans l'attribut « properties » de chaque élément du tableau « features » : jq '.features[] | .properties += { "toto": "titi" } ' cables.json ;
  
  
• Je veux renommer l'attribut « properties.color » de chaque élément du tableau « features » en « properties.toto » tout en conservant sa valeur : jq '.features[] | .properties += { "toto": .properties.color } ' cables.json ;
  
  
• Je veux déplacer l'attribut « properties.color » de chaque élément du tableau « features » dans un nouvel attribut « properties.toto » tout en conservant sa valeur : jq '.features[] | .properties += { "toto": { "color": .properties.color } }' cables.json.

Normalement, si tu suis, tu me traites de tricheur : les deux dernières commandes du point précédent n'ont pas renommé / déplacé l'attribut, mais l'ont simplement copié. Pour finir le travail, jq propose la fonction native « del() » qui, comme son nom l'indique, permet de supprimer un attribut. Démo sur les deux exemples précédents : jq '.features[] | .properties += { "toto": .properties.color } | del(.properties.color)' cables.json et jq '.features[] | .properties += { "toto": { "color": .properties.color } } | del(.properties.color)' cables.json.

• D'autres fonctions natives sont disponibles : select() qu'on a déjà vu, sub() (remplacer une portion de texte avec des expressions régulières ou non), split(), etc. On notera que la fonction gsub() (greedy sub) échoue lorsque certains caractères Unicode sont présents dans la chaîne de caractères à traiter (a priori, c'est corrigé dans la version 1.6 de jq).

jq ne propose pas un argument (genre « -o ») permettant d'enregistrer le résultat de son traitement dans un fichier. Donc, si l'on veut enregistrer le résultat dans le fichier source / d'origine, il faut utiliser l'outil sponge (une redirection shell, >, viderait le fichier avant d'exécuter jq).

Il est possible de travailler sur plusieurs fichiers JSON en même temps. Soit en les concaténant (cat fichier1 fichier2 | jq '.'). Oui, ça va générer un fichier JSON invalide (plusieurs entités racines…), mais jq est tolérant. Soit en ayant un fichier principal et des fichiers secondaires accessibles via des variables. Cette deuxième possibilité est très pratique quand on veut agrémenter / enrichir un fichier principal avec des informations disponibles dans un autre fichier (sans polluer le fichier principal avec une concaténation, donc).

• Exemple pratique. Le fichier cables.json contient les coordonnées géographiques des éléments et le fichier cablesDefs.json contient des informations sur ces éléments (comme leur nom). Dans le fichier cablesDefs, on veut récupérer le nom de chaque élément du fichier cables.json afin de l'insérer dans un attribut « name » dans l'attribut « properties » de l'élément. On veut donc enrichir cables.json avec cablesDefs.json. Notons que les éléments ne sont pas forcément dans le même ordre dans les deux fichiers. Il y a une correspondance id = slug. Démo : jq --slurpfile maVariable cablesDefs.json '.features[] | . as $cable | $maVariable[] | select(.id==$cable.properties.slug).name as $cableName | $cable | .properties += { "name": $cableName }' cables.json.
  
  
• Explication : pour chaque élément du tableau « features », on le stocke dans la variable $cable puis, dans le contenu de maVariable (donc du fichier cableDefs.json, dont chaque élément racine a été importé comme case d'un tableau), on cherche un objet dont l'attribut « id » correspond à l'attribut « slug » de notre élément, on stocke la valeur de l'attribut « nom » de cet objet dans $cableName. On affiche l'élément de notre tableau « features » et on ajoute un attribut dans son attribut « properties ».

Plus haut, j'écris que si l'on itère sur le contenu d'un attribut avec jq, alors on perd les attributs qui entourent celui sur lequel on itère. Avec ce "mode multi-fichiers", on peut reconstruire le JSON d'origine (sauf si trop d'élements sont passés à la trappe, bien entendu). Exemple (je reprends le cas cité ci-dessus malgré son absence de représentativité) :

jq '.features[] | .' cables.json > /tmp/json.tmp # dans json.tmp, on aurait donc uniquement les éléments du tableau « features », tout le reste aura disparu
cat <<EOF > /tmp/minJSONStruct # dans ce fichier, on met l'entête et le pied du fichier d'origine (cables.json), précisement ce qui a disparu
{
  "type": "FeatureCollection",
  "features": [
  ]
}
EOF
jq --slurpfile featuresList /tmp/json.tmp '.features += $featuresList' /tmp/minJSONStruct > cables.json # on ajoute les ex-éléments du tableau « features » au tableau « features » de l'entête/pied JSON, donc on reconstitue notre fichier cables.json d'origine.

Oui, je préfère passer par un fichier temporaire que par une variable (avec « --arg ») afin d'éviter les problèmes d'échappement de caractères pour le shell.

On peut aussi préserver la structure JSON autour du tableau. Pour ce faire, il faut contenir l'itération sur le tableau au sein d'une affectation. Exemple : pour renommer l'attribut « properties.color » d'un objet membre d'un tableau en « properties.toto », il faut que j'itère sur ce tableau sinon je ne peux pas récupérer la valeur de l'attribut afin de la transvaser. Pour que cette opération ne soit pas destructrice, je l'encadre dans une affectation : jq '. as $racine | .featuresDup |= $racine.features | del(.features) | .features += [ .featuresDup[] | .properties += { "toto": .properties.color } | del(.properties.color) ] | del(.featuresDup)' cables.json. Si je n'avais pas dupliqué l'attribut « features », alors ce tableau contiendrait deux fois chaque élément : l'original et la version modifiée. Cette copie me permet de vider l'attribut « features » et d'utiliser sa copie pour itérer dessus et remplir « features » avec les objets modifiés.

Appliquer le même traitement à tous les éléments d'un tableau. Pour chaque élément du fichier cablesDefs.json, je veux récupérer une unique chaîne de caractères contenant tous les éléments du tableau « landing_points » sous la forme * <nom1>: <latitude+longitude>\n * <nom2>: <latitude+longitude>\n […]. Premier essai : jq '.landing_points[] | " * \(.name): \(.latlon)"' cablesDefs.json. Bien vu, mais on ne peut pas obtenir une unique chaîne avec join() puisque ce qui ressort du filtre, c'est des chaînes de caractères et qu'un join() ne peut être appliqué sur ce type d'objets.

• Comme dans beaucoup de langage de programmation (Python, Ruby, etc.), la fonction map() permet d'appliquer un même traitement à chaque élément d'un tableau, donc de produire un tableau en sortie… tableau sur lequel on pourra utiliser join(). Démo : jq '.landing_points | map(" * \(.name) :\(.latlon)") | join("\n")' cablesDefs.json.

Il reste encore beaucoup de choses à découvrir : les boucles, les conditions, les fonctions persos, etc. Voir le manuel officiel de jq. Pour ma part, j'ai pu réaliser ce que je voulais (construire une carte des câbles sous-marins d'Internet) donc je m'arrête là.

Sur mon ordinateur de poche Android, j'utilise le pare-feu Android AFWall+ (en fait, c'est juste une interface graphique pour le pare-feu natif du noyau Linux, Netfilter).
Ça me permet de contrôler quelles applications peuvent émettre et sur quel(s) réseau(x) (Wi-Fi, 4G, VPN) elles le peuvent.

J'utilise également un VPN de confiance (avec le logiciel Android OpenVPN For Android qui n'est pas l'implémentation officielle du projet OpenVPN) afin de me protéger des craderies de mon opérateur mobile lorsque je suis en 4G (on a vu Bouygues Telecom modifier les réponses DNS, on a vu SFR modifier les réponses web, etc.) et des points d'accès Wi-Fi malveillants (notamment ceux tenus par des potes farceurs). Mais également pour ne pas dévoiler ma vie privée à des gens en qui je n'ai pas confiance (opérateurs mobiles, fournisseurs de Wi-Fi ouverts, etc.).

Lorsqu'on utilise un VPN dans un tel contexte, le minimum est d'interdire tout trafic qui voudrait sortir en dehors du VPN, sauf le VPN lui-même et DHCP.
De même, lorsqu'un VPN est établi, il convient d'interdire tout trafic DNS sortant vers les serveurs DNS récursifs de l'opérateur mobile / fournisseur Wi-Fi, car certaines applications les utilisent au lieu de ceux proposés par le service de VPN, ce qui fait fuiter une partie de la vie privée.

AFWall+ permet uniquement d'autoriser / bloquer des logiciels. Le premier besoin est satisfait (bloquer tout en sortie, autoriser quelques logiciels via le VPN), pas le deuxième. Pour le satisfaire, il faut utiliser des scripts personnalisés.

On peut saisir un script perso directement dans l'interface d'AFWall+, sauf que c'est pénible et long. Je choisis donc de l'écrire dans un fichier séparé. Voici mon script pour bloquer le trafic à destination des serveurs DNS récursifs de Numericable :

#!/system/bin/sh

# Necessary at the beginning of each script!
IPTABLES=/system/bin/iptables

# Now add your own rules...
$IPTABLES -I "afwall-vpn" -d 89.2.0.1/32 -j "afwall-reject"
$IPTABLES -I "afwall-vpn" -d 89.2.0.2/32 -j "afwall-reject"

# Don't
# exit 0

Quelques commentaires :

• Ne pas oublier le shebang ;
  
  
• La variable « IPTABLES » (et son pendant IPv6 « IP6TABLES ») n'est pas obligatoire, elle ajoute de la simplicité si le chemin vers le binaire iptables change un jour ;
  
  
• Par défaut, AFWall+ exécute le script avant d'insérer ses règles de blocage d'applications. Donc, les règles du script seront ajoutées dans une chaîne avant qu'une application soit autorisée par la même chaîne. C'est bien ce que nous voulons : si les règles étaient ajoutées après, elles seraient inefficaces, l'application ayant été autorisée à émettre par une règle précédente. Par défaut, tout est donc OK. Néanmoins, je décide d'insérer mes règles en début de chaîne (« -I ») plutôt qu'à la fin (« -A ») afin de me prémunir de tout changement futur de comportement d'AFWall+ qui rendrait caduque mon filtrage ;
  
  
• La chaîne « afwall-vpn » s'applique uniquement à ce qui sort par un VPN. D'après la doc', il y existe également les chaînes « afwall-wifi », « afwall-3g », etc. Toutes ne sont pas documentées. Donc je recommande d'exécuter un « /system/bin/iptables -L -n -v » depuis un shell root (commande su) Android (j'utilise le classique Terminal Emulator pour y accéder) pour voir les chaînes disponibles à un instant T ;
  
  
• Je pourrais être plus fin et bloquer uniquement le protocole DNS (udp/53 et tcp/53) à destination de 89.2.0.[1-2], mais ces machines Numericable n'ont probablement pas d'autres usages, et sûrement pas d'usages qui m'intéressent. Donc, autant faire simple et performant en bloquant par IP. Je pourrais aussi bloquer tout trafic DNS qui n'est pas à destination des serveurs DNS récursifs de mon fournisseur de VPN, ce qui serait beaucoup plus sain et sécurisé (aucun risque d'oubli, quel que soit le réseau auquel je suis connecté), sauf que je veux me laisser la possibilité d'utiliser d'autres récursifs DNS au besoin ;
  
  
• Je rappelle que, dans ce contexte, pour un confort utilisateur, il vaut mieux rejeter explicitement le trafic plutôt que de le jeter silencieusement. L'utilisation de la chaîne « afwall-reject » permet en sus la journalisation, utile en cas de problèmes ;
  
  
• set -e (voir ici) ne semble pas être disponible. Dommage. Plus surprenant, un « exit 0 » en fin de script pour signifier que tout s'est bien passé conduit AFWall+ à déclarer que l'application des règles de filtrage a échoué…

Avec le gestionnaire de fichiers Android Ghost commander, je déplace ce script depuis ma carte SD vers le dossier /storage/emulated/0/afwall. Pourquoi ? 1) Je n'ai pas trouvé de dossier nommé à peu près afwall dans /data/data ; 2) C'est ici qu'AFWall+ stocke ses exportations de règles (menu -> « Export ») donc, c'est lui qui a créé le dossier, donc, en l'utilisant, je me prémunis de problèmes de droits d'accès.

Plutôt qu'une carte SD, j'aurais pu utiliser adb, oui.

Ne pas laisser ce script sur la carte SD, car, si elle n'est pas insérée lors d'un démarrage de l'ordiphone, alors les règles de filtrage ne seront pas appliquées, donc le pare-feu sera désactivé.

Dans le menu d'AFWall+ -> « Set custom script » -> « Enter custom script below », je saisis . /storage/emulated/0/afwall/<nom_script>. Attention au point au début !

Menu AFWall+ -> « Apply ». C'est terminé. \o/

Copier tout le contenu d'un fichier dans le presse-papier en ligne de commande : xsel -b < <fichier>

Récemment, j'ai constaté que l'ordinateur portable Windows 8 (8.1 ?) d'une amie ramait à moooort. Pour donner une idée : elle a le temps de cliquer sur le raccourci d'un logiciel, de me faire la conversation, de trouver ça trop long, d'aller me chercher une binouze dans son frigo à l'autre bout de sa piaule pendant que le logiciel vient à peine de s'ouvrir. :O

Il s'agit d'un ordinateur personnel dont un usage professionnel se fait de plus en plus grand. Comment peut-elle se concentrer dans ces conditions ? :O

Je regarde un peu : CPU identique à mon ordinateur perso (2 cœurs 2,5 Ghz), quantité de RAM équivalente (8 Go), disque dur 5 400 tours/minute (ha, peut-être qu'on a trouvé l'une des causes). J'ai aussi constaté que certains bus sont sous-dimensionnés…

Je soupçonne aussi la présence d'un virus vu les quelques comportements erratiques de la machine.

J'ai la flemme de partir à la chasse aux virus (et, surtout, je ne sais plus faire…).

Je propose une réinstallation complète de Windows. Et, tant qu'à faire, de passer à winwin 10 (même si winwin 8.1 bénéficiera de mises à jour de sécurité jusqu'en janvier 2023).

En douce (cadeau), je lui achète un SSD. Un Samsung 860 Pro, produit qui remplace les excellents 850 Pro qui équipent mon ordinateur perso et un fournisseur d'accès à Internet alsacien, a ma faveur : ça marche bien et, en cas de pépin, la garantie Samsung 5/10 ans remplace à neuf sans faire chier. Winwin 10 sera installé dessus, ce qui permet de mettre le disque dur d'origine de côté afin de récupérer des fichiers si besoin. Au final, le gain est important mais moins ouf qu'avec un système Debian GNU/Linux…

Ci-dessous, je propose un résumé de ce qui m'a marqué durant cette installation de winwin 10.

Virer les mouchards Lenovo

L'ordinateur étant de marque Lenovo, il faut virer les mouchards incorporés par cet assembleur. Dans quel monde vit-on ?!

Le mouchard Computrace (voir aussi) n'apparaît pas dans l'UEFI, contrairement à mon ordinateur Dell.

Le deuxième mouchard de Lenovo, qui résiste lui aussi à une (ré)installation de winwin, n'était pas non plus présent. Les binaires mentionnés par Numerama n'existent pas sur l'ordinateur et le modèle de cet ordinateur n'apparaît pas dans le communiqué de presse de Lenovo (merci à la machine à remonter le temps maintenue par archive.org d'avoir conservé ce document effacé par Lenovo, n'hésite pas à faire un don).

Le troisième mouchard connu, SuperFish, n'était pas présent. Il ne résiste pas à une (ré)installation propre de winwin, mais je voulais voir. Pour diagnostiquer cela, j'ai suivi le tutoriel proposé par Lenovo lui-même. Si, comme moi, le menu démarrer refuse d'ouvrir le gestionnaire des certificats, utilise Windows+R puis tape « certlm.msc ».

On notera que les deux derniers mouchards sont devenus des failles de sécurité qui peuvent être exploités par n'importe qui. Voilà pourquoi ce genre de merde doit être refusée.

Accéder à l'UEFI

Mes notes de 2013 sont toujours valables.

Désactiver Secure Boot

Parce que changer uniquement la valeur de l'option « Secure Boot » dans l'UEFI, ça serait trop simple. Je copie les instructions afin de les pérenniser :

Then scroll to the Security tab by using → . Then use ↓ to scroll to the Secure Boot entry. Press the Enter key and select Disabled. Follow that by navigating to the Reset to Setup Mode entry using the ↓ again. Press Enter, then select Yes on the popup to clear the PK, disable secure boot and enter setup mode. You’ll notice that the Platform Mode changes to Setup Mode and Secure Boot Mode becomes Custom. Press the Fn+F10 key to reboot.

ISO d'installation librement disponible

Microsoft propose l'ISO de winwin 10 en téléchargement libre. Attention, il faut se rendre sur le site web avec un système autre que winwin (ou trafiquer le user-agent de son navigateur web), sinon le site web ne propose pas l'ISO mais l'outil de MS pour créer un support d'installation.

Créer un support d'installation

Un collègue qui se tient à jour sur les technos MS m'a conseillé d'utiliser le logiciel Rufus. Aucune difficulté.

Choisir l'édition de winwin

D'une part, je voulais Bitlocker, la techno de Microsoft pour chiffrer un support de stockage car elle est plus transparente que VeraCrypt pour un utilisateur lambda (pas de code à saisir au démarrage, mais dépendance à une puce matérielle, le TPM). Bitlocker n'est pas disponible dans l'édition familiale. De plus, comme cet ordinateur va de plus en plus servir dans un contexte pro, je voulais être sûr que mon amie aurait tous les outils disponibles. Je voulais donc installer l'édition professionnelle de winwin 10.

Or, durant l'installation, le choix de l'édition ne m'a pas été laissé. Tous les tutoriels indiquent que le choix se fait au début, juste après l'appui sur le bouton « Installer maintenant ». Moi, je passais directement à l'acceptation du contrat winwin.

Winwin 8 édition familiale était préinstallé sur cet ordinateur. Donc la clé produit est stockée dans la table ACPI de l'UEFI. Donc l'installeur détectait cela et voulait installer l'édition familiale de winwin 10.

Pour avoir le choix, il faut ajouter un fichier nommé « ei.cfg » dans le dossier nommé « Sources » présent à la racine du support d'installation de winwin. Le contenu doit être (source) le suivant :

[Channel]
_Default
[VL]
0

Attention si tu utilises un système GNU/Linux pour créer ce fichier : la manière de terminer une ligne diffère entre Unix (LF) et winwin (CR+LF). Pense à convertir le fichier avec la commande unix2dos ei.cfg (la commande fait partie du paquet logiciel dos2unix).

Évidemment, il faudra acheter une clé produit winwin 10 pro. Pense à connecter l'ordinateur à Internet avant d'activer winwin, sinon il est en mode démonstration et l'activation (KMS ou clé produit) n'est pas disponible. Lors de cette première connexion, winwin demandera, à nouveau, s'il faut lier le compte utilisateur local à un compte dans le cloud…

Ne pas se connecter à Internet durant l'installation de winwin

Cela permet de créer facilement un compte utilisateur local, non-lié à une identité dans le cloud de Microsoft. Sans ça, Microsoft essaye de te piéger et c'est plus compliqué de faire marche arrière. Dans quel monde vit-on ?!

Questions secrètes

Lors de la création d'un compte utilisateur, il faut saisir une réponse à trois questions secrètes. Oui, trois ! On marche sur la tête… Le mot de passe d'un utilisateur lambda de winwin est sa date de naissance ou « 1234 », donc bon… Sans compter l'inutilité démontrée des questions secrètes…

Désactiver Fast Startup / démarrage rapide

Il s'agit de démarrer rapidement un ordinateur en ne l'éteignant pas totalement. Winwin et les pilotes restent ouverts, le reste est fermé. L'état du système est stocké sur le disque dur.

Je pense que cette fonctionnalité peut générer des ennuis. Quand le biniou ne termine pas sa mise en hibernation (ça arrive aussi sous GNU/Linux quand des pilotes / matériels font chier) et qu'il se réveille subitement dans ton sac en vidant la batterie. Quand le noyau winwin accumule de la merde. Quand les pilotes merdent. Etc.

Avec un SSD, un démarrage à froid prend 27 secondes entre la pression sur le bouton et l'arrivée sur l'écran de connexion. C'est acceptable. Fast Startup ne se justifie donc pas.

Tutoriel pour désactiver Fast Startup.

Mises à jour

Attention : si tu comptais cliquer sur « Rechercher les mises à jour » et faire autre chose en attendant que toutes s'installent : si une mise à jour nécessite un redémarrage, les autres mises à jour sont mises en attente (elles ne s'installent pas). De même, les mises à jour facultatives ne s'installent pas automatiquement, sans action.

Pilotes

Disponibles sur le site web de Lenovo. Évidemment, comme l'ordi n'est plus en vente, la page web n'est plus à jour, mais Windows Update mettra à jour les pilotes installés.

Certains pilotes afficheront une erreur genre « Realtek machin ne peut pas s’exécuter sur cet ordinateur ». L'extracteur de Lenovo ne lance simplement pas le bon binaire… Il suffit d’aller dans le dossier d’extraction (c:\drivers, par défaut) et d’installer le pilote du bon constructeur parmi les sous-dossiers (généralement : Intel).

Je sais qu'il existe des outils automatisés comme DriverCloud (anciennement « Ma-Config »), mais ce n'est pas mon kiff niveau vie privée (le logiciel peut aspirer ce qu'il veut, faire ce qu'il veut, son programmeur peut faire ce qu'il veut des données récupérées, etc.).

Logiciels

La plupart des logiciels utilisés par mon amie peuvent être installés avec ninite, sorte de gestionnaire de paquets minimaliste pour winwin. Pour les autres, ce sera installation manuelle en essayant d'identifier le site web officiel ou en utilisant Clubic. Comment peut-on encore en être à ce stade ?!

Restaurer la configuration de Mozilla Firefox / Thunderbird

• Ouvrir Firefox, fermer Firefox ;
  
  
• Dans C:\Users\<nom>\AppData\Local\Mozilla\Firefox\Profiles\<chiffres_et_letttres.default>, tout supprimer et mettre le contenu de la sauvegarde ;
  
  
• Même chose dans AppData\Roaming.

Pour Thunderbird : même logique que pour Firefox sauf que c’est Local\Thunderbird et Roaming\Thunderbird.

Restaurer la configuration de Google Chrome :

• Ouvrir Chrome, fermer Chrome.
  
  
• Dans C:\Users\<nom>\AppData\Local\Google\Chrome\User Data, tout supprimer et mettre le contenu de la sauvegarde.

Vie privée

Durant l'installation

On en parle, de la masse de questions posées durant l'installation ?! Dans quel putain de monde vit-on ?!

• Envoyer l'historique des activités à Microsoft ?
  
  
• Autoriser Cortana à collecter des données ?
  
  
• Désactiver toute reconnaissance vocale dans le cloud ?
  
  
• Autoriser Microsoft à collecter la position géographique afin de propsoer des services ?
  
  
• Envoyer des données de diagnostic ?
  
  
• Envoyer des données de saisie manuscrite à Microsoft afin d'améliorer sa reconnaissance des caractères (OCR) ?
  
  
• Autoriser Microsoft à proposer des conseils avec les données de diagnostic ?
  
  
• Autoriser l'utilisation, par les applications, d'un identifiant publicitaire unique ?

À chaque question, le choix favorable à Microsoft est bien présenté, comme s'il s'agissait du paradis : envoyer l'historique des activités, c'est pour reprendre vos activités depuis n'importe où ; Refuser l'utilisation, par les applications, d'un identifiant publicitaire unique est présenté comme « vous recevrez toujours autant d'annonces, mais elles peuvent être moins pertinentes pour vous » ; Impossible de désactiver l'envoi de données de diagnostic, on peut juste choisir un envoi « complet » ou « basic ». Le choix inverse est limite présenté comme l'enfer sur terre.

À l'exception des trois premières questions (de mémoire), l'ergonomie est prévue pour embrouiller l'utilisateur. Genre le bouton se nomme « accepter » au lieu de valider. Donc quand tu réponds non + clic sur le bouton accepter, ça fait bizarre (j'accepte de refuser de me faire fliquer ou j'accepte le flicage tout court ?).

Dire que les autorités administratives de protection des données personnelles (la CNIL en France) ont validé ça… Les libristes que nous sommes ne pouvons pas faire les malins : on parle des données collectées par Mozilla Firefox et de l'ex-partenariat Amazon-Canonical pour intégrer Amazon dans le menu Unity d'Ubuntu ?! Tout le monde fait n'importe quoi…

Finir le ménage

Korben pointe un logiciel libre qui permet de réduire encore un peu le flicage de winwin 10 : DisableWinTracking.

J'ai coché :

• Services ;
  
  
• Clear DiagTrack log ;
  
  
• Telemetry ;
  
  
• Block tracking domains ;
  
  
• WifiSense ;
  
  
• Uninstall OneDrive ;
  
  
• Disable Xbox VR.

Je n'ai pas modifié les autres paramètres (notamment le choix entre désactivation et suppression de services).

Évidemment, il faut adapter cette liste à l'utilisateur : un joueur ne désactivera peut-être pas Xbox VR, par exemple.

Virer les pubs et conseils parasites de l'écran de démarrage

Il faut désactiver Spotlight : clic droit sur bureau → personnaliser → écran de verrouillage → arrière-plan = diaporama ou image, mais pas « Windows à la une ».

Encore une fois : dans quel monde vivons-nous ?! Pourquoi acceptons-nous de nous faire maltraiter comme ça ?

Lulz

Après avoir répondu aux questions sur la collecte de nos données, l'installeur de winwin affiche « Nous préparons votre système » puis … … … « Laissez-nous tout ». Il n'y a pas de suite à cette phrase ! :O Aveu ? :)

Loin d'être virtuel, Internet repose sur des infrastructures physiques dont des câbles sous-marins. Parfois ces câbles se rompent à cause de l'usure, d'un événement naturel, d'un événement humain ou d'un sabotage. Quelques exemples ces deux dernières semaines sur le fil Twitter du « Directeur Réseaux et Services internationaux » d'Orange. Ces pannes ne datent pas d'hier. Exemple : en 1929, un tremblement de terre met KO un câble télégraphique transatlantique.

Plus d'infos sur le financement des câbles sous-marins et les enjeux géopolitiques.

Plus d'infos sur l'aspect physique d'Internet (câbles, locaux techniques, trous dans les trotoirs, etc.).

Plus d'infos sur le financement des infrastructures physiques de l'Internet.

https://twitter.com/jlvuillemin/status/1242890487754887169 :

Et voila ! Reparation du SAT3 faite. Le câble était enfoui profondément sous des sédiments ce qui confirme l’éboulement du canyon du fleuve Congo en hte mer. Avec une tension de relevage croissante le câble a fini par se détacher du fond et a été remonté a bord pour inspection

Visualiser le tracé du câble SAT-3. Éboulement du canyon = écoulement turbiditique.

https://twitter.com/jlvuillemin/status/1243618627586269184 et https://twitter.com/jlvuillemin/status/1243791292913631233 :

la situation globale des cables sous-marin entre l’europe et l’ocean indien est tres dégradée. Le SMW 3 et le SMW 4 sont tous les 2 coupés en 2 endroits différents. Nous avons actuellement 3 cabliers en mer sur ces opérations. […] Réparation du SMW3. Lors du relevage le câble s’est cassé dans la boite de jonction qui reliait le câble au répéteur.
Il est donc très probable que le défaut était dans la boite nous en aurons la confirmation quand l’extrémité laissée au fond aura été remontée et testée.

Visualiser le tracé du câble SMW-3. Visualiser le tracé du câble SMW-4.

https://twitter.com/jlvuillemin/status/1238806688754470912 :

Comme tous les gamers de la réunion l’ont constaté il y actuellement une double coupure sur les cables SMW4 et SMW5 qui impacte non seulement la réunion mais aussi plus généralement le trafic vers l’Asie, singapour et HK. Les équipes sont en train de réparer. Je précise que les coupures sont sur la partie égyptienne des deux cables a quelques km de la station de Zafarana.

Visualiser le tracé du câble SMW-5.

https://twitter.com/jlvuillemin/status/1243657525028929545 :

Coupures qui entrent dans les statistiques des incidents habituellement constatés, svp ?
Trés supérieures a la moyenne habituellement constatée.

https://twitter.com/jlvuillemin/status/1243654077361381387 :

[…] Mais effectivement actuellement la situation est complexe. Entre l’Afrique, l’océan indien et la Méditerranée, nous avons un nombre de coupures particuliérement élevé.

J'ai du mal à croire à une hausse significative des pannes sur les câbles sous-marins. J'attends que des informations provenant de plusieurs sources soient publiées avant de conclure.

OMG, tout un site web du marchand Orange dédié au bien vivre le digital alors qu'une simple règle suffit : pour bien vivre le digital, utiliser du lubrifiant.

Explication ici. Je cite : « L’adjectif digital en français signifie « qui appartient aux doigts, se rapporte aux doigts ». ».

Merci Johndescs pour la blagounette du jour. :)

Quelqu'un a-t-il des infos liées à l'un de ces sujets ?

• Les observations de la Cour des comptes de septembre 2019 concernant la non-application de la durée légale de travail aux personnels de l'enseignement supérieur et la recherche (ESR) ;
  
  
• L'arrêt C‑72/18 du 20 juin 2019 de la Cour de Justice de l'Union européenne concernant l'impossible différence de rémunération, à travail, poste et responsabilités égaux, entre un fonctionnaire et un contractuel.

Je cherche toutes les infos possibles, et, en particulier :

• Quelles sont les suites possibles ? ;
  
  
• Est-ce que les observations de la Cour des comptes peuvent rester à nouveau lettre morte comme elles l'ont été depuis 2015 ? ;
  
  
• Est-ce cette décision impacte autre chose que le temps de travail ? J'ai entendu dire que cela remet en cause les "aménagements individuels" d'horaires genre untel fait 7 h 30 - 16 h tous les jours, untelle termine à 15 h trois jours par semaine en bossant de 8 h à 19 h les autres jours, etc. Vrai / faux ? ;
  
  
• En 2018, avant ces observations de la Cour des comptes donc, l'université d'Aix-Marseille a régularisé sa situation en proposant un choix à ses personnels : soit une durée de travail hebdomadaire supérieure mais en conservant les jours de congés annuels, soit une durée de travail hebdomadaire moindre mais avec un nombre réduit de jours de congés annuels. Est-ce lié ou est-ce la régularisation d'un autre dossier ? Des universités ont-elles commencé la régularisation demandée par la Cour des comptes ? ;
  
  
• L'arrêt de la CJUE est-il applicable à tous les contractuels ou uniquement aux enseignants vacataires (en CDD) ? ;
  
  
• Suite à l'arrêt de la CJUE, un contentieux est-il déjà porté devant le Conseil d'État afin de lui faire réviser sa jurisprudence au regard de celle de la CJUE ? Est-ce que des syndicats sont sur le coup ? ;
  
  
• Ce que je lis sur l'arrêt de la CJUE est contradictoire : d'un côté, une analyse évoque la fin de la différence de traitement liée à l'ancienneté (alors que les contractuels ont déjà une hausse de rémunération liée à l'ancienneté…), d'autres analyses estiment que les primes (qui, par chez moi, sont bien à l'origine de la différence de rémunération) sont aussi concernées ;
  
  
• Comment agir ? Est-ce que, en tant que contractuel, je peux demander à mon service RH de m'appliquer les primes des fonctionnaires puis contester son refus au tribunal administratif puis au Conseil d'État ou est-ce prématuré ou est-ce que ça nécessite d'autres révisions législatives préalables ?

Avez-vous déjà remarqué que tous les instruments qui cherchent une forme de vie intelligente sont pointés loin de la Terre ?

+1. :)

TL;DR : HSTS c'est bien si ta conf' TLS est propre ; HPKP c'est du passé ; Expect-CT me semble être en partie aussi pipeau que CAA ; Referrer-Policy est cool au sein d'un intranet / webmail / agrégateur RSS web ou autre ressource web privée et inutile au-delà ; X-Frame-Options, c'est du passé ; X-XSS-Protection et X-Content-Type-Options, ça ne mange pas de pain même si le gain est faible et que ce n’est pas encore normalisé ; Content-Security-Policy est loin d'être simple en pratique, même sur un logiciel qui se veut être simple comme Shaarli, car ça nécessite une parfaite connaissance du code de l'application web et des compromis utilisabilité / sécurité qui me semblent être très vite déconnants.

Toujours à la recherche de la hype en 2020 et m'étant fait tej' par TLS 1.3 et HTTP/2, je me demande quels entêtes HTTP trop stylés ajouter dans la configuration de mes serveurs web.

HTTP Strict Transport Security (HSTS), c'est plié : j'utilise une autorité de certification x509 maison, ce qui est incompatible.

HTTP Public Key Pinning Extension for HTTP (HPKP), c'est compliqué. On a vite fait de faire de grosses erreurs durables (même contre sa volonté, en raison de la fluctuation de ce que les autorités de certification incorporent dans un certificat x509 et en fonction des implémentations logicielles…), ce qui bloque l'accès au site web. Ça serait un deal à examiner si je n'avais pas déployé DANE TLSA, une solution concurrente au même problème qui propose une deuxième chaîne de certification via le DNS. De plus, je ne pense pas qu'un faux certificat x509 émis pour mon petit site de bouseux fasse partie de mon modèle de menaces… Au final, HPKP a été déprécié par son créateur, Google et retiré de Chrome. Affaire classée, donc.

Expect-CT indique au navigateur web de vérifier que le certificat x509 présenté par le serveur est bien publié dans Certificate Transparency, une base de donnée publique dans laquelle les autorités de certification peuvent ajouter (impossible de modifier et de supprimer) tous les certificats qu'elles génèrent… sauf quand elles se font vraiment pirater jusqu'à l'os. C'est là le hic. Je ne suis donc pas convaincu du gain foudroyant apporté par cet entête. De toute façon, j'utilise une autorité de certification maison qui ne publie donc pas dans Certificate Transparency, donc je ne suis pas éligible.

Referrer-Policy indique au navigateur web si, quand un utilisateur clique sur un lien présent sur un site web, il doit dire au site web de destination d'où il vient. On peut interdire toute communication ou demander à ce que seul le domaine soit communiqué et faire des mélanges genre communiquer l'URL complète si la destination du lien est le même site web et ne rien dire si la destination est externe, par exemple. Même possibilité de mélange si le site web de destination propose le même niveau de sécurité (comprendre HTTPS) que le site web source ou non. Je suis mitigé. Je vois très bien l'intérêt de cet entête pour un intranet ou un webmail ou un agrégateur RSS web , par exemple, mais pas pour mes sites web persos… Des extensions pour navigateurs web, comme Smart Referer permettent déjà de configurer l'envoi (ou non) du referrer, et, au moins, ça fonctionne pour tous les sites web consultés par un utilisateur, pas juste pour ceux qui ont mis un entête. L'utilisateur ne devrait pas compter sur l'administrateur d'un site web pour préserver sa vie privée.

X-Frame-Options est déprécié et est remplacé par l'attribut « frame-ancestors » dans la version 2 de Content Security Policy, donc affaire classée.

X-XSS-Protection indique au navigateur web de bloquer les tentatives d'exploitation de failles XSS les plus triviales. Ça ne mange pas de pain. J'ajoute donc cet entête à mes configurations : X-XSS-Protection "1; mode=block".

X-Content-Type-Options indique au navigateur de ne plus faire de MIME sniffing, c'est-à-dire d'interprétation du type d'un fichier quand le serveur web ne le précise pas ou que le navigateur web pense qu'il est erroné. Ça évite des attaques par fichiers malveillants spécifiquement fabriqués pour une attaque. Son utilisation suppose que le site web qui envoie cet entête soit irréprochable sur les types de fichier qu'il envoie. Mais, contrairement à HPKP, il n'y a pas de sanction durable dans le temps si ce n'est pas le cas. Donc ça ne mange pas de pain, donc j'ajoute cet entête à mes configurations : X-Content-Type-Options "nosniff".

Content-Security-Policy. J'en ai déjà parlé, expliqué ce que c'est, etc.. Dans la pratique, son usage n'est pas si simple et suppose une grande maîtrise du code du site web auquel cet entête sera appliqué. Exemple concret : j'ai voulu ajouter CSP à mon shaarli, car je considère qu'il s'agit d'une application web toute simple. Grosse erreur.

Au début, j'envisageais de positionner la valeur « default-src 'none'; frame-ancestors 'none'; script-src 'none'; style-src 'self'; img-src 'self'; form-action 'self'; ». Dans l'ordre, ça dit ce qui suit. Tout ce qui n'est pas défini sera bloqué. Ce site ne peut pas être inclus dans un autre. Le seul CSS autorisé est celui provenant de la même origine (même protocole + nom de domaine + port). Même chose pour les images (comme les miniatures de vidéos ou d'images proposées par shaarli). Les formulaires peuvent uniquement être envoyés à une cible de même origine.

Rien que là, il y a des pièges. Il y a les non-dits, comme le fait que les scripts « inline » (insérés directement dans le XHTML) sont interdits de base sauf mention explicite. Il y a des différences de comportements. Je n'ai pas besoin de préciser « script-src », « font-src », « child-src », « object-src », « manifest-src », « media-src », « worker-src », « connect-src » car, en cas d'absence, un repli sur « default-src » est prévu. En revanche, il n'y a pas de repli pour form-action ou frame-ancestors, donc aucun blocage par défaut. Il y a des subtilités. « plugin-types » est un sous-type de « object-src », par exemple. Il faut donc lire la norme ou sa vulgarisation avec attention, ce qui est jamais top en matière de sécurité.

Ensuite, la définition CSP toute simple ci-dessus ne fonctionne pas avec shaarli.

• Le thème par défaut et le plugin QR code (que j'ai tenté de désactiver à plusieurs reprises, mais il semble bien enraciné) utilisent du JavaScript (et, si pas de JS, un clic sur un QR code envoie l'utilisateur sur le site web qrfree.kaywa.com avec le QR code affiché pleine page…). Il faut donc remplacer « script-src 'none'; » par « script-src 'self'; ». Encore pire, le thème et le bookmarklet nécessitent l'usage de Javascript inline. Il faut donc remplacer « script-src 'self' » par « script-src 'self' 'unsafe-inline'; ». Ça enlève une grande partie de l'intérêt de CSP puisqu'un attaquant pourrait justement injecter du JS inline ;
  
  
• L'affichage des miniatures de vidéo Youtube va chercher la miniature… chez Google Youtube (img.youtube.com) ! Si je voulais autoriser ça, il faudrait remplacer « img-src 'self'; » par « img-src 'self' img.youtube.com; » (attention : dans la syntaxe CSP, il n'y a pas de quote pour entourer et délimiter un nom de domaine). Quid des autres images externes susceptibles d'être chargées dans mon dos ? Il faut que je lise le code source de shaarli en entier ou il faut un « img-src *; » ?! Ça réduit encore l'intérêt de CSP puisque des images malveillantes externes (qui profitent d'une faille de sécurité dans la visionneuse qui la chargera) pourront être chargées par le navigateur ;
  
  
• Le plugin QR code (encore lui), affiche le QR code en utilisant le schéma « data: ». Si l'on veut qu'il fonctionne, il faut donc remplacer « img-src 'self' » (ou « img-src ; » par « img-src 'self' data: » (ou « img-src data: »;. Là encore, ça retire une partie de son intérêt à CSP puisqu'un attaquant pourra injecter des images en utilisant ce schéma… ;
  
  
• Si l'on clique sur une vidéo que je mets à disposition, genre celle-ci, il n'est pas possible d'avancer dans la lecture à un moment qui n'est pas encore téléchargé dans la mémoire tampon. Essayer, c'est le "plantage", il faut F5. Pour que ça fonctionne à nouveau, il faut ajouter « media-src 'self'; ». Ça encore, ça passe…

Du coup, pour un shaarli qui semble être fonctionnel, il faut la CSP default-src 'none'; frame-ancestors 'none'; script-src 'self' 'unsafe-inline'; style-src 'self'; img-src * data:; media-src 'self'; form-action 'self';. Si l'on est prêt à sacrifier les miniatures de vidéos Youtube (et sites externes), la CSP suivante suffit : default-src 'none'; frame-ancestors 'none'; script-src 'self' 'unsafe-inline'; style-src 'self'; img-src 'self' data:; media-src 'self'; form-action 'self';. Et tout ça, sans être sûr que j'ai bien identifié tous les problèmes…

CSP est une bonne idée, mais il faut connaître parfaitement son application web. Et même en la connaissant, il faut autoriser de gros trous dans la raquette pour qu'elle fonctionne, ce qui diminue d'autant la sécurité apportée par CSP. Et encore, j'ai travaillé sur une application web qui se veut être simple, qu'est-ce que ça doit être avec n'importe quel CMS, site web pseudo-moderne ou application web Java ! Imagine les ressources externes (police récupérée ici, JavaScript récupéré chez Google, etc.). Imagine l'interférence des CDN (réseaux de distribution de contenus à l'échelle de la planète) et les possibilités de rendre caduque CSP que cela offre.

Bref, hors de question que je me prenne la tête avec CSP.