prendre la mesure

Statistiques au long cours

Le « Débat national » sur l’école qui s’est déroulé en fin d’année 2003 et au début de l’année 2004 a été organisé à la demande des autorités politiques par Claude Thélot, spécialiste de l’évaluation, qui s’est entouré de personnalités et d’experts. Il a donné lieu à un rapport préliminaire intitulé [1] Éléments pour un diagnostic sur l’école (EDE). On y trouve ces paragraphes :

« Les disparités s’accroissent lors du passage de l’école primaire au collège.

L’écart des performances entre enfants de cadres et enfants d’ouvriers est considérable en CE2. Ces performances sont en français de 79,8 % et 67,5 % respectivement ; elles ne sont que de 60,3 % pour les enfants d’inactifs. Le résultat des performances en mathématiques est semblable : 73,8 % et 63,4 % (54,4 % pour les enfants d’inactifs).

L’écart est encore plus grand à l’entrée en sixième : 78 % et 63 % en français (59,2 % pour les enfants d’inactifs) ; 74,9 % et 59,1 % en mathématiques (53,7 % pour les enfants d’inactifs). »

Les experts, après avoir constaté par exemple qu’en français l’écart entre les performances des enfants de cadres et d’ouvriers est de 12,3 points au CE2 et de 15 points en sixième, concluent à un accroissement des écarts. Or, si l’on fait la même comparaison entre les enfants de cadres et d’inactifs, on constate une stabilité de ces écarts et, enfin, entre les enfants d’ouvriers et d’inactifs, une baisse. La conclusion d’un accroissement des écarts à l’entrée en sixième apparaît donc très peu fondée.

C’est une première « curiosité ». Il y en a une deuxième : le trajet parcouru par ces données. Les pourcentages cités sont extraits d’un rapport [2] du Conseil de l’emploi, des revenus et de la cohésion sociale (CERC). On les trouve page 13, dans un grand tableau où figurent bien d’autres catégories (enfants de professions intermédiaires, employés, artisans et commerçants, agriculteurs) que les trois retenues par les auteurs de EDE (enfants de cadres, d’ouvriers, d’inactifs). Dans le rapport du CERC le titre qui précède le tableau est ?« Les disparités s’accumulent pendant le premier degré » ; dans EDE, il est devenu « Les disparités s’accroissent lors du passage de l’école primaire au collège ». Or, les performances dont il est question étant mesurées à l’entrée en sixième, l’enseignement au collège n’est pas concerné.

Le choix d’un titre n’est pas neutre. Il influe sur la suite de la lecture et sur l’interprétation que le lecteur en fera. Introduire le mot collège dans le titre, c’est engager le lecteur sur une fausse piste. Il y a là une grande maladresse. Selon qu’on titre « Les disparités de salaires s’accumulent pendant le gouver-nement Dupont » ou bien « Les disparités de salaires s’accroissent lors du passage du gouvernement Dupont au gouvernement Durand », on n’envoie pas le même message.

Poursuivons notre voyage. Le CERC n’a pas produit ces chiffres. Mais il fournit la référence permettant de remonter à leur source ? ; il faut plutôt écrire leurs sources, car ce sont deux documents séparés [3]. L’un concerne des évaluations faites en CE2 en 2000, l’autre celles faites en début de sixième, également en 2000. Il ne s’agit pas d’une cohorte d’élèves suivie sur plusieurs années, mais d’élèves différents ! Il n’est pas question dans ces deux documents de comparer les résultats des évaluations faites la même année en CE2 et en sixième par des élèves différents ! Des précautions sont prises ; par exemple « les protocoles ne recouvrent pas tous les apprentissages prévus par les textes ». On est très loin de l’idée de la mesure absolue d’une performance en français ou en mathématiques. Sans compter que « en raison d’une grève administrative dans les écoles primaires », les résultats recueillis cette année-là ne concernent que « 55 % de l’effectif prévu lors du tirage de l’échantillon » [4] .

Méthodologiquement, annoncer dans EDE un accroissement des disparités alors que l’on manipule des chiffres portant non seulement sur des épreuves différentes mais sur des populations différentes pose quelques problèmes... Le Bulletin officiel de l’Éducation nationale, pour dénoncer par avance toute utilisation abusive des résultats des évaluations, utilise des mots très clairs : « Aussi, ces résultats ne peuvent-ils en aucun cas être utilisés à des fins de comparaisons d’une année sur l’autre et détournés de leur objet pédagogique ».

Je ne tirerai aucune conclusion pour l’ensemble du rapport EDE. En revanche, les mécanismes mis au jour me semblent avoir une portée très générale. Chaque fois que l’on présente, utilise ou consulte des données chiffrées, il faut faire preuve d’une extrême vigilance. En particulier, lorsque les données sont utilisées en dehors et parfois très loin de leur contexte de production, les interprétations qui en sont faites ont plus de chance de traduire les conceptions des rédacteurs sur le sujet que ce qui peut être raisonnablement déduit des chiffres.

Le Débat sur l’école doit déboucher sur une réforme, en particulier celle du collège. Nous risquons de nous trouver dans la situation suivante : à partir d’un diagnostic mal posé, qui amène à des conclusions erronées, vont être proposés des remèdes dont on ignore les effets, et en particulier s’ils sont une réponse aux problèmes dont souffre actuellement le collège.

René Mulet-Marquis

Chiffres accablants

Les problèmes de l’assurance-maladie nous valent, dans les journaux, force articles et statistiques sur les différentes sortes de dépenses et les causes de leur évolution. Le Monde du 8 juin 2004 s’intéresse aux indemnités journalières versées aux salariés en arrêt de travail. Reprenant un rapport de l’administration d’octobre 2003, il titre : « La montée des congés maladie illustre des relations sociales durcies », ce que les faits rapportés dans l’article ne permettent pas d’étayer, ou tout au plus permettent de formuler comme une hypothèse explicative jouant à côté d’autres. En sous-titre, on nous dit : « Les dépenses d’indemnités journalières ont augmenté de 46 % entre 1997 et 2002 [...] ».

Ce 46 % placé en vedette doit nous interpeller. D’abord : est-ce en euros courants ? ou en euros constants ? Dans l’article, à propos de 1993, on dit « en valeur » : nous pouvons donc supposer qu’il en va de même pour les autres années. L’indice des prix a progressé d’un peu plus de 6 % de 1997 à 2002. En monnaie constante, le 46 % en question serait donc ramené à 38 % : c’est encore beaucoup, mais déjà moins grave. En second lieu, cette déduction de l’indice des prix est peut-être insuffisante, car les indemnités journalières sont un pourcentage du salaire. Il faudrait donc déduire encore la hausse du pouvoir d’achat des salaires, pour avoir une vue de ce qu’est l’augmentation de l’absentéisme en lui-même. N’ayant pas les données sous la main, je n’ai pas fait ce calcul, mais le pourcentage incriminé doit tomber probablement autour de 30 %.

L’évolution 2002-2003 est cependant curieuse. On nous dit que la hausse des dépenses a été de 5,6 % (ce qui, compte tenu d’à peu près 2 % de hausse des prix, ferait 3,6 % en valeur réelle) et que le nombre de journées indemnisées est passé de 200 à 213,5 millions, soit une progression de 6,7 %. Ceci voudrait dire que le coût moyen de la journée indemnisée aurait reculé (même en euros courants) d’environ 1 %. Ce qui montre que la supposition que je viens de faire, à savoir que l’indemnité élémentaire varie comme le salaire, n’est pas exacte. Il doit donc y avoir, derrière les chiffres qu’on nous montre, des modifications de la structure des indemnisations (selon l’âge, la catégorie professionnelle ou d’autres facteurs). On nous montre aussi l’évolution du nombre des indemnisations de plus de trois mois, mais sans nous dire ce qu’il en est des arrêts plus courts : se pourrait-il que la durée indemnisée augmente sans que le nombre de personnes en arrêt maladie croisse ?

J’en retire que l’analyse qu’on nous présente (que ce soit celle du rapport d’origine ou la sélection du journaliste) reste très incomplète. Trop pour que nous puissions comprendre ce qui se passe. En tout cas, il y a davantage que les facteurs que l’article propose : fraude, vieillissement et pathologies psy. Le corps de l’article commençait par « au premier abord, les chiffres sont accablants ». Soit ! Et au deuxième abord ?

Jean-Pierre Haug

La délinquance en clair-obscur

« Le nombre de crimes et délits a baissé de 3,76 % en 2004 », titre sur 5 colonnes Le Monde du 16-17 janvier 2005, p. 10.

Les titres auxquels vous avez échappé :

• Plus précis encore : « Le nombre de crimes et délits a baissé d’à peu près 3,75506 % en 2004 ». [La police enquête sur la dernière décimale].
• Faux-cul : « Le ministre de l’Intérieur déclare que le nombre de crimes et délits a baissé de 3,76 % en 2004 ».
• Consensuel : « La délinquance en France : une évolution assez contrastée ».
• Averti : « D’après le ministère de l’Intérieur, le nombre de procès-verbaux envoyés par la police et la gendarmerie au parquet, en matière de délits et de crimes, sur la base de l’état 4001, a baissé d’environ 4 % en 2004. »

[Les analystes s’arrachent les cheveux pour savoir ce que cela peut bien vouloir signifier ; avec photos des analystes devenus chauves, car chaque année, c’est la même chose].

• Polémique : « À quoi sert la police ? De moins en moins de PV envoyés au parquet ! ».

[Les magistrats prennent peur devant un tel laxisme policier et leurs syndicats s’indignent, toutes tendances confondues].

• Ou : « Forte baisse des PV, la police aurait-elle peur des délinquants face à la montée de la violence ? »

• Ou : « Forte baisse des PV, les victimes ont-elles peur de se déranger pour rien ? »

• Ou : « Forte baisse des PV, les victimes ont-elles peur de la police du fait des bavures dans les commissariats ? »

• Ou : « Forte baisse des PV : inflation des mains courantes ? La police a-t-elle peur de sa hiérarchie ? » [Menaces de grèves chez les policiers qui refusent de se faire traiter d’incapables].

• Très optimiste : « Enfin ! La peur change de camp : les délinquants n’osent plus sortir le soir. » [Le gouvernement envisage de mettre à la retraite d’office nombre de magistrats et surveillants de prison].

Pierre V. Tournier

Pénombre 24/24h

L’annonce d’un magasin précise qu’il est ouvert « 7/7 jours ». Ça ne se lit pas « sept sur sept jours », mais bien « sept jours sur sept ». Curieuse écriture. D’autres établissements affichent « 7 jours/7 ». Curieuse diversité. Et puis, si nous avons quelques restes du calcul des fractions, 7/7 = 1, ce qui veut dire « tous les jours » : on pourrait avec autant d’exactitude, dire « trois jours sur trois » ou « 421/421 ». Dans tous les cas, le commerce en question vous reçoit « 5/5 ».

René Padieu