Bien des gens -- statisticiens ou non -- croient qu'il n'est pas possible d'obtenir des données valables sur les violations des droits de l'homme. En général c'est faux. Les problèmes qui rendent difficile la collection de données utilisées pour les droits de l'homme sont semblables à ceux qui se présentent dans beaucoup d'autres domaines.

Les analystes dans tous les domaines doivent traiter les problèmes suivants:

Mais cela ne veut pas dire qu'on ne peut pas utiliser les méthodes statistiques pour analyser ces données défectueuses; en fait, les statistiques peuvent s'utiliser pour l'analyse des données «mauvaises», incomplètes, ou faussées, de la même façon qu'on le ferait avec de bonnes données (1).

Se fier aux données sans se poser de questions n'est pas prudent et peut mener à de graves erreurs. Mais rejeter toute possibilité d'analyse de données de droits de l'homme à cause de leur problèmes propres est également imprudent et dangereux. En effet, si on pense ne pouvoir rien faire, avant d'avoir des données parfaites - il sera peut-être trop tard.

Toutes les données sont directement influencées par la définition de ce qui est à recueillir, par la façon dont elles sont recueillies, et par les défauts inhérents provenant du travail humain et, quelquefois, du travail des programmes des ordinateurs. L'exemple qui suit démontre ce que nous voulons dire. C'est le même que le premier exemple décrit dans le chapitre 1.

Exemple 2.1

Dans la discussion du rapport de Rafael Rivas Posada sur sa visite à Cuba (voir l'exemple1.1), on a constaté que la méthode statistique simple de mise en tableau donne un résumé numérique des 128 paragraphes numérotés qui apparaissent dans le rapport. Cela donne un chiffre, celui du nombre de situations spécifiques que le rapporteur des Nations Unies a enregistré. Notre table donne un aperçu de l'ampleur des conclusions de la Commission, mais cet aperçu provient de la façon dont ces 128 situations sont groupées. Certains paragraphes du rapport comprennent plus d'un cas individuel. Une autre méthode d'analyse du rapport des violations présumées, c'est-à-dire en comptant les cas individuels, produit un autre ensemble de données et un autre tableau.

Si on prépare un tableau du nombre de cas, c'est-à-dire, de personnes (de victimes) qui ont souffert d'une violation possible, on obtient d'autres données:

Question:

La plupart des problèmes de définition ne sont pas aussi simples à résoudre, ainsi que le démontre de l'exemple suivant.

Exemple 2.2

Dans cet exemple, quelle définition d' «exécutions politiques» faut-il utiliser - celle du gouvernement du Guatémala ou celle, par exemple, de Americas Watch? Celle de la milice locale ou celle des gens du village? La définition d'un employé de l'ambassade américaine qui n'a jamais vu le site du massacre présumé par les troupes du gouvernement ou celle d'un journaliste du New York Times qui s'est rendu sur place? (Dans le cas du massacre présumé, c'est l'équipe médico-légale qui a défini plus tard les «exécutions politiques» pour leurs propres desseins.) Comment le gouvernement du Guatémala définit-il «exécutions politiques»? Comment Americas Watch définit-il «exécutions politiques»? Comment définissez-vous ces mots?

La première, et la plus importante, tâche de tous ceux qui veulent rassembler des données sur les violations des droits de l'homme est de définir, d'avance, les mots importants. Et ceci, que ces données soient recueillies sur place, ou qu'elles proviennent de livres ou de documents officiels.

Exemple 2.3

La pauvreté a beaucoup d'aspects. Une femme en Afrique du Sud définit le mot ainsi: «La pauvreté, c'est ne pas savoir d'où va provenir votre prochain repas, c'est toujours se demander quand le conseil municipal va mettre votre mobilier dehors, c'est toujours prier pour que votre mari ne perde pas son travail»(4).

La pauvreté a évidemment un sens différent selon les pays. Une femme en Afrique du Sud a une idée différente d'un habitant célibataire des Etats-Unis de ce qui constitue la pauvreté. Un ouvrier spécialisé suisse va avoir une conception de ce que représente la pauvreté différente de celle d'un agriculteur en Equateur dont le salaire est à peine suffisant pour vivre.

En dépit des problèmes de définition, ceux qui s'intéressent aux droits économiques doivent évaluer le niveau de pauvreté pour pouvoir comparer les éléments suivants:

On peut avoir besoin de ces éléments pour étudier les effets de la politique économique, pour distribuer les resources, ou pour déterminer où les droits économiques et sociaux ont été violés. Pour atteindre ces buts, une seule définition de «pauvreté» acceptée d'avance est essentielle.

Pour atteindre ces buts, la complexité de la pauvreté est d'habitude ramenée à un seul chiffre, mais quel chiffre? Les Etats-Unis ont ramené la pauvreté à un chiffre; la définition de la Sud Africaine doit être ramenée à un niveau minimal de dépenses (un chiffre!) ou à des installations comme un système d'eau potable ou de latrines (que l'on peut aussi compter) «nécessaires pour assurer les besoins sanitaires et sociaux de base d'une famille (6).»

Même cette définition va évoluer avec le temps dans un pays donné, avec la structure sociale du pays, et parmi les divers observateurs dans le même pays. Toutefois, en dépit de ces problèmes, une mesure statistique de la pauvreté est établie par les gouvernements des nations et par un grand nombre d'organisations privées qui «établissent un niveau» de revenus, en dessous duquel une personne ou une famille est définie comme étant pauvre. On estime le nombre de pauvres en trouvant combien ( ou quelle proportion) de familles ont un revenu inférieur à ce niveau.

A cause des changements de ce niveau au cours du temps, des changements dans la conscience nationale de ce qui représente les besoins sanitaires et sociaux de base, et des différences entre les pays, il est essentiel de savoir quelle est la définition à utiliser avant de prendre une position ou d'émettre un jugement.

Exemple 2.4

Quel est le chiffre «juste»? Les deux chiffres sont ce que vous en faites, et leur valeur dépend de la façon dont les données ont été recueillies. On ne doit les utiliser qu'en se basant sur les meilleurs renseignements et sur la façon dont ils ont été obtenus.

Heureusement, le Statistical Abstract, dans l'introduction de la section où se trouvent ces deux exemples, précise que «Il y a deux méthodes principales pour calculer l'importance d'une activité criminelle». Le premier chiffre est basé sur les rapports mensuels et annuels de la police (Uniform Crime Reporting Program); l'autre chiffre est basé sur les rapports détaillés des crimes provenant directement des victimes (National Crime Survey).

Ce sont les victimes qui ont fourni ce taux de 60 par 100.000, et c'est des dossiers policiers que provient le chiffre de 41,2 par 100.000 plaintes enregistrées. Et, bien sûr, comme noté dans l'introduction, même dans les enquêtes auprès des victimes, tous les viols ne sont pas recensés.

Supposons maintenant qu'on prépare un rapport sur le nombre de femmes violées au cours des années. Quel chiffre choisira-t-on, 60 par 100.000 ou 41,2 par 100.000? Si on est fortement contre le viol et qu'on veuille proposer un projet de loi pour punir le viol par la peine de mort, est-ce qu'on choisirait le chiffre plus élevé pour convaincre les lecteurs? Ou bien si on veut peut-être montrer que le viol n'est pas un crime aussi terrible que d'autres, est-ce qu'on choisirait le chiffre le plus faible? De toute façon, si on n'utilise pas les deux chiffres, on est probablement partial.

La tâche la plus difficile de la statistique est d'obtenir les données de base, et de s'assurer que ce sont les meilleures données qu'on puisse obtenir dans les conditions courantes. Mais même dans des situations apparemment simples telles que les recensements nationaux dans les pays développés, les chiffres dérivés d'archives telles que celles des droits de douanes, ou les données venant d'hôpitaux ou d'usines, on trouve que l'obtention des données «propres» exige beaucoup d'efforts.

A long terme, toutefois, le succès dépend de la qualité des données de base. Voici pourquoi.

La perte de la confiance du public peut détruire la crédibilité d'un travailleur ou d'une organisation pour les droits de l'homme.

Le travail difficile nécessaire pour obtenir les données peut prendre bien des formes, comme le montrent les exemples suivants.

Exemple 2.5

Exemple 2.6

Cela peut être même un travail dangereux!

Exemple 2.7

L'outil le plus important, c'est le bon sens. Les chiffres doivent être compréhensibles dans le contexte de la situation. La première mesure de vérification des chiffres consiste à considérer s'ils sont consistants. Bien que cela soit quelquefois une activité très créatrice, n'importe qui peut le faire. Les gens qui ont une connaissance de la matière ont un avantage, et on devrait toujours demander l'aide de quelqu'un qui est au courant au sujet. Dans le cas des droits de l'homme, cela veut dire quelqu'un qui connaît les coutumes et langage(s) du pays ou de la région où l'enquête a lieu.

Exemple 2.8

La priorité est la recherche de validité. Compter le nombre de villages, de maisons,..., détruits est important, parce que cela peut prouver que le gouvernement détruisait systématiquement les villages. Mais avant d'accepter ces données, le travailleur pour les droits de l'homme doit se demander : «Comment sait-on que la liste est valable?»

Pour établir que la liste est juste, on peut étudier sa consistance en utilisant d'autres sources et d'autres rapports sur les villages détruits. Même si les documents ne sont pas complets ou s'ils contiennent des erreurs, les renseignements qu'ils contiennent peuvent être ajoutés à ce qui est déjà connu et peuvent être utilisés pour établir leur validité. Ces autres sources de renseignements peuvent comprendre:

Il serait idéal de pouvoir comparer les documents préparés par les gens du village à d'autres sources de renseignement et de se mettre d'accord sur des chiffres valables. Nous ne cherchons pas à vérifier à 100%, seulement dans une mesure suffisante pour établir que les documents des survivants de la région en question sont fondamentalement valables.

Il n'y a pas de formule magique pour établir la consistance de données et c'est une question qu'on doit toujours se poser.

Exemple 2.9

Les mesures étaient variables à tel point que la société fut accusée de manipuler les données ou de faire des mesures inexactes. Un expert qui fut consulté à cause de sa connaissance du procédé pensait qu'il était tout à fait improbable que de tels changements soient naturels, ou puissent être produits délibérément.

Quand le procédé fut étudié en détail, la direction découvrit que la personne qui lisait les instruments et enregistrait les données était un travailleur récemment immigré qui ne connaissait pas bien la langue du pays. Il écrivait les chiffres de telle façon que les employés les avaient fautivement enregistrés dans l'ordinateur.

En révisant soi-même son propre travail, on peut découvrir ou éviter beaucoup d'erreurs qui pourraient fausser les conclusions. Si ces erreurs apparaissaient dans vos rapports ou vos interventions, vous pourriez détruire la crédibilité du reste de votre travail.

Dans toute situation, il existe des moyens propres à la validation des données. Cependant, on trouve souvent les dates et les âges dans les travaux pour les droits de l'homme et ce sont de bons exemples d'une méthode de validation des données:

Exemple 2.10

Exemple 2.11

Vous pouvez examiner les données quand elles sont rassemblées pour vous assurer qu'aucune date n'est antérieure à 1988. De la même façon, vous devez vérifier les âges des criminels quand ils sont enregistrés pour vous assurer qu'un âge plus jeune que dix ans ne soit pas enregistré à moins qu'il ne soit valide. Et quand vous relisez vos rapports, vous pouvez -- et vous devez -- vérifier vos conclusions pour éviter que des erreurs de ce genre n'y apparaissent.

Il y a beaucoup de sources d'erreur systématique, et une liste de toutes les causes possibles ne pourrait pas être complète. Dans cette partie du chapitre, nous vous donnons une série d'exemples d'erreur systématique et, dans beaucoup de cas, montrons comment elle a été réduite.

Exemple 2.12

A cause des actes des criminels, vous ne pourrez parler à aucun homme de cet âge.Vos données vont contenir une erreur systématique parce qu'elles ne représentent pas les violations contre tous les gens du village, seulement contre les survivants qui ne sont pas d'âge à servir dans l'armée. C'est une erreur systématique que vous ne pouvez pas contrôler. Vous devez expliquer cette contrainte quand vous présentez votre rapport.

Ce type d'erreur systématique est si commun que les statisticiens lui ont donné un nom spécial, «l'erreur systématique d'exclusion». La population à étudier est la population originale des villages mais votre échantillon ne peut «inclure» que les survivants. Vous devez faire d'autres enquêtes et d'autres études pour trouver d'autres survivants, pour obtenir les documents administratifs des criminels, pour assembler les témoignages oculaires, ou pour parler à des transfuges gouvernementaux,...

Exemple 2.13

Quand on rassemble des données en utilisant des enquêteurs, l'interaction entre l'enquêteur et le sujet de l'enquête peut créer des erreurs systématiques. Dans cet exemple, les soldats noirs ne voulaient pas exprimer leur mécontentement aux enquêteurs blancs. Il y avait probablement plusieurs raisons pour cette réticence, raisons qui pouvaient toutes avoir un effet sur la réponse d'un soldat.

Exemple 2.14

Dans cet exemple, les personnes interrogées ont décidé d'essayer d'utiliser l'enquête pour leurs propres desseins. On ne peut venir à bout de ce genre d'erreur systématique qu'en vérifiant la consistance des données, ce que nous avons fait, ou qu'en trouvant d'autres sources de données pour valider les réponses. Heureusement, on peut vérifier de telles réponses fausses ou exagérées avec une quantité limitée de données supplémentaires - si on peut les obtenir.

Exemple 2.15

Les gens ont du mal à surmonter leurs préjugés culturels. Même quand vous faites l'effort d'être objectif, il peut y avoir des erreurs systématiques dans les données ou dans la conclusion des rapports qui vont soutenir votre point de vue. Même quand les questions sont valables et les réponses honnêtes, l'enquêteur peut enregistrer des résultats qui contiennent une erreur systématique. Cela peut provenir d'attitudes culturelles (comme ci-dessus), mais cela peut aussi provenir d'inattention, de manque de compréhension, ou des difficultés de l'heure (comme dans les régions où il y a des combats).

Exemple 2.16

Les problèmes de mémoire sont courants. On pose parfois des questions qui exige trop de la mémoire de l'interrogé. Surtout, quand les documents écrits n'ont pas été préservés et quand les événements se sont déroulés très rapidement, on doit s'attendre à ce que les répondants éprouvent de grandes difficultés à répondre aux questions concernant les événements passés. Dans l'exemple ci-dessus, l'enquêteur a trouvé une solution élégante: il a demandé aux habitants de s'imaginer qu'ils se promenaient dans les rues en regardant de près chaque maison. Ensuite il leur a demandé de penser aux habitants de la maison qui avaient été emmenés et qui n'étaient pas revenus.

Exemple 2.17

Un enquêteur expérimenté de ce pays s'est joint au groupe. Il savait que les villageois dataient les événements à partir de certaines catastrophes comme les famines, les inondations, les ouragans, la disette, les guerres, les épidémies, etc. Il connaissait suffisamment la région et son histoire pour pouvoir faire correspondre les dates des villageois à celles du calendrier occidental.

L'erreur systématique est possible non seulement dans le domaine des enquêtes sur le terrain mais aussi dans toute situation de cueillette des données. Certaines personnes (ou

gouvernements et certaines organisations) ont un préjugé idéologique qui va influer sur les données à recueillir, sur la façon de les enregistrer, sur les sujets choisis pour les rapports et sur le contenu des rapports.

Exemple 2.18

Il n'y a pas de formule magique pour éliminer l'erreur systématique. On doit toujours être sensibilisé à la possibilité et travailler pour en éviter la présence.

Même si aucune erreur systématique ne semble avoir influencé les données ou leur analyse, les documents publiés peuvent être incomplets ou incompatibles avec d'autres sources. Quand les données ne sont pas disponibles, certains auteurs utilisent des estimations ou bien les dernières données disponibles. Souvent les auteurs de données chiffrées sont bien au courant de ces problèmes. Avec grand mérite, beaucoup d'éditeurs gouvernementaux et privés avertissent les lecteurs de ces problèmes dans leurs rapports, comme le montre l'exemple suivant.

Exemple 2.19

On peut comprendre les limitations des données publiées si on sait ce à quoi il faut faire attention et si on lit les notes. Nous soulignons qu'on peut concilier les différents chiffres et évaluer la qualité des données publiées en utilisant les notes et les commentaires des prologues, qui se trouvent dans beaucoup de rapports. Mais encore faut-il s'efforcer de les trouver.

Et si on fait l'effort nécessaire, on trouve souvent l'explication des conditions spéciales qui s'appliquent aux données rapportées ou publiées.

Les enquêteurs qui travaillent sur le terrain sont conscients d'une autre sorte d'erreur: dans beaucoup de cultures, les gens n'ont pas l'habitude de compter et de mesurer.

Dans certaines cultures agricoles, les comptes et les mesures précis sont presque inconnus, ce qui peut ne pas être un problème pour survivre et même pour réussir dans cette culture, mais qui peut compliquer la tâche de l'enquêteur à la recherche de chiffres exacts. Dans les sociétés industrialisées, quoique les chiffres et les mesures précis soient importants, bien des gens ne pensent même pas à compter ou à mesurer. Dans ces deux situations, l'enquêteur doit faire tout l'effort possible pour vérifier que les données sont exactes.

Les recherches pour les erreurs de ce genre doivent avoir lieu au même endroit que les entrevues.

Exemple 2.20

Les enquêteurs expérimentés ne se font pas prendre à ce piège. Plusieurs parmi nous savent quand les chiffres que l'on leur présente sont créés pour leur faire plaisir et n'ont pas de rapport avec la réalité. Mais pour être capable de faire cette vérification capitale pendant la cueillette des données, il faut que l'enquêteur ait un niveau élevé de sensibilisation et, ce qui est plus important, une connaissance complète de la culture et de la langue locale.

Que faire si les enquêteurs n'atteignent pas ce niveau élevé? S'il faut utiliser des enquêteurs qui n'ont qu'une connaissance théorique du pays et qui doivent avoir recours à interprètes, il faut agir comme suit:

On peut souvent demander d'avance le service de gens qui ont travaillé dans la même région et qui peuvent vous fournir une aide fiable.

Si vous faites une enquête pour recueillir des données, faites de votre mieux pour suivre les règles ci-dessus. Une enquête bien conçue peut aborder des sujets difficiles en posant la même question de plusieurs façons. L'enquêteur peut alors vérifier la consistance des réponses comme nous l'avons décrit plus haut dans ce chapitre. On doit surtout tester l'enquête avant de la faire sur le terrain. Pour ce faire il faut l'essayer sur plusieurs personnes et évaluer leur façon de réagir. (Ne pas oublier qu'il existe des spécialistes dans la conception d'enquêtes. Il faut demander leur aide.Voir la préface pour plus de détails.)

1. Les données qu'on recueille dépendent de la façon dont elles sont recueillies.

2. Ne rien accepter a priori, puisque toutes les données peuvent avoir les problèmes suivants:

3. Ces problèmes ne constituent pas une raison de rejeter des données sur les droits de l'homme; il faut faire le maximum pour les résoudre.

4. Vous devez savoir d'avance qu'obtenir des données valables va être la tâche la plus difficile.

5. Le succès de vos efforts dépend de la qualité des données de base:

6. Vérifier d'abord la validité des données.

7. Pour qu'on puisse corriger les erreurs d'enregistrement, de transcription, d'entrée dans l'ordinateur, et de calcul, il faut connaître la qualité requise des données.

8. Il faut s'attendre à trouver des erreurs systématiques dans les données pour les raisons suivantes:

9. Il faut lire toutes les notes et remarques supplémentaires et reconnaître les erreurs ou les imprécisions qui peuvent se trouver dans les données.

2.1. Une organisation privée, Les Prisonniers Politiques du Monde (PPM), veut commencer une campagne de lettres en faveur des prisonniers politiques. Fournissez une définition de «prisonnier politique» (par écrit).

2.2. Décidez pour les PPM si les cas individuels suivants sont des prisonniers politiques à partir de votre définition de l'exercice 2.1. Faites un cercle pour chaque décision, «Oui» ou «Non» en utilisant les colonnes de droite. La liste de délits provient de situations réelles. Prenez note qu'il n'y a pas de colonne pour «peut-être». Vous devez faire un choix.