La preuve et les 2 risques

L'absence de preuves en matière d'ovnis est une objection fréquente qui sert souvent à mettre un terme rapide à toute discussion sérieuse sur le sujet s1Comme le montraient les déclarations de l'astronome J. Heidman : Il n'existe aucun cas d'ovni à ce jour qui soit suffisamment bien étayé pour attester scientifiquement que cet objet provient d'une civilisation extraterrestre. Je ne dis pas que nous ne puissions pas, demain, recueillir un témoignage incontestable, mais cela ne s'est encore jamais produit. (p. 55), in Heidman, J. & Vidal-Majar A., Prantzos N. & Reeves, H.: Le Jeu de la science et du hasard, Flammarion, 1994. La notion de preuve est implicitement attachée à une hypothèse non conventionnelle, en particulier physique, et souligne la prééminence de cette approche dans l'esprit de la plupart des scientifiques même critiques. La mise en évidence d'un tel phénomène physique peut se faire de diverses façons. Je n'en envisagerai qu'une seule ici, celle de ses effets observables sur l'environnement. On sait que des effets plus ou moins persistants sur le sol, la végétation, les témoins eux-mêmes ont été parfois signalés et ont donné lieu à quelques analyses. Il parait donc intéressant de suivre cette piste.

Une observation détaillée et cohérente accompagnée, au même lieu, d'un effet physique, chimique ou biologique particulier peut-il constituer une "preuve" ? Pas nécessairement, parce que la probabilité n'est pas nulle que l'effet observé ait, par coïncidence, une autre cause que celle ayant provoqué l'observation, cause qu'on a pas pu clairement caractériser, voire à laquelle on a pas pensé. Le jugement est encore compliqué par l'intervention d'autres facteurs tels que la qualité de l'"inventeur" de la preuve, la nature du phénomène, et la ou les théories susceptibles de l'accueillir (ou non). On voit bien que la notion de preuve universellement probante est difficile à manier et plutôt décourageante en pratique. Il est tentant d'en demander toujours plus, ce qui est légitime ; ce qui l'est moins c'est de tirer argument de l'absence de certitude pour ne rien faire.

Il est facile de s'en convaincre en s'appuyant sur la théorie de la décision en statistiques mathématiques s2Voir par exemple : Escofier, B. & Pagès, J.: Initiation aux traitements statistiques, Presses Universitaires de Rennes, 1997 (notamment pp. 251-252), et Schwartz, D.: Le Jeu de la science et du hasard, Flammarion, 1994. Voici l'essentiel. On désire étudier un phénomène, par exemple comparer l'effet de 2 médicaments. La difficulté provient du fait que, pour une multitude de raisons, chaque patient réagit de manière différente aux médicaments. Cela crée un bruit de fond aléatoire qui peut accroître ou diminuer l'effet du médicament. L'hypothèse testée, dite "hypothèse nulle" H0 est par exemple "le nouveau médicament B n'est pas meilleur que le médicament A" contre une hypothèse alternative, dénotée H1 ("B est meilleur que A"). On convient que B est meilleur que A si le nombre de patients nB guéris par B est plus grand que celui nA guéris par A. Toute la question est de savoir à partir de quelle valeur nB sera considéré comme significativement plus grand que nA. En pratique dans ce genre d'expériences on peut rarement prouver avec une absolue certitude que H0 est ou n'est pas vraie. Si la différence n- nA est grande vis-à-vis de la variabilité des mesures on sera incité à la rejeter. Néanmoins il demeure une petite possibilité que ce soit l'effet du hasard. En fait, et on en arrive ici au point important, on peut commettre 2 types d'erreurs : on peut rejeter H0 alors qu'elle est vraie (erreur dite de la 1ère espèce) ou bien accepter H0 alors qu'elle est fausse (erreur dite de 2nde espèce). La théorie mesure ces risques par des probabilités notées α et β. Ces 2 types d'erreur dépendent l'une de l'autre : si on réduit la probabilité α de l'erreur de la 1ère espèce alors la probabilité β de l'erreur de 2nde espèce s'accroît. Un bon test statistique est celui qui minimise les 2 types d'erreur.

On peut comprendre cela de manière intuitive en imaginant le servent d'un poste de tir de missiles contre avions. Il est survolé par des avions amis mais risque l'attaque par des avions ennemis. Il peut minimiser le risque d'être détruit en tirant sur tous les avions, amis ou ennemis (mais il risque le conseil de guerre), ou bien minimiser le risque d'abattre un ami en ne tirant jamais (mais il risque d'y perdre la vie). C'est une situation saine car elle tiraille, si je peux dire, le servant entre 2 extrêmes et le conduit à rechercher pragmatiquement un optimum (de temps de guerre en l'occurrence !).

Revenons aux ovnis. Le parallèle est aisé. L'hypothèse nulle H0 peut être par exemple "Il n'y a rien de nouveau, les observations résultent toutes de méprises, etc." et l'hypothèse alternative H1 "Certaines observations décrivent un phénomène nouveau dont la nature exacte reste à préciser". On voit que la stratégie traditionnelle qui consiste à être très exigeant en refusant toute discussion sérieuse tant qu'une preuve forte n'aura pas été obtenue, est équivalente à prendre α aussi petit que possible : on ne veut surtout pas risquer de reconnaître à tort l'existence d'un phénomène nouveau. Mais ce faisant on augmente considérablement le risque de ne pas reconnaître un phénomène nouveau alors même qu'il est présent. Bien qu'on ne puisse pas, dans le cas d'espèce, déterminer précisément les risques α et β, cette analyse suggère que l'attitude scientifique courante en matière d'ovnis n'est pas optimale parce qu'elle ne respecte pas l'équilibre des 2 risques.

Pourquoi en est-il ainsi ? On peut en chercher la raison dans le contexte. Dans l'exemple des missiles ou des médicaments, les intervenants sont sont concrêtement soumis aux 2 risques : s'il y a erreur, dans un sens ou dans l'autre, il y a des sanctions visibles. Le contexte incite donc à équilibrer les risques. Il en va différemment en matière d'ovni car l'attentisme ne présente apparemment aucun inconvénient, alors qu'on voit bien le risque de se tromper, pour sa réputation personnelle, pour la société dont on redoute les réactions imprévisibles s3Ce danger est souvent illustré par l'émission radio d'O. Welles de 1938. Voir Cantril, H.: The invasion from Mars. A study in the psychology of panic with the complete script of the famous Orson Welles broadcast, Princeton University Press, 1940, ou pour toute autre raison, si bien que seul 1 des risques (généraliser à tort) est pris en compte, pas l'autre (ne pas généraliser, alors qu'il faudrait). Cette attitude de "de temps de paix"α petit donc β grand) introduit un biais qui vient altérer les conclusions. Dans une prise de décision équilibrée, la question-clé ne serait pas de savoir si une preuve certaine a été obtenue mais de savoir si les résultats disponibles sont de nature à justifier ou non la poursuite des travaux. L'attitude attentiste courante, qui n'estime pas nécessaire d'entreprendre quelques travaux que ce soit, repose sur le postulat implicite que le dossier ne mérite même pas d'être discuté ou bien qu'une preuve pourrait être obtenue du jour au lendemain, par bonne fortune, sans investissement notable des chercheurs concernés. Certes on peut bénéficier d'une série de circonstances favorables et obtenir une preuve inattendue, simplement c'est peu probable et il n'est pas de bonne pratique scientifique de compter sur la chance.

On sait l'affirmation de Pasteur : la chance favorise seulement les esprits préparés.

Il n'est pas difficile d'illustrer ce propos. Pour que des mesures physico-biologiques du genre considéré ici puissent être obtenues à la suite d'un événement se produisant à proximité du sol il faut remplir une série de conditions. En voici une liste : il faut

  1. la présence d'au moins 1 observateur attentif et sérieux
  2. que celui-ci rapporte l'événement
  3. que la zone ne soit pas modifiée par piétinement ou autre
  4. que des enquêteurs soient sur les lieux dans les 24 ou 48 h
  5. qu'ils sachent quoi faire
  6. que les échantillons soient communiqués à des laboratoires intéressés et des analyses faites
  7. que des effets soient découverts
  8. que des expériences complémentaires soient menées pour interpréter les effets.

Cette liste, non limitative, montre s'il en était besoin qu'il y faut une organisation et une volonté. La venue rapide sur les lieux d'enquêteurs compétents suppose une organisation et quelques moyens, quant à la compétence elle ne peut s'acquérir qu'à l'expérience, c'est-à-dire en se fondant sur d'autres enquêtes antérieures. Les analyses sur le terrain et de laboratoire ne peuvent être fructueuses qu'à condition d'avoir été préparées, ce qui suppose l'intervention de spécialistes divers dans un contexte original. Supposons pour fixer les idées que chacune des 8 étapes ait une probabilité de succès de 0,5, on n'aura au total que 4 chances sur 1000 d'aboutir à une conclusion bien étayée. Autrement dit, il faudrait 250 événements favorables pour un résultat positif, soit 25 ans d'attente en moyenne à raison de 10 événements favorables par an ! On comprend pourquoi il n'y a pas lieu d'être surpris, non pas seulement de l'absence de preuves, mais même de l'extrême rareté de données physiques. C'est une idée naïve que de croire que des données informatives et fiables pourraient être apportées sur un plateau d'argent. En réalité, elles ne pourront être obtenues que par des chercheurs suffisamment motivés par le problème pour y consacrer du temps, de l'énergie, de la réflexion et quelques moyens.

Résumons-nous. Les plus intéressantes des enquêtes faites n'aboutissent pas à une dissolution des cas mais à un constat de non-réduction. Elles suggèrent (mais ne prouvent pas) que les observateurs ont décrit un événement réel ayant les apparences d'un phénomène physique. L'argument d'équilibre des risques incite à poursuivre les investigations car seule une stratégie studieuse de progrès par petits pas, visant par exemple à améliorer chacun des points de la liste précédente, peut porter un jour ses fruits. Si cette approche n'est pas (mieux) suivie c'est qu'elle rencontre des obstacles. Tentons de les préciser.