Revue par les pairs (peer-review)
rationalité sciences note-ébauche
📰 CAMPANARIO, Juan M. (2009, April 16). “Rejecting and resisting Nobel class discoveries: accounts by Nobel Laureates.” Scientometrics, 81:549–565. http://dx.doi.org/10.1007/s11192-008-2141-5
Abstract:
I review and discuss instances in which 19 future Nobel Laureates encountered resistance on the part of the scientific community towards their discoveries, and instances in which 24 future Nobel Laureates encountered resistance on the part of scientific journal editors or referees to manuscripts that dealt with discoveries that later would earn them the Nobel Prize.
📰 HEESEN Remco, BRIGHT, Liam Kofi. (2021, September). “Is Peer Review a Good Idea?“. The British Journal for the Philosophy of Science, 72(3):635-663.https://doi.org/10.1093/bjps/axz029
Abstract:
Prepublication peer review should be abolished. We consider the effects that such a change will have on the social structure of science, paying particular attention to the changed incentive structure and the likely effects on the behaviour of individual scientists. We evaluate these changes from the perspective of epistemic consequentialism. We find that where the effects of abolishing prepublication peer review can be evaluated with a reasonable level of confidence based on presently available evidence, they are either positive or neutral. We conclude that on present evidence abolishing peer review weakly dominates the status quo.
https://x.com/M3NTAL15M/status/1854391150297407666/photo/1
“The gold standard of science is not peer review; it is independent replication. Peer review acts as a pre-publication sanity check, not a verification process. Reviewers examine whether the methods are described clearly enough to be understood, whether the reasoning is internally consistent, and whether the conclusions follow from the data as presented. They may flag statistical or methodological errors, suggest additional controls, or request clarification of assumptions. However, they rarely have access to the raw data, code, or instruments, and even when they do, time constraints make independent verification impractical. As a result, peer review ensures that a study looks credible on paper, not that its results are actually correct. By contrast, independent replication is where science truly tests itself. When other researchers -using their own data, instruments, and methods - arrive at the same result, confidence in the original claim strengthens dramatically. If the effect cannot be replicated, it usually means the original finding was flawed, overstated, or dependent on unrecognized conditions. This is why reproducibility and transparency have become central values: open data, open code, and detailed methodological reporting allow others to repeat and verify work efficiently. In short, peer review filters ideas, while replication validates them. The first guards against obvious error and nonsense; the second distinguishes what merely appears true from what is true.” https://x.com/MickWest/status/1980701059019599976
Article à rédiger
3. KHALEL CONFOND HEURISTIQUE ET PREUVE
3.1. Ignorer n’est pas réfuter
Khalel reproche au CTMU d’être largement ignoré par les sociétés savantes :
Il est largement ignoré […] par les physiciens, philosophes et logiciens académiques
Avant d’être considérée et éventuellement validée par une société savante, toute thèse a nécessairement été ignorée par celle-ci, que ce soient quelques minutes, jours, mois ou décennies. Si le fait qu’une thèse soit ignorée par une société savante était la preuve de sa fausseté ou de son invraisemblance, alors aucune thèse n’aurait dû et ne devrait être rationnellement validée par une telle société.
Khalel est prompt à défendre des thèses parce qu’elles ont été validées par des sociétés savantes, tout en défendant un critère de validité selon lequel, après élucidation, aucune thèse ne devrait être validée par une société savante.
Ce paradoxe pour le moins affligeant conduit légitimement à se demander si Khalel possède un discernement minimal qui lui permettrait de distinguer son coude de son genou.
L’on peut émettre des hypothèses sur les raisons pour lesquelles le CTMU est relativement ignoré par les sociétés savantes de philosophie, quoiqu’il ait été dûment publié dans une revue à comité de lecture :
- Christopher Langan n’a pas d’affiliation universitaire et se voit donc refuser les publications dans les revues à comité de lecture à fort impact,
- les philosophes académiques n’ont déjà pas suffisament de temps pour lire les publications philosophiques publiées quotidiennement dans les revues à fort impact, pour prendre le temps de lire les travaux d’amateurs,
- Pour augmenter leurs scores bibliographiques, les philosophes académiques sont incités à ne pas citer de travaux d’amateurs,
- Les philosophes académiques ont un biais élitiste qui les amène à estimer trop improbable qu’un amateur puisse produire des travaux pertinent, pour daigner les considérer.
- L’idéologie de gauche est surreprésentée parmi les philosophes académiques qui, lorsqu’ils entendant parler du CTMU, tentent de l’évaluer superficiellement par une heuristique inepte consistant à se rendre sur la page Wikipédia de son auteur, Christopher Langan, sur laquelle il est qualifié de raciste, antisémite, eugéniste, complotiste et pro-Trump, dissuadant ces mêmes chercheurs de lire ses travaux.
3.2. Rejeter n’est pas réfuter
Khalel reproche au CTMU d’être largement rejeté par les sociétés savantes.
Il est largement critiqué […] par les physiciens, philosophes et logiciens académiques
Khalel reproche d’une part au CTMU d’être largement ignoré par les sociétés savantes, et d’autre part d’être largement critiqué par ces mêmes sociétés. Or, on ne peut logiquement pas critiquer ce que l’on ignore — Khalel est capable de paradoxes plus stupéfiants les uns que les autres.
Par ailleurs, Khalel n’apporte aucune preuve de cette nouvelle allégation — comment le pourrait-il : il n’existe en effet aucune publication académique contre le CTMU.
L’on trouve tout au plus quelques posts sur des forums Web, des critiques superficielles maintes fois réfutées, d’individus généralement anonymes qui, les rares fois où ils ont une véritable formation académique, s’expriment en dehors de leur domaine de compétence (informatique, physique ou mathématique) lorsqu’ils évaluent une telle thèse de philosophie métaphysique.
Et la plupart de ces critiques non académiques ne font, comme Khalel et Magalie, qu’accuser le CTMU d’être un charabia opaque sans jamais le prouver.
L’histoire des sciences nous enseigne que les communautés savantes rejettent parfois longuement (jusqu’à 50 ans pour la théorie de la dérive des continents de Wegener) des découvertes à fort impact — parmi les plus importantes pour le progrès scientifique — avant de finir par les admettre. Quelques exemples historiques :
TODO : trier le tableau pour negarder que les découvertes qui étaient illégitimement rejetéées (par exemple, il paraît que le rejet dez Wegener était légitime car manquait de preuves).
TODO-trier cas historiques les plus fiables.
La pratique des revues à comité de lecture (peer review), acceptant ou rejetant des études, comme outil des sociétés savantes afin d’évaluer la qualité des études, n’a pris son essor qu’à partir des années 60.
Aujourd’hui, les recherches en scientométrie (la science qui évalue l’efficience des institutions scientfiiques), histoire des sciences, sociologie des sciences et philosophie des sciences, admettent consensuellement qu’il n’y a pas de preuve empirique de l’efficacité des revues à comité de lectrure et, au contraire, des preuves considérables de leurs défauts :
“we have little evidence on the effectiveness of peer review, but we have considerable evidence on its defects” (Smith, 2006, p. 179).
Ironiquement, ceux qui, comme Khalel, prétendent défendre la science en ne jurant que par les revues à comité de lecture, commettent un acte de foi pseudo-scientifique.
Voici quelques exemples de biais des revues à comité de lecture mis en évidence dans la recherche :
-
Biais de prestige/institutionnel :
favorise les travaux d’auteurs célèbres ou issus d’institutions prestigieuses, comparé au doube-aveugle (Peters & Ceci, 1998 ; Tomkins et al., 2017). -
Biais de nationalité/langue : favorise les travaux d’auteurs de certaines nationalités (Link, 1998 ; Song et al., 2000 ; Murphy, 2009 ; Manlove & Belou, 2018).
-
Biais idéologique :
favorise les agendas politiques sur la rigueur scientifique (Sokal, 1996 ; Beauchamp, 2018 ; Grievance Studies Affair, 2018). -
Biais financier : accepte des études absurdes pour gonfler des CV d’autreurs, ou pour des gains financiers des revues, jusqu’à 52% d’études fausses acceptés pour les revues les plus prédatrices (Labbe et al., 2013 ; Bohannon, 2013).
-
Biais de reproductibilité : plus de 50% de résultats faux positifs dans de nombreux domaines (Ioannidis, 2005 ; Prinz et al., 2011 ; Open Science Collaboration, 2015).
Deux biais sont particulièrement discréditants en soi :
- Biais contre l’innovation :
favorise les résultats confirmant le statu quo, au détriment des études révolutionnaires à fort impact (Koheler, 1993 ; Mahoney, 1997 ; Campanario 2009).
Selon l’historien des sciences Thomas Kuhn, il existe deux types de découvertes scientifiques : celles qui prolongent un paradigm ; et celles, à plus fort impact, qui avancent un nouveau paradigme en bouleversant le précédent.
Les revues à comité de lecture ont une tendance au biais de confirmation contre l’innovation qui entrave l’acceptation des découvertes à plus fort impact qui bouleversent les paradigmes — précisément les découvertes les plus importantes pour le progrès scientifique.
Cas d’étude scientométrique exemplifiant ce biais :
Campanario, J. M. (2009, April 16). “Rejecting and resisting Nobel class discoveries: accounts by Nobel Laureates.” Scientometrics, 81:549–565. http://dx.doi.org/10.1007/s11192-008-2141-5
Abstract:
I review and discuss instances in which 19 future Nobel Laureates encountered resistance on the part of the scientific community towards their discoveries, and instances in which 24 future Nobel Laureates encountered resistance on the part of scientific journal editors or referees to manuscripts that dealt with discoveries that later would earn them the Nobel Prize.
- Biais d’accord inter-relecteurs :
Le degré de concordance entre différents relecteurs évaluant la mème étude est très faible, à peine supérieur à une évaluation aléatoire *(Lee et al. 2013 ; Bornmann et al., 2013).
Un accord élevé entre différents relecteurs indique que les évaluations sont cohérentes et (si les relecteurs ne sont pas dans une chambre d’écho) objectives.
A contrario, un désaccord élevé entre relecteurs tel que mis en évidence dans les études scientométriques indique que les évaluations sont subjectives.
Tous ces biais majeurs conduisent de plus en plus de scientomètres et philosophes des sciences à suggérer d’abandonner le système de revues à comité de lecture :
📰 Heesen, R., Bright, L. K. (2021, September). “Is Peer Review a Good Idea?“. The British Journal for the Philosophy of Science, 72(3):635-663.https://doi.org/10.1093/bjps/axz029
Abstract:
Prepublication peer review should be abolished. We consider the effects that such a change will have on the social structure of science, paying particular attention to the changed incentive structure and the likely effects on the behaviour of individual scientists. We evaluate these changes from the perspective of epistemic consequentialism. We find that where the effects of abolishing prepublication peer review can be evaluated with a reasonable level of confidence based on presently available evidence, they are either positive or neutral. We conclude that on present evidence abolishing peer review weakly dominates the status quo.
Dans certains domaines scientifiques, nombre de chercheurs abandonnent déjà le système de revue à comité de lecture et privilégient désormais les plateformes de prépublications (preprints), le partage dans des réseaux de confiance et l’emploie de nouveaux outils tels que PubPeer et AlphaXiv permettant à tous pairs de critiquer continument des études.