Commit 69c09267 authored by HOCQUET Alexandre's avatar HOCQUET Alexandre 🎯
Browse files

Upload New File

parent 6454ec4b
TL;DR
-----
La reproductibilité est donc multiiforme et dépendante du contexte mais elle est aussi différente selon les domaines scientifiques. Différente sur comment elle est perçue et est mise en place mais aussi différente sur son importance et sa normativité.
Les catégories de Leonelli
--------------------------
Sabina Leonelli est une philosophe des sciences qui s'intéresse à la "data-centric biology" (selon sa propre expression, c'est à dire à l'activité scientifique dans les sciences de la vie à l'ère des big data). Elle étudie ce qu'elle appelle les voyages des données. Les données, jamais "brutes", contiennent en elles toutes les théories, conditions, protocoles, biais, cultures qui ont servi à leur production et leur réutilisation se fait toujours dans d'autres conditions, par des chercheurs appartenant à d'autres cultures. Pour ce qui est de la reproductibilité, dans la même veine consistant à tenir compte des différentes cultures épistémiques de différents domaines scientifiques, Leonelli propose six catégories d'activités scientifiques pour lesquelles "reproductibilité" n'a pas forcément le même sens ni la même importance. (Leonelli 2018)
### 1 Computational Reproducibility
La reproductibilité computationnelle est la première envisagée par Leonelli parce qu'elle lui semble la plus simple à coller à une définition qui ne pose pas de problème. *A research project is computationally reproducible if a second investigator [..] can recreate the final reported results of the project, including key quantitative findings, tables, and figures, given only a set of files and written instructions.* On y trouve une vision de ce qu'est le computationnel restreint au traitement de données, et la question statistique y est implicitement agrégée. (Voir le chapitre 5 "reproductibilité computationnelle" pour une discussion sur les problèmes que cela pose). Pour Leonelli, il s'agit du seul domaine où une reproductibilité "absolue" est à la fois envisageable et souhaitable.
### 2 Direct Experimental Reproducibility: Standardised Experiments
La deuxième catégorie concerne la reproductibilité expérimentale que Leonelli nomme "directe". Elle concerne les expériences qui sont les plus facilement maîtrisables (elle cite les **essais cliniques en médecine** ou la **physique des particules**) et ou, par conséquent, la reproductibilité est un canon de l'activité scientifique : elle est désirée et essentielle. Dans cette catégorie, contrairement (selon elle) à la première, *The circumstances of data production are, by contrast, a primary concern for experimentalists*. Ces domaines sont caractérisés par un gros contrôle sur les conditions, une attente de reproductibilité sur les patterns plutôt que sur les données exactes sortantes, et typiquement sur l'utilisation de la statistique pour trancher quant à ces patterns.
### 3 Scoping, Indirect and Hypothetical Reproducibility: Semi-Standardised Experiments
Dans sa troisème catégorie, *methods, set-up and materials used have been construed with ingenuity in order to yield very specific outcomes, and yet some significant parts of the set-up necessarily elude the controls set up by experimenters*. Cela concerne par exemple la recherche sur les **organismes modèles** (rats de labo), la **psychologie sociale**, ou la **neuroscience** : toutes ces activités scientifiques ont en commun d'être impossibles à standardiser complètement. Les conclusions intéressantes proviennent justement de ce qui est "non-standardised" dans ces expériences, comme par exemple la répétition chez Fontana pour l'étude de la variabilité dans l'effet des morsures de vipères , alors que la répétition chez Redi n'a d'autre but que de gérer l'aléatoire. (Schikore 2011). Dans cette catégorie un peu fourre-tout, Leonelli propose que la reproductibilité la plus significative se trouve dans la *convergence across multiple lines of evidence,even when they are produced in different ways,is a mark of reliable research*, ce que les historiens des sciences ont appelé la triangulation ou la robustesse (Cartwright, 1991) : Arriver à des conclusions cohérentes entre elles à partir d'expériences qui n'ont rien à voir entre elles.
### 4 Reproducible Expertise: Non-Standard Experiments and Research on Rare Materials
La catégorie suivante s'intéresse à l'exceptionnalité : *cases where experimenters are studying new objects or phenomena (new organisms for instance) and/or employing newly devised, unique instruments that are precisely tailored to the inquiry at hand*. Dans ces situations, Le fait d'être significatif est moins lié au contrôle des conditions expérimentales qu'à l'expertise de la gestion des conditions exceptionnelles : *focus less on controls and more on developing robust ways of evaluating the effects of their interventions and the relation between those effects and the experimental circumstances at the time in which data were collected*. Ce sont les sciences du rare qui sont ici concernées : en **archéologie**, la répétiton est tout simplement impossible et sans objet. *uniqueness and irreproducibility of the materials is arguably what makes the resulting data particularly useful as evidence*. Dans cette catégorie, la vertu épistémique se trouve dans l'expertise : *reproducible expertise [...] as the expectation that any skilled experimenter working with the same methods and the same type of materials at that particular time and place would produce similar results.*
### 5 Reproducible Observation: Non-experimental case description
Les deux dernières catégories concernent les sciences de l'observation : *surveys, descriptions and case reports documenting unique circumstances*. L'expertise y est encore une fois clé pour l' "observation reproductible". *Reproducibility of observation [is] the expectation that any skilled researcher placed in the same time and place would pick out, if not the same data, at least similar patterns*. Leonelli cite la **sociologie** mais aussi la **radiologie** : *structured interviewing, where researchers devise a relatively rigid framing for their interactions with informants; and diagnosis based on radiographies, resonance scans and other medical imaging techniques.*
### 6 Irreproducible Research: Participant Observation
Enfin la dernière catégorie traite des activités scientifiques où *the idea of reproducibility has been rejected in favor of an embrace of the subjectivity and unavoidable context-dependence of research outcomes*. En **anthropologie**, la reproductibilité n'a pas de sens : *[Anthropologists]* *cannot rely on reproducibility as an epistemic criterion for data quality and validity. They therefore devote considerable care to documenting data production processes and strategizing about data preservation and dissemination*. Là où la reproductibilité n'a pas de sens, les communautés scientifiques font reposer leur crédibilité sur d'autres vertus épistémiques. La réflexivité, par exemple, (dont de nombreuses sciences pourraient s'inspirer). *Ethnographic work in anthropology, for instance, has developed methods to account for the fact that data are likely to change depending on time, place, subjects as well as researchers’ moods, experiences and interests. Key among such methods is the principle of reflexivity, which requires researchers to give as comprehensive a view of their personal circumstances*
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment