Bio et santé : je ne sais qu'une chose, c'est que je ne sais rien
Posté le 01/10/2020 à 18:56
Dans ce billet, l’objectif sera de raisonner sur les potentiels bienfaits sur la santé d’une alimentation issue de l’agriculture biologique par rapport à une alimentation conventionnelle. En particulier, un fil Twitter (1) a attisé ma curiosité. Pour ne pas forcer le lecteur à jongler entre les différents sites, je me permets de résumer le fil ici, bien que j’invite chacun à vérifier que je n’aurais pas travesti les propos.
L’auteur du fil, @ethalises (2), propose de répondre à la question « Est-ce que l’alimentation bio est meilleure pour la santé que l’alimentation issue de l’agriculture conventionnelle ». Pour justifier cette démarche, il pointe du doigt un certain nombre de personnes (« experts journalistes », « zététiciens » et « sceptiques ») qui prétendraient qu’au mieux on ne saurait pas répondre à la question, et qu’au pire on saurait que la question peut être répondue par la négative. @ethalises rebondit sur quelques tweets d’exemples en indiquant que les personnes citées devraient tenir à jour leur connaissance de la littérature scientifique et pointe notamment deux études qu’il compte utiliser pour soutenir son raisonnement. Ces deux études, l’une anglaise, l’autre française, ont comme point commun de mettre en évidence une baisse significative des lymphomes non hodgkyniens (LNH) chez les plus gros consommateurs de produits bios. L’étude française montrerait, en plus, une réduction significative du nombre de cancers en général chez les consommateurs de produits bios. @ethalises conclut, à la lumière de ces deux études, que l’alimentation issue de l’agriculture « bio » est meilleure pour la santé que l’alimentation issue de l’agriculture conventionnelle.
Si je ne me considère ni comme « expert journaliste », ni « zététicien », ni encore comme « sceptique », j’ai sans aucun doute pu tenir par le passé des propos tels que ceux que pointent @ethalises dans les premiers tweets de son thread. J’ai donc décidé de soumettre mes croyances à un examen poussé : et si @ethalises avait raison ? La démarche que je propose de suivre dans ce billet est la suivante :
Avant de mettre en œuvre la stratégie exposée plus haut, il me semble important de dénoncer une injustice. En effet, dans le fil en question, un certain nombre de personnes sont « attaquées » de manière frontale. Les comptes cités émettraient des opinions non soutenues par les faits et « devraient maintenir leurs connaissances à jour » (NDLR : en particulier les deux études utilisées par la suite). Comme j’avais un vague souvenir de l’accueil qui avait été réservé à l’étude française sur Twitter, je me suis permis de vérifier cette assertion. Pour cela, je suis allé vérifier directement et voici ce que j’ai trouvé :
Sans faire l’exercice pour tous, il semble clair que la critique formulée initialement, à savoir que les travaux mentionnés dans le fil n’étaient pas connus, est trompeuse. Si l’hypothèse d’une malice de la part de l’auteur du fil ne me semble pas absurde (et permettrait notamment de donner plus de poids au reste du thread), il est également possible qu’il ne s’agisse que d’un peu de paresse : je propose de laisser le bénéfice du doute.
Intéressons-nous aux deux études qui servent de colonne vertébrale au logos. Dans un premier temps, on propose de vérifier si ces articles représentent bien l’état de l’art des connaissances en ce qui concerne l’établissement de liens entre la consommation de produits issus de l’agriculture biologique et la santé sous le prisme de la cancérologie.
L’article Vigar et al., 2020 (10), publié en décembre 2019, permet de répondre partiellement à cette question. En effet, cette revue systématique de la littérature vise à regrouper toutes les études qui ont comparé les alimentations conventionnelles et biologiques au regard de leurs impacts sur la santé. Deux études seulement, Bradbury et al., 2014 (11) et Baudry et al., 2018 (12), utilisent comme critère de comparaison la survenue de cancers.
Je me permets de rajouter à cette liste un troisième article (13). L’absence de ce document dans la revue systématique peut s’expliquer par la date de parution, postérieure à la date limite d’inclusion dans la revue. On notera de plus qu’il s’agit plus d’un abstract que d’un article à proprement parler (ou alors n’ai-je juste pas trouvé la version complète).
La science n’étant rien sans la discussion avec les pairs, que certains appellent parfois disputatio, je me permets également d’ajouter un certain nombre d’articles publiés et relus par des pairs qui partagent un certain nombre de réflexions sur ces études et proposent une mise en contexte de leurs résultats (14,15,16,17,18).
On notera enfin quelques articles de revue systématiques récentes qui s’intéressent de manière plus large à l’impact des produits biologiques sur la santé en général, et non plus uniquement des cancers (19, 10).
Pour conclure cette première partie : Si les deux études utilisées constituent apparemment bien l’état de l’art en ce qui concerne les données à notre disposition, un certain nombre d’articles de réflexions n’ont pas été mentionnés dans le fil.
Dans cette section, l’objectif est d’établir le niveau de confiance que l’on peut accorder aux deux études mentionnées précédemment. Il s’agit d’une tâche complexe qui implique de repérer les forces ainsi que les faiblesses tant au niveau des données utilisées que des outils mis en œuvre.
Les deux études sont des études de cohortes : un sous-type des études observationnelles. Ce genre d’étude permet d’évaluer les risques de survenue d’un événement indésirable (ici de développer un cancer) liés à l’exposition de ses participants à des substances supposées dangereuses (ici les pesticides, au travers de la quantité de résidus qui se trouveraient dans les aliments conventionnels en comparaison des aliments biologiques). L’étude anglaise s’intéresse à une cohorte de plus de 620 000 personnes et l’étude française est constituée d’environ 70 000 personnes. Il s’agit donc de deux cohortes de taille importantes.
Ce nombre, seul, ne suffit cependant pas à préjuger de la qualité des données utilisées. On rappellera tout d’abord que plus l’incidence de l’événement indésirable considéré est faible, pour une taille de cohorte donnée, plus il y a de risque que des différences observées entre les groupes soient dues au hasard. Dans les deux études, les chercheurs quantifient d’une part les différences au sujet des cancers en général et d’autre part les différences au sujet des cancers par sous-type. On accordera donc plus de confiance à la première analyse qu’à la seconde (l’incidence des sous-types de cancer étant forcément plus faible que l’incidence des cancers en général).
D’autre part, la taille de la cohorte ne préjuge pas de sa représentativité. La plus flagrante à mes yeux reste la surreprésentation des femmes. En effet, cette dernière atteint environ 80% dans l’étude française et l’étude anglaise, intégralement composée de femmes, souffre du même défaut. La prudence voudrait que l’on n’extrapole pas les conclusions de ces études à des populations aux caractéristiques éloignées. Je me permets de remarquer que ce genre de biais est assez répandu, notamment en recherche préclinique où la surreprésentation de souris mâle est par exemple avérée (20) et aura mené à une évolution des best-practices dans certains pays. Il semble néanmoins raisonnable d’utiliser les données disponibles en l’absence de mieux.
Enfin, on peut s’intéresser au mode de collecte des données pour évaluer la qualité intrinsèque des données étudiées. Je me permets à ce titre de pointer vers une passionnante incursion au cœur de la collecte des données, à travers un fil de @DocPrimum (21). Ce médecin a participé au projet NutriNet-Santé, projet qui a alimenté la base de données utilisée par l’étude française, et nous propose de découvrir comment la collecte a été réalisée. On comprendra en lisant son fil que les données utilisées sont des données purement déclaratives, sans aucun contrôle possible. De plus, les différents questionnaires sont si détaillés qu’il y a un risque que les données récoltées puissent être biasées par l’idéologie des sondés, comme cela est pointé par @DocPrimum dans le fil. Il semble également important de remarquer que le régime alimentaire des participants n’a été demandé qu’une seule fois, deux mois après le début de l’étude. La durée moyenne de suivi étant d’environ 5 ans, on peut se questionner sur la survenue possible de changements de régime alimentaire pendant la durée de l’étude française. Cette remarque est soutenue par les données à notre disposition sur l’évolution des achats de produits bios par les ménages français qui attestent d’une forte évolution, +50% rien qu’entre 2013 et 2016 (22), quand le suivi des patients de l’étude aura couru sur une période presque deux fois plus longue (2009 à 2016). Si les données ont également été récoltées de manière déclarative pour l’étude anglaise, une seule question simple (« Do you eat organic food ? never, sometimes, usually, always ») a été utilisée pour sonder les participantes, ce qui contraste un peu avec l’étude française. La question a été posée à deux reprises : 3 ans après le début de l’étude, et 8 ans après le début de l’étude. Grâce à cette vérification, les auteurs de l’étude anglaise ont pu vérifier qu’il y avait eu peu de modifications de régimes alimentaires dans leur cohorte. L’étude française aurait gagné à disposer d’une analyse similaire.
Dans un second temps, il convient de s’intéresser aux outils utilisés par les chercheurs pour l’analyse de leurs données.
Dans les deux études, l’objectif est d’évaluer une variation du risque de survenue de cancer. Pour cela, un modèle de régression de Cox a été utilisé dans les deux cas. On pointera tout d’abord que les modèles de régression sont dépendants d’un certain nombre d’hypothèses qu’il convient de vérifier avant de les mettre en œuvre. Pour imager ce propos, on peut prendre pour exemple la régression linéaire : cette dernière n’a de sens que si les variables que l’on cherche à relier le sont… linéairement. Dans le cas qui nous intéresse, il est important de se demander si les hypothèses d’utilisation du modèle de régression de Cox sont vérifiées. J’invite le lecteur à découvrir un fil de @Bunker_D_ (23) qui détaille pourquoi on peut raisonnablement douter de l’entière validité des hypothèses permettant l’utilisation du modèle de régression de Cox et un complément, sous forme de réponse, par @phl43 (24).
Une des difficultés importantes des études observationnelles est la comparaison entre des groupes qui peuvent être différents. Qu’il s’agisse de l’étude anglaise ou de l’étude française, la description des caractéristiques des différents groupes nous permet de nous rendre compte de cette notion. On observe par exemple une relation inverse entre la consommation de produits « bios » et l’usage du tabac dans les deux études. Le tabac étant un facteur de risque important pour la survenue de cancer, il faut être capable de distinguer les effets du tabac des effets de la consommation de produits « bios » : on appelle cela un ajustement vis-à-vis d’un facteur confondant. Dans les deux études, il est à noter que de gros efforts ont été faits pour ajuster les modèles vis-à-vis des facteurs confondants, même si on ne peut exclure qu’il y ait d’autres facteurs non pris en compte.
Le modèle de régression de Cox a été utilisé dans l’étude anglaise pour estimer le hazard ratio (HR) (l’augmentation ou la diminution du risque) lié à la survenue de cancers pour 16 cancers différents ainsi que pour l’ensemble des cancers étudiés. Dans l’étude française, les chercheurs se sont intéressés à différentes catégories de cancers, qu’il s’agisse de sites différents (p.ex cancer du sein, de la peau, etc.) ou bien de sous-catégories différentes d’un même cancer (p.ex cancer du sein préménopause, post-ménopause, etc.). Les HR calculés sont associés à une p-value qui, de manière très simplifiée, peut être interprétée comme la probabilité que le HR observé prenne la valeur calculée sachant « l’hypothèse nulle » du test statistique. Ici, « l’hypothèse nulle » est que le groupe observé serait similaire au groupe de base pris comme étant le groupe le plus consommateur de produit bio. En clair : plus la p-value est faible, plus il y a de chance pour qu’une différence entre les groupes observés puisse être considérée comme significative. De manière commune, et c’est d’ailleurs ce qui est fait dans les deux études, on considère un résultat significatif lorsque la p-value est inférieure à 5% pour un test statistique. Il y a un débat dans la communauté scientifique sur le choix de ce seuil que beaucoup souhaiteraient voir réduit.
Un problème majeur, parfois appelé p-hacking, ou encore data-dredging se pose lorsqu’on répète un test statistique plusieurs fois d’affilé (comme c’est le cas ici avec les multiples cancers). Dans ces conditions, le seuil de significativité doit être corrigé pour prendre en compte la multiplicité des tests avec des outils comme la correction de Bonferroni (25) ou encore des méthodes adaptées au modèle de régression de Cox (26). Sauf erreur, cela n’a pas été fait.
Dans l’étude anglaise, parmi les 16 cancers analysés, des hazard ratio statistiquement significatifs ont été trouvé pour les cancers du sein et les LNH : Les consommateurs de produits biologiques avaient une augmentation du risque (+9%) en ce qui concerne le cancer du sein, et une baisse du risque de (-21%) en ce qui concerne les LNH. Aucun autre résultat n’était statistiquement significatif, que ce soit pour les autres cancers étudiés ou pour la catégorie « tous cancers confondus ».
L’étude française, quant à elle, met en évidence une baisse du risque de LNH (-86%). Elle trouve aussi une baisse du risque des cancers du sein post-ménopause (-34%), des lymphomes en général (-76%) et enfin une baisse du risque pour la catégorie « tous cancers confondus » (-25%).
Sans analyser plus avant ces résultats, on peut observer de fortes disparités entre ces deux études, ce qui a d’ailleurs été remarqué honnêtement par les auteurs de l’étude française : là où l’une met en évidence une augmentation du risque de survenue de cancers du sein, l’autre met en évidence une baisse du risque (pour une sous-catégorie des cancers du sein). Là où l’une montre une absence de modification du risque pour la catégorie « tous cancers confondus », l’autre montre une baisse nette et significative du risque. Enfin, là où l’une démontre une baisse du risque d’environ 20% pour la survenue de LNH, l’autre montre une baisse du risque de plus de 80%.
Il ne me semble pas anodin de tenter de comprendre pourquoi ces différences existent. Pour la dernière, je propose de regarder les analyses par sous-groupes. Si l’on prend l’étude française, la baisse du risque de survenue de LNH, significative sur la cohorte entière, n’est plus statistiquement significative si l’on se concentre uniquement les hommes. Cette information est à opposer à la réduction importante du risque annoncée (-86%). La taille de l’effet annoncé étant important, il n’y aurait normalement pas besoin d’une taille de cohorte importante pour démontrer son existence (j’invite le lecteur à découvrir ce fil Twitter de @Tsariorius (27) qui discute de cette question dans un cadre un peu différent). Or, même avec près de 14000 hommes, les auteurs n’ont pas trouvé d’effet significatif. On peut à mon avis se poser la question : « est-ce que la réduction de risque liée à la survenue de LNH n’a pas été surévaluée dans l’étude française ? ». Cela serait d’ailleurs cohérent avec le contraste observé entre les deux études en ce qui concerne les réductions de risque annoncées. Une hypothèse à mon avis crédible est la suivante : la taille de l’effet a peut-être été surévaluée à cause d’une puissance statistique trop faible découlant du faible nombre absolu de cas de LNH dans la cohorte étudiée (28). En effet, même si la cohorte comprend 70000 patients, il n’y avait qu’une petite cinquantaine de LNH au total dans la population.
On notera tout de même une certaine cohérence entre les résultats de ces deux études en ce qui concerne la présence possible d’un effet protecteur de la consommation de produits issus de l’agriculture biologique sur la survenue de LNH, malgré une taille d’effet sans doute surévaluée dans le cas de l’étude française.
Un certain nombre d’interprétations sont proposées dans les discussions des deux articles pour expliquer les résultats obtenus et les auteurs font un effort important de prise de recul. On notera par exemple que les auteurs des deux études rapportent les résultats d’études précédentes pour corroborer leur observation sur la baisse du risque de LNH associée à une alimentation biologique. Il est d’ailleurs à noter l’existence d’un rapport de l’académie de médecine (29), publié en 2017, qui fait état du lien entre LNH et aux expositions professionnelles aux pesticides. Si cela peut être cohérent avec un effet protecteur de l’alimentation issue de l’agriculture biologique sur la survenue de LNH, il ne faut pas oublier qu’il s’agit de types d’expositions bien différents. On remarquera de plus que, même dans le cadre d’une exposition professionnelle, l’excès de risque identifié était largement inférieur à celui rapporté dans l’étude française, ce qui va encore dans le sens d’une probable surestimation de la taille d’effet dans cette étude.
On notera également un souci d’honnêteté de la part des deux équipes qui pointent les incohérences entre les résultats de leurs études et les précédents travaux. Cependant, en ce qui concerne les hypothèses proposées par les auteurs, ainsi d’ailleurs que par @ethalises, pour justifier les observations étonnantes des deux études, je ne peux m’empêcher de noter un biais important dans le sens d’une mise en cause des pesticides. Je me propose d’illustrer cette assertion par trois exemples :
Dans les trois cas, les hypothèses formulées mettent en cause des effets attribués aux pesticides. Pourtant, il me semble que bon nombre d’hypothèses d’autres hypothèses seraient tout aussi crédibles :
Il est temps maintenant de conclure ce billet de blog. Nous sommes partis de la question suivante : « Est-ce que le bio est meilleur pour la santé que l’alimentation issue de l’agriculture conventionnelle » et nous avons été invités à évaluer cette question dans le contexte de la survenue de cancers.
Si la littérature a effectivement été bien choisie au regard des données disponibles, il semble que la présentation qui en est faite était très partiale dans le fil de @ethalises.
Lorsque les résultats de l’étude anglaise sont présentés, l’absence de lien entre la consommation de produits bio et la survenue de cancers « tous cancers confondus » n’est par exemple pas mentionnée. Cette absence de lien est mentionnée plus tard dans un tweet (31) qui ordonne les résultats des deux études en insinuant que l’une (celle qui démontre un lien) serait mieux que l’autre sans jamais questionner les différences entre les deux études.
Les tailles d’effets trouvées ne sont, de plus, pas questionnées et la formulation pousse à donner plus de poids à une des études plutôt qu’à l’autre (32) alors qu’on aura formulé dans ce billet de nombreuses remarques qui incitent à la prudence.
Enfin, même si une relation de causalité était démontrée entre la consommation de produits biologiques et une baisse de risque de survenue de LNH (ce qui serait à mon avis possible, vu les différentes pistes qui pointent vers un lien des pesticides sur l’augmentation du risque de LNH), cela n’implique pas pour autant que le « bio » est meilleur pour la santé.
Je propose l’expérience de pensée suivante : imaginons une seconde que l’augmentation du risque de survenue de cancers du sein liée à une alimentation bio, identifiée dans l’étude anglaise, soit le fait d’un effet protecteur des pesticides sur ce type de cancer (hypothèse sans doute totalement fausse, mais imaginons…). Vu la différence d’incidence des deux cancers, cela plaiderait non pas pour une alimentation bio, mais au contraire pour une alimentation conventionnelle, du fait des différences d’incidence. Ce que cette expérience de pensée démontre, c’est qu’il est très erroné de penser pouvoir conclure sur un effet protecteur de l’alimentation biologique sur la santé au seul prétexte d’un effet potentiellement protecteur sur un seul cancer. Malheureusement, lorsqu’on s’intéresse au groupe « tous cancers confondus », les résultats des deux études à notre disposition ne sont pas concordants et ne permettent pas de conclure.
Bien entendu, on pourrait également faire remarquer que la santé ne se résume pas qu’à la survenue de cancers. L’alimentation issue de l’agriculture biologique a un coût important et il ne semble pas déraisonnable de se demander si investir un euro dans une transition vers une alimentation biologique est plus intéressant qu’investir un euro vers une alimentation plus variée et de meilleure qualité, ce qui est d’ailleurs le sujet d’un article qui avait été accolé à l’étude française au moment de sa parution 18. Je concède volontiers que cette remarque sort cependant un peu du cadre initial, et que même s’il était plus bénéfique d’investir un euro dans une alimentation variée que dans une alimentation biologique, cela n’impliquerait rien sur les potentiels bienfaits d’une alimentation biologique sur la santé.
J’achève enfin ce billet, bien trop long, et je propose d’appliquer la remarque que @ethalises a faite à d’autres : est-ce qu’il ne faudrait pas, pour répondre à cette question -ou pour affirmer ne pas savoir y répondre- s’appuyer sur la littérature scientifique existante plutôt que sur ma propre évaluation (je ne suis ni épidémiologiste, ni cancérologue, ni agronome…) ? Voici donc ce que concluent les articles et revues systématiques publiés à postériori des deux études qui ont fait l’objet de ce billet :
À la lumière de la littérature scientifique, la seule réponse qu’on peut apporter aujourd’hui à la question « Est-ce que l’alimentation bio est meilleure pour la santé que l’alimentation issue de l’agriculture conventionnelle » est : « On ne sait pas ».
Je me permets de remercier vivement un certain nombre de comptes Twitter qui, s’ils n’ont pas interagi directement avec moi, auront aidé d’une manière ou d’une autre à façonner ce billet : @agritof80 (33), @Barbusceptique (34), @Bunker_D_ (35), @DocPrimum (36), @emma_ducros (37), @fastier_antony (38), @GeWoessner (39), @Matadon (40), @phl43 (41), @SVimaire(42), @Tsarorius (43)
(2): https://twitter.com/ethalises
(3): https://twitter.com/emma_ducros/status/1056273490649714689
(4): https://twitter.com/fastier_antony/status/1054674222134505474
(5): https://twitter.com/GeWoessner/status/1054400156840419328
(6): https://www.futura-sciences.com/sante/actualites/nutrition-manger-bio-il-vraiment-meilleur-sante-78530/
(7): https://www.futura-sciences.com/sante/actualites/nutrition-manger-bio-regulierement-reduirait-risque-cancer-73310/
(8): https://twitter.com/agritof80/status/1054602388982718465
(9): https://twitter.com/SVimaire/status/1055328569323413504
(10): https://www.mdpi.com/2072-6643/12/1/7
(11): https://www.nature.com/articles/bjc2014148/
(12): https://jamanetwork.com/journals/jamainternalmedicine/article-abstract/2707948
(13): https://academic.oup.com/cdn/article/3/Supplement_1/nzz039.P18-038-19/5517295
(14): https://www.sciencedirect.com/science/article/pii/S2468202019300919?via%3Dihub
(15): https://sfc.asso.fr/wp-content/uploads/2018/12/1-Alimentation-biologique-et-cancer-J.-Robert.pdf
(16): https://www.researchgate.net/profile/Nicholas_Syn/publication/332902554_High-Quality_Food_Combined_With_Organic_Food_Consumption_and_the_Risk_of_Cancer/links/5cd156de299bf14d957d0a59/High-Quality-Food-Combined-With-Organic-Food-Consumption-and-the-Risk-of-Cancer.pdf
(17): https://www.tandfonline.com/doi/pdf/10.1080/16546628.2017.1287333
(18): https://jamanetwork.com/journals/jamainternalmedicine/article-abstract/2707943
(19): https://www.tandfonline.com/doi/abs/10.1080/10408398.2017.1394815
(20): https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3008499/
(21): https://twitter.com/docprimum/status/1055170044831903745
(22): https://ree.developpement-durable.gouv.fr/themes/enjeux-de-societe/modes-de-vie-des-menages/alimentation/article/consommation-de-produits-bio
(23): https://twitter.com/Bunker_D_/status/1055111692290584577
(24): https://twitter.com/phl43/status/1055124241996279811
(25): https://fr.wikipedia.org/wiki/Correction_de_Bonferroni)
(26): https://link.springer.com/article/10.1023/A:1020514804325
(27): https://twitter.com/Tsarorius/status/1271476737474531328
(28): https://scientificallysound.org/2017/12/20/impact-of-statistical-power-on-effect-size-estimates/
(29): http://www.academie-medecine.fr/wp-content/uploads/2018/06/P.-1161-%C3%A0-1174.pdf
(30): https://twitter.com/Al_Th/status/1308705709408780288
(31): https://twitter.com/ethalises/status/1296840885112578050
(32): https://twitter.com/ethalises/status/1296840871707643904
(33): https://www.twitter.com/agritof80
(34): https://www.twitter.com/Barbusceptique
(35): https://www.twitter.com/Bunker_D_
(36): https://www.twitter.com/docprimum
(37): https://www.twitter.com/emma_ducros
(38): https://www.twitter.com/fastier_antony
(39): https://www.twitter.com/gewoessner
(40): https://www.twitter.com/matadon
(41): https://www.twitter.com/phl43
(42): https://www.twitter.com/svimaire
(43): https://www.twitter.com/tsarorius
L’auteur du fil, @ethalises (2), propose de répondre à la question « Est-ce que l’alimentation bio est meilleure pour la santé que l’alimentation issue de l’agriculture conventionnelle ». Pour justifier cette démarche, il pointe du doigt un certain nombre de personnes (« experts journalistes », « zététiciens » et « sceptiques ») qui prétendraient qu’au mieux on ne saurait pas répondre à la question, et qu’au pire on saurait que la question peut être répondue par la négative. @ethalises rebondit sur quelques tweets d’exemples en indiquant que les personnes citées devraient tenir à jour leur connaissance de la littérature scientifique et pointe notamment deux études qu’il compte utiliser pour soutenir son raisonnement. Ces deux études, l’une anglaise, l’autre française, ont comme point commun de mettre en évidence une baisse significative des lymphomes non hodgkyniens (LNH) chez les plus gros consommateurs de produits bios. L’étude française montrerait, en plus, une réduction significative du nombre de cancers en général chez les consommateurs de produits bios. @ethalises conclut, à la lumière de ces deux études, que l’alimentation issue de l’agriculture « bio » est meilleure pour la santé que l’alimentation issue de l’agriculture conventionnelle.
Si je ne me considère ni comme « expert journaliste », ni « zététicien », ni encore comme « sceptique », j’ai sans aucun doute pu tenir par le passé des propos tels que ceux que pointent @ethalises dans les premiers tweets de son thread. J’ai donc décidé de soumettre mes croyances à un examen poussé : et si @ethalises avait raison ? La démarche que je propose de suivre dans ce billet est la suivante :
- @ethalises utilise deux études observationnelles pour soutenir son raisonnement. On peut tout d’abord se demander si ces études sont effectivement représentatives de l’état des connaissances.
- Dans un second temps, on s’intéressera au niveau de preuve et à la confiance que l’on peut accorder aux conclusions de ces études (indépendamment de la manière dont les études sont utilisées)
- En parallèle, on pourra évaluer si les données et conclusions des deux études sont reprises de manière fidèle et objectives dans le fil Twitter.
- Enfin, et à la lumière des trois premiers points, on tentera de vérifier que le raisonnement tenu dans le fil est juste. En particulier, on essayera de déterminer si les arguments proposés nous mènent à la même conclusion que celle proposée par @ethalises.
Remarques préliminaires
Avant de mettre en œuvre la stratégie exposée plus haut, il me semble important de dénoncer une injustice. En effet, dans le fil en question, un certain nombre de personnes sont « attaquées » de manière frontale. Les comptes cités émettraient des opinions non soutenues par les faits et « devraient maintenir leurs connaissances à jour » (NDLR : en particulier les deux études utilisées par la suite). Comme j’avais un vague souvenir de l’accueil qui avait été réservé à l’étude française sur Twitter, je me suis permis de vérifier cette assertion. Pour cela, je suis allé vérifier directement et voici ce que j’ai trouvé :
- Pour @emma_ducros, je retrouve ce tweet (3) dans lequel est relayée une critique de l’étude française,
- Pour @fastier_antony, je retrouve ce tweet (4) qui relaie un tweet de Didier Guillaume au sujet de la même étude,
- Pour @GeWoessner, je retrouve ce tweet (5) qui qualifie de passionnante l’étude française,
- Pour @Barbusceptique, je trouve un article de sa plume (6) qui mentionne notamment cet autre article (7) qui, lui, relaie les conclusions de l’étude française,
- Pour @agritof80, je trouve ce tweet (8) qui relaie une critique de l’étude française,
- Pour @SVimaire, je trouve ce tweet (9) qui relaie une critique de l’étude française.
Sans faire l’exercice pour tous, il semble clair que la critique formulée initialement, à savoir que les travaux mentionnés dans le fil n’étaient pas connus, est trompeuse. Si l’hypothèse d’une malice de la part de l’auteur du fil ne me semble pas absurde (et permettrait notamment de donner plus de poids au reste du thread), il est également possible qu’il ne s’agisse que d’un peu de paresse : je propose de laisser le bénéfice du doute.
Revue de la littérature
Intéressons-nous aux deux études qui servent de colonne vertébrale au logos. Dans un premier temps, on propose de vérifier si ces articles représentent bien l’état de l’art des connaissances en ce qui concerne l’établissement de liens entre la consommation de produits issus de l’agriculture biologique et la santé sous le prisme de la cancérologie.
L’article Vigar et al., 2020 (10), publié en décembre 2019, permet de répondre partiellement à cette question. En effet, cette revue systématique de la littérature vise à regrouper toutes les études qui ont comparé les alimentations conventionnelles et biologiques au regard de leurs impacts sur la santé. Deux études seulement, Bradbury et al., 2014 (11) et Baudry et al., 2018 (12), utilisent comme critère de comparaison la survenue de cancers.
Je me permets de rajouter à cette liste un troisième article (13). L’absence de ce document dans la revue systématique peut s’expliquer par la date de parution, postérieure à la date limite d’inclusion dans la revue. On notera de plus qu’il s’agit plus d’un abstract que d’un article à proprement parler (ou alors n’ai-je juste pas trouvé la version complète).
La science n’étant rien sans la discussion avec les pairs, que certains appellent parfois disputatio, je me permets également d’ajouter un certain nombre d’articles publiés et relus par des pairs qui partagent un certain nombre de réflexions sur ces études et proposent une mise en contexte de leurs résultats (14,15,16,17,18).
On notera enfin quelques articles de revue systématiques récentes qui s’intéressent de manière plus large à l’impact des produits biologiques sur la santé en général, et non plus uniquement des cancers (19, 10).
Pour conclure cette première partie : Si les deux études utilisées constituent apparemment bien l’état de l’art en ce qui concerne les données à notre disposition, un certain nombre d’articles de réflexions n’ont pas été mentionnés dans le fil.
Niveau de preuve
Dans cette section, l’objectif est d’établir le niveau de confiance que l’on peut accorder aux deux études mentionnées précédemment. Il s’agit d’une tâche complexe qui implique de repérer les forces ainsi que les faiblesses tant au niveau des données utilisées que des outils mis en œuvre.
De la quantité et de la qualité des données utilisées
Les deux études sont des études de cohortes : un sous-type des études observationnelles. Ce genre d’étude permet d’évaluer les risques de survenue d’un événement indésirable (ici de développer un cancer) liés à l’exposition de ses participants à des substances supposées dangereuses (ici les pesticides, au travers de la quantité de résidus qui se trouveraient dans les aliments conventionnels en comparaison des aliments biologiques). L’étude anglaise s’intéresse à une cohorte de plus de 620 000 personnes et l’étude française est constituée d’environ 70 000 personnes. Il s’agit donc de deux cohortes de taille importantes.
Ce nombre, seul, ne suffit cependant pas à préjuger de la qualité des données utilisées. On rappellera tout d’abord que plus l’incidence de l’événement indésirable considéré est faible, pour une taille de cohorte donnée, plus il y a de risque que des différences observées entre les groupes soient dues au hasard. Dans les deux études, les chercheurs quantifient d’une part les différences au sujet des cancers en général et d’autre part les différences au sujet des cancers par sous-type. On accordera donc plus de confiance à la première analyse qu’à la seconde (l’incidence des sous-types de cancer étant forcément plus faible que l’incidence des cancers en général).
D’autre part, la taille de la cohorte ne préjuge pas de sa représentativité. La plus flagrante à mes yeux reste la surreprésentation des femmes. En effet, cette dernière atteint environ 80% dans l’étude française et l’étude anglaise, intégralement composée de femmes, souffre du même défaut. La prudence voudrait que l’on n’extrapole pas les conclusions de ces études à des populations aux caractéristiques éloignées. Je me permets de remarquer que ce genre de biais est assez répandu, notamment en recherche préclinique où la surreprésentation de souris mâle est par exemple avérée (20) et aura mené à une évolution des best-practices dans certains pays. Il semble néanmoins raisonnable d’utiliser les données disponibles en l’absence de mieux.
Enfin, on peut s’intéresser au mode de collecte des données pour évaluer la qualité intrinsèque des données étudiées. Je me permets à ce titre de pointer vers une passionnante incursion au cœur de la collecte des données, à travers un fil de @DocPrimum (21). Ce médecin a participé au projet NutriNet-Santé, projet qui a alimenté la base de données utilisée par l’étude française, et nous propose de découvrir comment la collecte a été réalisée. On comprendra en lisant son fil que les données utilisées sont des données purement déclaratives, sans aucun contrôle possible. De plus, les différents questionnaires sont si détaillés qu’il y a un risque que les données récoltées puissent être biasées par l’idéologie des sondés, comme cela est pointé par @DocPrimum dans le fil. Il semble également important de remarquer que le régime alimentaire des participants n’a été demandé qu’une seule fois, deux mois après le début de l’étude. La durée moyenne de suivi étant d’environ 5 ans, on peut se questionner sur la survenue possible de changements de régime alimentaire pendant la durée de l’étude française. Cette remarque est soutenue par les données à notre disposition sur l’évolution des achats de produits bios par les ménages français qui attestent d’une forte évolution, +50% rien qu’entre 2013 et 2016 (22), quand le suivi des patients de l’étude aura couru sur une période presque deux fois plus longue (2009 à 2016). Si les données ont également été récoltées de manière déclarative pour l’étude anglaise, une seule question simple (« Do you eat organic food ? never, sometimes, usually, always ») a été utilisée pour sonder les participantes, ce qui contraste un peu avec l’étude française. La question a été posée à deux reprises : 3 ans après le début de l’étude, et 8 ans après le début de l’étude. Grâce à cette vérification, les auteurs de l’étude anglaise ont pu vérifier qu’il y avait eu peu de modifications de régimes alimentaires dans leur cohorte. L’étude française aurait gagné à disposer d’une analyse similaire.
Des outils utilisés, de leur pertinence et de leur portée
Dans un second temps, il convient de s’intéresser aux outils utilisés par les chercheurs pour l’analyse de leurs données.
Dans les deux études, l’objectif est d’évaluer une variation du risque de survenue de cancer. Pour cela, un modèle de régression de Cox a été utilisé dans les deux cas. On pointera tout d’abord que les modèles de régression sont dépendants d’un certain nombre d’hypothèses qu’il convient de vérifier avant de les mettre en œuvre. Pour imager ce propos, on peut prendre pour exemple la régression linéaire : cette dernière n’a de sens que si les variables que l’on cherche à relier le sont… linéairement. Dans le cas qui nous intéresse, il est important de se demander si les hypothèses d’utilisation du modèle de régression de Cox sont vérifiées. J’invite le lecteur à découvrir un fil de @Bunker_D_ (23) qui détaille pourquoi on peut raisonnablement douter de l’entière validité des hypothèses permettant l’utilisation du modèle de régression de Cox et un complément, sous forme de réponse, par @phl43 (24).
Une des difficultés importantes des études observationnelles est la comparaison entre des groupes qui peuvent être différents. Qu’il s’agisse de l’étude anglaise ou de l’étude française, la description des caractéristiques des différents groupes nous permet de nous rendre compte de cette notion. On observe par exemple une relation inverse entre la consommation de produits « bios » et l’usage du tabac dans les deux études. Le tabac étant un facteur de risque important pour la survenue de cancer, il faut être capable de distinguer les effets du tabac des effets de la consommation de produits « bios » : on appelle cela un ajustement vis-à-vis d’un facteur confondant. Dans les deux études, il est à noter que de gros efforts ont été faits pour ajuster les modèles vis-à-vis des facteurs confondants, même si on ne peut exclure qu’il y ait d’autres facteurs non pris en compte.
Le modèle de régression de Cox a été utilisé dans l’étude anglaise pour estimer le hazard ratio (HR) (l’augmentation ou la diminution du risque) lié à la survenue de cancers pour 16 cancers différents ainsi que pour l’ensemble des cancers étudiés. Dans l’étude française, les chercheurs se sont intéressés à différentes catégories de cancers, qu’il s’agisse de sites différents (p.ex cancer du sein, de la peau, etc.) ou bien de sous-catégories différentes d’un même cancer (p.ex cancer du sein préménopause, post-ménopause, etc.). Les HR calculés sont associés à une p-value qui, de manière très simplifiée, peut être interprétée comme la probabilité que le HR observé prenne la valeur calculée sachant « l’hypothèse nulle » du test statistique. Ici, « l’hypothèse nulle » est que le groupe observé serait similaire au groupe de base pris comme étant le groupe le plus consommateur de produit bio. En clair : plus la p-value est faible, plus il y a de chance pour qu’une différence entre les groupes observés puisse être considérée comme significative. De manière commune, et c’est d’ailleurs ce qui est fait dans les deux études, on considère un résultat significatif lorsque la p-value est inférieure à 5% pour un test statistique. Il y a un débat dans la communauté scientifique sur le choix de ce seuil que beaucoup souhaiteraient voir réduit.
Un problème majeur, parfois appelé p-hacking, ou encore data-dredging se pose lorsqu’on répète un test statistique plusieurs fois d’affilé (comme c’est le cas ici avec les multiples cancers). Dans ces conditions, le seuil de significativité doit être corrigé pour prendre en compte la multiplicité des tests avec des outils comme la correction de Bonferroni (25) ou encore des méthodes adaptées au modèle de régression de Cox (26). Sauf erreur, cela n’a pas été fait.
Mise en perspective des résultats
Dans l’étude anglaise, parmi les 16 cancers analysés, des hazard ratio statistiquement significatifs ont été trouvé pour les cancers du sein et les LNH : Les consommateurs de produits biologiques avaient une augmentation du risque (+9%) en ce qui concerne le cancer du sein, et une baisse du risque de (-21%) en ce qui concerne les LNH. Aucun autre résultat n’était statistiquement significatif, que ce soit pour les autres cancers étudiés ou pour la catégorie « tous cancers confondus ».
L’étude française, quant à elle, met en évidence une baisse du risque de LNH (-86%). Elle trouve aussi une baisse du risque des cancers du sein post-ménopause (-34%), des lymphomes en général (-76%) et enfin une baisse du risque pour la catégorie « tous cancers confondus » (-25%).
Sans analyser plus avant ces résultats, on peut observer de fortes disparités entre ces deux études, ce qui a d’ailleurs été remarqué honnêtement par les auteurs de l’étude française : là où l’une met en évidence une augmentation du risque de survenue de cancers du sein, l’autre met en évidence une baisse du risque (pour une sous-catégorie des cancers du sein). Là où l’une montre une absence de modification du risque pour la catégorie « tous cancers confondus », l’autre montre une baisse nette et significative du risque. Enfin, là où l’une démontre une baisse du risque d’environ 20% pour la survenue de LNH, l’autre montre une baisse du risque de plus de 80%.
Il ne me semble pas anodin de tenter de comprendre pourquoi ces différences existent. Pour la dernière, je propose de regarder les analyses par sous-groupes. Si l’on prend l’étude française, la baisse du risque de survenue de LNH, significative sur la cohorte entière, n’est plus statistiquement significative si l’on se concentre uniquement les hommes. Cette information est à opposer à la réduction importante du risque annoncée (-86%). La taille de l’effet annoncé étant important, il n’y aurait normalement pas besoin d’une taille de cohorte importante pour démontrer son existence (j’invite le lecteur à découvrir ce fil Twitter de @Tsariorius (27) qui discute de cette question dans un cadre un peu différent). Or, même avec près de 14000 hommes, les auteurs n’ont pas trouvé d’effet significatif. On peut à mon avis se poser la question : « est-ce que la réduction de risque liée à la survenue de LNH n’a pas été surévaluée dans l’étude française ? ». Cela serait d’ailleurs cohérent avec le contraste observé entre les deux études en ce qui concerne les réductions de risque annoncées. Une hypothèse à mon avis crédible est la suivante : la taille de l’effet a peut-être été surévaluée à cause d’une puissance statistique trop faible découlant du faible nombre absolu de cas de LNH dans la cohorte étudiée (28). En effet, même si la cohorte comprend 70000 patients, il n’y avait qu’une petite cinquantaine de LNH au total dans la population.
On notera tout de même une certaine cohérence entre les résultats de ces deux études en ce qui concerne la présence possible d’un effet protecteur de la consommation de produits issus de l’agriculture biologique sur la survenue de LNH, malgré une taille d’effet sans doute surévaluée dans le cas de l’étude française.
Discussions et interprétations : seconde mise en perspective
Un certain nombre d’interprétations sont proposées dans les discussions des deux articles pour expliquer les résultats obtenus et les auteurs font un effort important de prise de recul. On notera par exemple que les auteurs des deux études rapportent les résultats d’études précédentes pour corroborer leur observation sur la baisse du risque de LNH associée à une alimentation biologique. Il est d’ailleurs à noter l’existence d’un rapport de l’académie de médecine (29), publié en 2017, qui fait état du lien entre LNH et aux expositions professionnelles aux pesticides. Si cela peut être cohérent avec un effet protecteur de l’alimentation issue de l’agriculture biologique sur la survenue de LNH, il ne faut pas oublier qu’il s’agit de types d’expositions bien différents. On remarquera de plus que, même dans le cadre d’une exposition professionnelle, l’excès de risque identifié était largement inférieur à celui rapporté dans l’étude française, ce qui va encore dans le sens d’une probable surestimation de la taille d’effet dans cette étude.
On notera également un souci d’honnêteté de la part des deux équipes qui pointent les incohérences entre les résultats de leurs études et les précédents travaux. Cependant, en ce qui concerne les hypothèses proposées par les auteurs, ainsi d’ailleurs que par @ethalises, pour justifier les observations étonnantes des deux études, je ne peux m’empêcher de noter un biais important dans le sens d’une mise en cause des pesticides. Je me propose d’illustrer cette assertion par trois exemples :
- L’étude anglaise démontre une corrélation entre la consommation de produits bios et l’augmentation de survenue de cancers du sein. L’hypothèse avancée, pour expliquer cette observation, serait que les femmes les plus consommatrices de produits bios… seraient également les femmes qui sont plus attentives à leur santé et se soumettent plus au dépistage.
- L’étude française montre que lorsqu’on compare différentes strates de la population, la plus grande association entre baisse du risque de survenue de LNH et consommation de produits bios est observée dans le groupe à l’IMC le plus haut. L’hypothèse émise serait que l’obésité accroîtrait les effets des pesticides sur les potentielles survenues de cancers.
- Enfin, lorsque je questionne @ethalises (30) pour comprendre pourquoi les associations trouvées ne sont pas monotones vis-à-vis des différents quartiles, l’hypothèse proposée est qu’une augmentation de consommation de produits biologiques s’accompagne d’une augmentation de la consommation de fruits et légumes mais que cette dernière ne serait bénéfique que si ces produits sont biologiques.
Dans les trois cas, les hypothèses formulées mettent en cause des effets attribués aux pesticides. Pourtant, il me semble que bon nombre d’hypothèses d’autres hypothèses seraient tout aussi crédibles :
- Pour le premier exemple, on pourrait faire l’hypothèse que l’absence de correction du seuil de significativité, qu’il aurait fallu réaliser dans le cas de comparaisons multiples, implique une trop grande sensibilité et que la relation n’est en réalité pas statistiquement significative.
- Pour le second exemple, on pourrait émettre l’hypothèse d’une association non linéaire entre les différentes variables explicatives (au hasard la consommation de tabac, d’alcool et le poids) qui viendrait violer les hypothèses d’utilisation du modèle de régression de Cox 24.
- Enfin, pour le troisième exemple, et si je n’ai pas spécialement d’hypothèse à fournir, l’hypothèse proposée me semble peu crédible : est-ce que les consommateurs de produits biologiques ne commencent justement pas leur transition vers ce mode d’alimentation en changeant l’origine de leurs pommes et tomates, plus que celle de leurs viandes et poissons ? La question de la monotonie des associations n’était pourtant pas anodine : faire la démonstration d’une relation dose-effet est généralement considéré comme une preuve importante de présence d’une relation causale.
Conclusion
Il est temps maintenant de conclure ce billet de blog. Nous sommes partis de la question suivante : « Est-ce que le bio est meilleur pour la santé que l’alimentation issue de l’agriculture conventionnelle » et nous avons été invités à évaluer cette question dans le contexte de la survenue de cancers.
Si la littérature a effectivement été bien choisie au regard des données disponibles, il semble que la présentation qui en est faite était très partiale dans le fil de @ethalises.
Lorsque les résultats de l’étude anglaise sont présentés, l’absence de lien entre la consommation de produits bio et la survenue de cancers « tous cancers confondus » n’est par exemple pas mentionnée. Cette absence de lien est mentionnée plus tard dans un tweet (31) qui ordonne les résultats des deux études en insinuant que l’une (celle qui démontre un lien) serait mieux que l’autre sans jamais questionner les différences entre les deux études.
Les tailles d’effets trouvées ne sont, de plus, pas questionnées et la formulation pousse à donner plus de poids à une des études plutôt qu’à l’autre (32) alors qu’on aura formulé dans ce billet de nombreuses remarques qui incitent à la prudence.
Enfin, même si une relation de causalité était démontrée entre la consommation de produits biologiques et une baisse de risque de survenue de LNH (ce qui serait à mon avis possible, vu les différentes pistes qui pointent vers un lien des pesticides sur l’augmentation du risque de LNH), cela n’implique pas pour autant que le « bio » est meilleur pour la santé.
Je propose l’expérience de pensée suivante : imaginons une seconde que l’augmentation du risque de survenue de cancers du sein liée à une alimentation bio, identifiée dans l’étude anglaise, soit le fait d’un effet protecteur des pesticides sur ce type de cancer (hypothèse sans doute totalement fausse, mais imaginons…). Vu la différence d’incidence des deux cancers, cela plaiderait non pas pour une alimentation bio, mais au contraire pour une alimentation conventionnelle, du fait des différences d’incidence. Ce que cette expérience de pensée démontre, c’est qu’il est très erroné de penser pouvoir conclure sur un effet protecteur de l’alimentation biologique sur la santé au seul prétexte d’un effet potentiellement protecteur sur un seul cancer. Malheureusement, lorsqu’on s’intéresse au groupe « tous cancers confondus », les résultats des deux études à notre disposition ne sont pas concordants et ne permettent pas de conclure.
Bien entendu, on pourrait également faire remarquer que la santé ne se résume pas qu’à la survenue de cancers. L’alimentation issue de l’agriculture biologique a un coût important et il ne semble pas déraisonnable de se demander si investir un euro dans une transition vers une alimentation biologique est plus intéressant qu’investir un euro vers une alimentation plus variée et de meilleure qualité, ce qui est d’ailleurs le sujet d’un article qui avait été accolé à l’étude française au moment de sa parution 18. Je concède volontiers que cette remarque sort cependant un peu du cadre initial, et que même s’il était plus bénéfique d’investir un euro dans une alimentation variée que dans une alimentation biologique, cela n’impliquerait rien sur les potentiels bienfaits d’une alimentation biologique sur la santé.
J’achève enfin ce billet, bien trop long, et je propose d’appliquer la remarque que @ethalises a faite à d’autres : est-ce qu’il ne faudrait pas, pour répondre à cette question -ou pour affirmer ne pas savoir y répondre- s’appuyer sur la littérature scientifique existante plutôt que sur ma propre évaluation (je ne suis ni épidémiologiste, ni cancérologue, ni agronome…) ? Voici donc ce que concluent les articles et revues systématiques publiés à postériori des deux études qui ont fait l’objet de ce billet :
- Limitations in the evidential basis supporting health benefits from a decreased exposure to pesticides through organic food consumption (14) : “Insufficient evidences exist to conclude that [a shift toward a organic diet] can have health benefits.”
- Organic Foods for Cancer Prevention—Worth the Investment? (18) : “At the current stage of research, the relationship between organic food consumption and cancer risk is still unclear.”
- Organic food and the impact on human health (19) : “Therefore, longterm, randomized, controlled dietary intervention trials comparing organic and conventional food of the same variety and similar growing conditions are needed to determine the possible beneficial effects of organic diet on human health”
- A Systematic Review of Organic Versus Conventional Food Consumption: Is There a Measurable Benefit on Human Health? (10) : “The current evidence base does not allow a definitive statement on the health benefits of organic dietary intake”
À la lumière de la littérature scientifique, la seule réponse qu’on peut apporter aujourd’hui à la question « Est-ce que l’alimentation bio est meilleure pour la santé que l’alimentation issue de l’agriculture conventionnelle » est : « On ne sait pas ».
Je me permets de remercier vivement un certain nombre de comptes Twitter qui, s’ils n’ont pas interagi directement avec moi, auront aidé d’une manière ou d’une autre à façonner ce billet : @agritof80 (33), @Barbusceptique (34), @Bunker_D_ (35), @DocPrimum (36), @emma_ducros (37), @fastier_antony (38), @GeWoessner (39), @Matadon (40), @phl43 (41), @SVimaire(42), @Tsarorius (43)
Références :
(1): https://twitter.com/ethalises/status/1296840359608295424(2): https://twitter.com/ethalises
(3): https://twitter.com/emma_ducros/status/1056273490649714689
(4): https://twitter.com/fastier_antony/status/1054674222134505474
(5): https://twitter.com/GeWoessner/status/1054400156840419328
(6): https://www.futura-sciences.com/sante/actualites/nutrition-manger-bio-il-vraiment-meilleur-sante-78530/
(7): https://www.futura-sciences.com/sante/actualites/nutrition-manger-bio-regulierement-reduirait-risque-cancer-73310/
(8): https://twitter.com/agritof80/status/1054602388982718465
(9): https://twitter.com/SVimaire/status/1055328569323413504
(10): https://www.mdpi.com/2072-6643/12/1/7
(11): https://www.nature.com/articles/bjc2014148/
(12): https://jamanetwork.com/journals/jamainternalmedicine/article-abstract/2707948
(13): https://academic.oup.com/cdn/article/3/Supplement_1/nzz039.P18-038-19/5517295
(14): https://www.sciencedirect.com/science/article/pii/S2468202019300919?via%3Dihub
(15): https://sfc.asso.fr/wp-content/uploads/2018/12/1-Alimentation-biologique-et-cancer-J.-Robert.pdf
(16): https://www.researchgate.net/profile/Nicholas_Syn/publication/332902554_High-Quality_Food_Combined_With_Organic_Food_Consumption_and_the_Risk_of_Cancer/links/5cd156de299bf14d957d0a59/High-Quality-Food-Combined-With-Organic-Food-Consumption-and-the-Risk-of-Cancer.pdf
(17): https://www.tandfonline.com/doi/pdf/10.1080/16546628.2017.1287333
(18): https://jamanetwork.com/journals/jamainternalmedicine/article-abstract/2707943
(19): https://www.tandfonline.com/doi/abs/10.1080/10408398.2017.1394815
(20): https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3008499/
(21): https://twitter.com/docprimum/status/1055170044831903745
(22): https://ree.developpement-durable.gouv.fr/themes/enjeux-de-societe/modes-de-vie-des-menages/alimentation/article/consommation-de-produits-bio
(23): https://twitter.com/Bunker_D_/status/1055111692290584577
(24): https://twitter.com/phl43/status/1055124241996279811
(25): https://fr.wikipedia.org/wiki/Correction_de_Bonferroni)
(26): https://link.springer.com/article/10.1023/A:1020514804325
(27): https://twitter.com/Tsarorius/status/1271476737474531328
(28): https://scientificallysound.org/2017/12/20/impact-of-statistical-power-on-effect-size-estimates/
(29): http://www.academie-medecine.fr/wp-content/uploads/2018/06/P.-1161-%C3%A0-1174.pdf
(30): https://twitter.com/Al_Th/status/1308705709408780288
(31): https://twitter.com/ethalises/status/1296840885112578050
(32): https://twitter.com/ethalises/status/1296840871707643904
(33): https://www.twitter.com/agritof80
(34): https://www.twitter.com/Barbusceptique
(35): https://www.twitter.com/Bunker_D_
(36): https://www.twitter.com/docprimum
(37): https://www.twitter.com/emma_ducros
(38): https://www.twitter.com/fastier_antony
(39): https://www.twitter.com/gewoessner
(40): https://www.twitter.com/matadon
(41): https://www.twitter.com/phl43
(42): https://www.twitter.com/svimaire
(43): https://www.twitter.com/tsarorius