« Scientifiquement validé » : anatomie d’une formule

Dans la communication clinique, l’expression scientifiquement validé est devenue l’une des plus fréquentes. Elle apparait dans les brochures, sur les sites web, dans les listings de formation continue, dans les résumés de congrès, et dans un post sur deux de votre fil d’actualité. Les médecins l’utilisent autant que les influenceurs. La formule est rassurante. Elle laisse entendre que quelqu’un, quelque part, a fait le travail de vérifier si la pratique fait bien ce qu’elle prétend faire.

Le problème, c’est que cette formule ne se définit pas toute seule. Il n’existe pas, à propos d’une pratique clinique, de définition opérationnelle largement partagée de ce que validé veut dire. En biomédecine, le terme suppose un parcours probatoire précis — et ce parcours comporte des étapes, dont chacune démontre quelque chose de différent et laisse autre chose en suspens. Une pratique qui a franchi une étape n’est pas au même endroit qu’une pratique qui les a toutes franchies. Les deux peuvent, techniquement, être qualifiées de « validées ». Aucune des deux qualifications n’est informative tant qu’on ne précise pas de quelle étape on parle.

C’est le travail que tente de faire ce billet. Non pas de dire au lecteur quelles méthodes sont valides et lesquelles ne le sont pas — ce n’est pas une question à laquelle un seul article peut répondre de façon responsable. L’objectif est de donner aux lecteurs un moyen de situer toute revendication de validation sur la carte probatoire, pour que la formule devienne une affirmation testable plutôt qu’une signature publicitaire (Straus, Glasziou, Richardson, & Haynes, 2018).

Le parcours probatoire

Dans la recherche biomédicale, le chemin qui mène d’une idée à une intervention établie est rarement linéaire, mais il comporte des étapes reconnaissables.

Tout commence par une observation nouvelle, soutenue par une plausibilité mécanistique — une raison de penser que l’intervention devrait fonctionner, tirée de la physiologie, des théories de l’apprentissage, de la littérature antérieure, ou parfois du hasard (lisez : un coup de bol). La plausibilité est nécessaire, mais elle n’est pas une preuve d’efficacité.

Les étapes suivantes se rapprochent de la clinique. Les rapports de cas décrivent ce qui s’est produit chez des individus ; les séries de cas agrègent l’expérience d’un petit groupe. Les deux peuvent générer des hypothèses. Aucune des deux ne peut, à elle seule, démontrer que l’intervention est responsable du changement observé.

Viennent ensuite les essais contrôlés. Les études pilotes et de faisabilité testent si un protocole peut être délivré de façon sûre et acceptable. Les essais randomisés contrôlés de plus grande envergure comparent l’intervention à un comparateur — placebo, liste d’attente, faux protocole, soins habituels — dans des conditions conçues pour limiter les biais. Un seul ECR positif a du sens. C’est aussi un seul essai. (Si vous ne connaissez pas encore le concept, il vaut la peine de se renseigner sur le biais de publication positif pour avoir un peu plus de contexte.)

Au-delà d’un essai unique se trouvent la réplication et la synthèse. La réplication indépendante — par des équipes sans lien avec les investigateurs initiaux — est l’étape à partir de laquelle un résultat commence à paraitre fiable. Les revues systématiques et les méta-analyses agrègent les résultats répliqués, pondérés par la qualité méthodologique, pour estimer où se situe vraisemblablement la vérité. Les recommandations de pratique clinique, émises par des sociétés savantes, intègrent cette synthèse dans des recommandations de soins.

Une pratique qui a parcouru tout le trajet — du mécanisme à l’ECR à la réplication aux recommandations — possède un statut probatoire qualitativement différent d’une pratique qui s’appuie, par exemple, sur deux petites études et un chapitre de manuel. Les deux peuvent être présentées dans la communication comme « validées ». Une seule des deux est soutenue par le type de preuves qui devrait modifier la pratique clinique.

Ce que chaque étape démontre, et ce qu’elle ne démontre pas

Une façon utile de lire les revendications de preuves consiste à associer chaque étape à ce qu’elle peut et ne peut pas montrer.

La plausibilité mécanistique soutient la possibilité d’une efficacité. Elle ne la teste pas.

Les rapports et séries de cas documentent ce qui s’est passé chez des patients particuliers. Ils ne peuvent pas exclure une amélioration spontanée, une régression vers la moyenne, des effets d’attente, ou l’évolution naturelle de la condition. Ils sont utiles pour générer des hypothèses ; ils ne suffisent pas pour recommander une pratique.

Les études pilotes et de faisabilité nous indiquent si un protocole peut être délivré. Elles sont généralement sous-puissantes pour l’efficacité et ne devraient pas être interprétées comme telles, même quand les résultats numériques paraissent encourageants.

Un ECR bien conçu, avec un comparateur pertinent, est la preuve la plus forte qu’un essai unique puisse produire. Mais un essai reste un essai. La littérature regorge de résultats issus d’un seul essai qui n’ont pas survécu à la réplication — parfois parce que l’étude initiale était une exception, parfois parce que le protocole n’a pas pu être reproduit avec fidélité, parfois parce que des caractéristiques subtiles de la population ou du contexte comptaient plus qu’on ne l’avait initialement perçu.

Les revues systématiques agrègent la réplication. Leur poids dépend de la qualité des essais inclus et de l’absence de publication sélective. Les méta-analyses peuvent produire des estimations remarquablement stables — ou remarquablement instables, quand la littérature sous-jacente est hétérogène. Une revue systématique avec une conclusion claire est informative. Une revue systématique qui conclut que davantage de recherche de qualité est nécessaire est tout aussi informative, simplement d’une autre façon.

Les recommandations de pratique clinique, émises par des sociétés savantes indépendantes, indiquent qu’une méthode a gagné sa place dans les soins courants. C’est l’extrémité à plus haut niveau de confiance du parcours, et celle que la plupart des lecteurs peuvent utiliser directement.

Je vois tout cela comme une boucle qui se referme : on revient à la question de savoir comment une intervention tient le coup dans la vraie vie, comment elle se transfère dans les contextes où elle est attendue. Ces étapes sont souvent portées par les médias grand public plutôt que par la littérature scientifique. Et pourtant, revenir à un niveau de preuves anecdotiques, c’est revenir au point de départ.

C’est le fait d’aller jusqu’au bout du parcours qui prend du temps, de l’argent, et qui fait que des méthodes se retrouvent lâchées dans la nature avant que toutes les cases n’aient été cochées. La science avance lentement, la vie non.

Une méthode qui a parcouru tout le trajet : la TCC-I

Un exemple net d’intervention non pharmacologique ayant franchi toutes les étapes du parcours probatoire est la thérapie cognitivo-comportementale de l’insomnie (TCC-I).

L’intervention repose sur des fondements mécanistiques clairs, ancrés dans les théories de l’apprentissage comportemental et la physiologie de la régulation du sommeil. Elle a accumulé des preuves d’efficacité au fil des essais contrôlés des années 1990 et 2000. En 2015, une revue systématique avec méta-analyse a regroupé vingt essais randomisés contrôlés et rapporté des améliorations cliniquement significatives et durables de la latence d’endormissement, du temps d’éveil intra-sommeil et de l’efficacité du sommeil, avec des effets maintenus en suivi (Trauer, Qian, Doyle, Rajaratnam, & Cunnington, 2015). Les réplications indépendantes ont continué à converger vers des tailles d’effet similaires.

En 2021, l’American Academy of Sleep Medicine a émis une recommandation de pratique clinique plaçant la TCC-I comme traitement de première intention du trouble d’insomnie chronique chez l’adulte — une recommandation forte, soutenue par des preuves de qualité modérée à élevée (Edinger et al., 2021).

Cette séquence — mécanisme, ECR, réplication, revue systématique, recommandations — est ce que la formule scientifiquement validé devrait sous-entendre quand elle est utilisée avec rigueur. Il vaut aussi la peine de noter que le parcours a pris environ quarante ans, depuis les premières interventions comportementales sur le sommeil des années 1970 jusqu’à la recommandation de première intention de 2021. La validation, quand elle est réelle, est patiente.

Une méthode où la validation précoce n’a pas tenu : l’entrainement par intégration auditive

Un contraste instructif — et un cas historique propre — est l’entrainement par intégration auditive (Auditory Integration Training, AIT), introduit par Berard dans les années 1980 et largement promu dans les années 1990 pour l’autisme, les troubles attentionnels, et toute une gamme de conditions développementales. Les premières publications et les rapports cliniques décrivaient la méthode comme scientifiquement validée. Ateliers, certifications et ventes d’équipement ont suivi.

La réplication indépendante raconte une autre histoire. À mesure que la littérature s’accumulait, les sociétés savantes ont commencé à regarder de plus près. En 2004, l’American Speech-Language-Hearing Association a émis une prise de position concluant que l’AIT n’avait pas atteint les standards scientifiques d’efficacité (American Speech-Language-Hearing Association, 2004). En 2011, une revue Cochrane a rassemblé les essais randomisés disponibles — six études, 171 participants au total — et a conclu sans ambigüité : il n’existe pas de preuves soutenant l’usage de l’entrainement par intégration auditive à ce jour (Sinha, Silove, Hayen, & Williams, 2011).

Ce qui est instructif dans le cas de l’AIT, ce n’est pas que des rapports précoces prometteurs se soient révélés inexacts. Cela arrive souvent, dans de nombreux domaines, et fait partie de la façon dont la science se corrige elle-même. Ce qui est instructif, c’est que la formule scientifiquement validé a été utilisée avec confiance alors que le parcours probatoire en était encore à ses toutes premières étapes. La formule allait plus vite que les preuves. La réplication indépendante, quand elle a fini par se faire, a effectué le travail que la formule avait promis.

Comment vérifier où une méthode se situe réellement

La bonne nouvelle, c’est que situer une revendication clinique sur le parcours probatoire est surtout une question de savoir où chercher. PubMed reste l’outil unique le plus efficace. Quelques étapes pratiques :

1. Cherchez le nom de la méthode, plus la condition d’intérêt, plus les filtres pour revues systématiques et méta-analyses. Si des revues crédibles existent, lisez celles-ci d’abord.

2. S’il n’existe pas de revue systématique, cherchez les essais randomisés contrôlés. Notez la taille des échantillons, les comparateurs, et si les essais émanent d’une réplication indépendante ou s’ils proviennent tous du même groupe.

3. Lisez les affiliations des auteurs et les déclarations de conflits d’intérêts. Des essais menés par les concepteurs d’une méthode, sur des patients sélectionnés par les concepteurs de la méthode, évalués sur des mesures de résultats conçues par les concepteurs de la méthode, ne constituent pas le même objet probatoire que des réplications indépendantes.

4. Cherchez les recommandations de pratique clinique émises par les sociétés savantes du domaine concerné. Les recommandations ne sont pas infaillibles, mais leur absence est informative quand une revendication de validation est faite.

5. Si la littérature est rare, c’est en soi un résultat. Une revendication de validation scientifique en l’absence d’essais répliqués est une revendication qui n’a pas encore été méritée — quelle que soit la confiance avec laquelle elle est formulée.

Rien de tout cela ne nécessite une expertise statistique (vous pouvez recommencer à respirer). Il suffit de quelques minutes sur PubMed et de la volonté de lire ce qui s’y trouve plutôt que ce que la communication laisse entendre.

Une grille de lecture pour les revendications « scientifiquement validé »

Quand vous rencontrerez la formule, six questions suffisent généralement à situer la revendication sur la carte probatoire.

1. Quel type d’essais soutient la revendication ? Séries de cas, ECR uniques, plusieurs ECR, revues systématiques, recommandations ? Étapes différentes, poids différents.

2. Qui a mené les essais ? Les investigateurs sont-ils indépendants des concepteurs de la méthode, ou la plupart des études proviennent-elles d’un réseau fermé ?

3. Le résultat a-t-il été répliqué ? La réplication indépendante est l’étape à partir de laquelle un résultat commence à paraitre fiable.

4. Les mesures de résultats sont-elles validées de manière externe ? Ou les essais utilisent-ils des systèmes de cotation internes à la méthode ?

5. La méthode a-t-elle été incluse dans des recommandations de pratique clinique ? Si oui, par quelle société, avec quelle force de recommandation ? Si non, pourquoi ?

6. L’étendue de la revendication correspond-elle à l’étendue des preuves ? Une revendication qui couvre de nombreuses conditions sans rapport entre elles exige des preuves dans chacune de ces conditions, pas seulement dans l’une d’elles.

Utilisées ensemble, ces questions ne produisent pas un verdict. Elles produisent une position sur la carte probatoire. À partir de là, le lecteur peut décider du poids que mérite la revendication — et de la part d’incertitude honnête qui reste à respecter (Et peut-être éviter de rejeter trop vite une méthode qui n’en est qu’au début de son parcours).

Conclusion

Dans un domaine où les revendications circulent plus vite que les réplications, la formule scientifiquement validé fait un vrai travail. Parfois elle désigne une méthode qui a franchi toutes les étapes du parcours probatoire. Parfois elle désigne une méthode dont le parcours n’a fait que commencer. La formule, en elle-même, ne dit pas au lecteur de laquelle il s’agit.

Ce n’est pas un défaut de la formule. C’est une caractéristique des preuves cliniques. La validation est un processus, pas un statut. Elle s’accumule lentement, à travers les essais et les réplications, les synthèses et les recommandations. Elle peut aussi caler, ou s’inverser, quand la réplication indépendante ne confirme pas ce que les premières études suggéraient. Les deux directions font partie du fonctionnement de la science.

La question la plus utile à garder sous la main quand la formule apparait est aussi la plus simple :

Qu’est-ce qui, exactement, a été validé — et par qui ?

References

• American Speech-Language-Hearing Association. (2004). Auditory integration training [Position Statement]. https://www.asha.org/policy/

• Edinger, J. D., Arnedt, J. T., Bertisch, S. M., Carney, C. E., Harrington, J. J., Lichstein, K. L., Sateia, M. J., Troxel, W. M., Zhou, E. S., Kazmi, U., Heald, J. L., & Martin, J. L. (2021). Behavioral and psychological treatments for chronic insomnia disorder in adults: an American Academy of Sleep Medicine clinical practice guideline. Journal of Clinical Sleep Medicine, 17(2), 255–262. https://doi.org/10.5664/jcsm.8986

• Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124

• Sinha, Y., Silove, N., Hayen, A., & Williams, K. (2011). Auditory integration training and other sound therapies for autism spectrum disorders. Cochrane Database of Systematic Reviews, 12, CD003681. https://doi.org/10.1002/14651858.CD003681.pub3

• Straus, S. E., Glasziou, P., Richardson, W. S., & Haynes, R. B. (2018). Evidence-based medicine: How to practice and teach EBM (5th ed.). Elsevier.

• Trauer, J. M., Qian, M. Y., Doyle, J. S., Rajaratnam, S. M. W., & Cunnington, D. (2015). Cognitive behavioral therapy for chronic insomnia: a systematic review and meta-analysis. Annals of Internal Medicine, 163(3), 191–204. https://doi.org/10.7326/M14-2841