Les critères de qualité de la recherche qualitative Big Q

Introduction : le problème des critères

La question des critères de qualité est un débat important de la recherche en général, et de la recherche qualitative en particulier. Sans critères reconnus et partagés par la communauté scientifique établissant le sérieux, la rigueur, la qualité d’une étude, celle-ci ne peut prétendre produire un savoir qui dépasse le cadre de la spéculation, de la conjecture, de la pétition de principe. Alors, une discipline sans cadre clair d’évaluation s’en trouve fragilisée institutionnellement, et soumise à des critiques légitimes sur la fiabilité et le sérieux des résultats présentés.

Ce débat s’ouvre sous des formes particulières en matière de Big Q, puisque les inscriptions ontologiques et épistémologiques des recherches qui y sont conduites tendent à rejeter les valeurs qui fondent le champ du postpositivisme, et avec elles les critères qui établissent la qualité des travaux qui s’y attachent, comme l’objectivité, la fiabilité, la reproductibilité, la généralisation statistique … Le champ Big Q refuse frontalement la domination illégitime d’un modèle hypothético-déductif, du falsisficationnisme envisagé comme seul modèle viable d’évaluation appliqué à tous les paradigmes scientifiques.

De nombreux chercheurs ont donc travaillé à établir d’autres critères et à en faire reconnaitre la légitimité. Si ces chercheurs se distinguent par leurs approches, ils se retrouvent sur un point fondamental qui ne cesse de faire surface au fil de ces pages : la qualité d’une étude Big Q repose sur une articulation cohérente entre question de recherche, approche ontologique, épistémologique, axiologique et méthodologique. Dans ce contexte, la réflexivité joue un rôle fondamental puisqu’elle soutient l’argumentation du chercheur dans la démarche d’articulation entre ces différentes composantes, et éclaire la place particulière qui est la sienne dans le processus de production des connaissances.

Les paradigmes en compétition

La visée de cet article est, avant tout, pédagogique. Il propose de fournir aux étudiants les indications issues des grilles les plus notables et actuelles du champ, pour leur permettre de mener à bien des recherches qualitatives d’inspiration Big Q, structurées autour de repères rigoureux et reconnus.

Je n’aborderais donc pas la grille COREQ, dont les critères sont explicitement orientés par le postpositivisme et une démarche de vérification, d’objectivation.

Par ailleurs, et malgré tout l’intérêt que je porte à ces travaux, je n’entrerai pas en détail dans les propositions fondatrices de Guba et Lincoln (1994), qui ont contribué à légitimer l’idée selon laquelle la qualité d’une recherche ne peut être évaluée a priori, sans connaître le paradigme à laquelle elle s’adosse. Ils ont contribué à souligner la légitimité des différents paradigmes de recherche, et leurs apports ont notamment permis de penser la notion même d’incongruence méthodologique, l’importance de la cohérence entre les inscriptions ontologiques/épistémologiques et les méthodes mobilisées pour l’étude d’un objet particulier. Les critères de fiabilité (Trustworthiness) et d’authenticité, retravaillés au fil du temps, restent aujourd’hui des concepts organisateurs de ce qui va suivre.

Le « grand chapiteau »

Après ce tour d’horizon des positions fondatrices, force est de constater qu’aujourd’hui, les propositions de Tracy (2010) figurent parmi les grilles et critères les plus citées et reconnues depuis une quinzaine d’année. Sa popularité s’explique certainement par l’objectif assumée de son approche critérielle, visant l’universalité dans leurs fins et la flexibilité dans leurs moyens. En d’autres termes, les critères, sont, pour Tracy, les outils d’un dialogue, de la transmission sur le plan pédagogique et de la défense de l’approche qualitative en général au niveau institutionnel ; dans le même temps, ils sont pensés pour respecter et s’adapter à la diversité des formes paradigmatiques que peuvent prendre les approches qualitatives. La métaphore du grand chapiteau (Big Tent), représente cette ambition de couvrir une multiplicité d’approches.

Avec cette proposition, Tracy entend déplacer la problématique des grilles d’évaluation depuis la préconisation de pratiques (triangulation, saturation, validation par les pairs) jusqu’à la question des buts visés par ces dernières, ce qui sous-entend une reconsidération de l’intérêt porté à l’articulation entre buts, spécifiques au paradigme et à la question de recherche, et pratiques pertinentes pour les atteindre.

Tracy propose donc huit critères (le Big Tent), envisagés comme autant d’objectifs, des buts universels, atteignables par des voies spécifiques et adaptées à chaque approches. Ces buts sont :

1. Un objet pertinent (Worthy Topic) : l’objet étudié doit être pertinent, original ou révélateur d’un point aveugle ;
2. Rigueur et richesse (Rich Rigor) : pertinence des cadres théorique mobilisés ; données riches, denses et adaptées à la question ; analyses appropriées et suffisamment détaillées
3. Sincérité (Sincerity) : auto-réflexivité (honnêteté sur ses choix, positions, valeurs et sur la manière dont ils ont joué dans la recherche) et transparence (honnêteté sur le processus réel de la recherche : échecs, difficultés, surprises et imprévus) ;
4. Crédibilité (Credibility) : les sous-critères qui constituent la crédibilité visent à produire un rapport de recherche, des analyses « dignes de confiance » à partir d’une description dense (thick description : donner des détails concrets pour que le lecteur puisse juger de la pertinence des analyses), de la triangulation ou cristallisation (la triangulation suppose de mieux cerner la réalité « objective » ; la cristallisation ouvre à une compréhension plus complexe d’un même objet, depuis des positions différentes), de la multivocalité (faire place aux cas négatifs, aux voix marginales) et des member reflections (offrir un espace de dialogue entre les participants, les chercheurs et leurs analyses) ;
5. Résonance (Resonance) : vise à accroitre la capacité du texte à affecter et mobiliser son lecteur, par l’esthétique (la qualité du texte pensée comme vecteur d’engagement), la généralisation naturaliste et la transférabilité (le lecteur peut tirer de l’étude et de son contexte des enseignements applicables à ses propres préoccupations contextualisées) ;
6. Contribution significative (Significant Contribution) : la recherche ouvre de nouvelles questions conceptuelle, , morales, pratiques, méthodologiques …
7. Éthique (Ethical) : la recherche s’appuie sur une éthique plurielle, processuelle et non figée, organisée sous ses composantes procédurale (comités, consentement), situationnelle (les imprévus du terrain), relationnelle (l’exigence continue de la qualité de la relation aux participants) et de clôture (exiting ethics ; en lien avec la fin et le désengagement du terrain, la restitution des données et les effets des publications sur les personnes rencontrées) ;
8. Cohérence et signifiance (Meaningful Coherence) : l’étude « fait ce qu’elle dit », et mobilise de façon pertinente (big)théorie et concepts, outils, données et analyses pour atteindre les buts annoncés ;

Ces critères viennent donc composer des contrepoints pertinents aux normes postpositivistes fondées sur le réalisme, laissant un espace significatif aux approches relativistes ou réalistes-critiques. L’objectivité et la neutralité ne sont pas ici des enjeux, et sont abordées sous l’angle de la richesse descriptive et de l’honnêteté de la présentation des résultats, des analyses, de leurs limites et des positions d’où elles prennent racine ; le lecteur, également, se voit attribuer une place active dans le jugement qui est fait de la qualité, de la pertinence et de l’utilité de l’étude, évacuant par le fait le principe de standardisation et généralisation fondé sur l’inférence statistique ; enfin, les procédures de croisement des regards, de consultation des données en groupe de pair reconnaît l’existence des approches constructivistes et la manière dont l’étude d’un objet ne s’organise pas nécessairement en direction de la découverte d’une réalité objective et partagée.

Le Big Tent de Tracy constitue un outil particulièrement utile sur le plan pédagogique, qui favorise le dialogue et la reconnaissance de la diversité des approches de la recherche.

Approche contemporaine de la qualité « Big Q »

Braun et Clarke ont énormément contribué à la réflexion autour des critères de qualité des méthodologies qualitatives. Cette réflexion s’est notamment développée autour de la pratique de l’analyse thématique (AT), que je ne développerai pas ici. Deux références majeures en revanche présentent les étapes et la pratique de l’AT dans les détails :

Mon propos portera davantage sur les grandes orientations issues ces applications précises, que les autrices développent dans un article fondamental de 2025 :

Braun et Clarke isolent des critères précis, en termes de pratiques attendues, de pratiques questionnables, de recommandations aux auteurs et reviewers, et déclinés à tous les moments de la recherche et de la rédaction d’articles ou de rapports. Ces critères s’articulent autour de plusieurs grands principes :

La qualité repose sur la cohérence méthodologique

Indépendamment des outils, des choix, des paradigmes, Braun et Clarke insistent sur l’importance de la transparence (la réflexivité) et de l’explicitation des choix qui guident la démarche de recherche, depuis les inscriptions ontologies et épistémologique, la définition de la question, les outils, les analyses et mêmes les procédés rédactionnels mobilisés. La qualité d’une étude ne peut s’évaluer qu’au regard de la cohérence entre ces différents choix, et de leur alignement. Il s’agit du critère de congruence méthodologique.

En appui sur l’Analyse Thématique Réflexive, c’est à dire une forme d’analyse thématique inscrite dans le champ Big Q et explicitement non positiviste, les auteures identifient des « erreurs » et incongruences (des bricolages épistémologiques contradictoires (Finlay, 2021) illustratives, couramment repérées dans la littérature, qui nuisent à la qualité des études, et par là, à la réputation du qualitatif :

• Le fait, par exemple, de considérer que les « thèmes ont émergé » induit une forme de réalisme et d’objectivité dans le processus analytique incompatible avec le travail d’interprétation et la posture réflexive (les thèmes se construisent plus qu’ils ne se découvrent) ; à partir d’une telle proposition, deux épistémologies distinctes se confondent, qui font perdre son sens à la démarche globale ;
• L’importation de procédures comme l’accord inter-juges, l’usage de codebooks, la recherche de saturation, contribuent également au positivism creep, c’est à dire à mobiliser des outils qui supposent l’accès à une vérité objective (réalisme postpositiviste), dans un cadre épistémologique qui, au contraire, l’estime impossible ou le refuse (relativisme constructiviste).

La subjectivité est une ressource et non un biais

Le subjectivité est l’outil principal et nécessaire de la recherche qualitative Big Q (et particulièrement des méthodes comme l’analyse thématique réflexive), a contrario de la tradition post-positiviste qui la traite comme un biais à contrôler. Le champ qualitatif considère ce que le chercheur sait, pense, ressent, ses valeurs, sa positionnalité comme les instruments de la production du sens. La profondeur analytique (dwelling) s’inscrit directement dans la qualité de la présence du chercheur aux données, sa disponibilité, sa patience, sa capacité à se laisser déstabiliser par le matériau (Finlay, 2021).

En contrepartie d’une telle reconnaissance, les méthodologies Big Q exigent un travail de réflexivité conséquent de la part du chercheur, qui doit interroger et documenter rigoureusement l’implication de sa subjectivité dans la construction du sens.

L’aspect pratique de ce travail réflexif fera l’objet d’un article dédié.

Le chercheur doit être averti (knowing researcher)

Le corollaire des deux critères précédents est le nécessité pour le chercheur d’être lui-même informé et averti sur les exigences et les responsabilités qui lui incombent. Si la congruence méthodologique et la réflexivité sont des critères de la qualité des recherches Big Q, alors il est important que le chercheur lui-même soit au courant, reconnaisse le paradigme dans lequel il s’inscrit, et qu’il étudie la manière dont sa subjectivité imprègne les données. Il est notamment attendu du chercheur averti qu’il choisisse sciemment son approche méthodologique, en cohérence avec sa question de recherche ; qu’il justifie et explicite ses choix, ainsi que toutes les décisions qui en découlent ; enfin, les auteures insistent sur ce point, le chercheur averti devrait également prendre en considération la multiplicité des approches possible de l’analyse thématique, et nommer son inscription explicitement. Leur caractère partiellement incommensurables les rend non réductibles à une seule étiquette.

La grille de référence pour l’American Psychological Association (JARS-Qual)

Les JARS-Qual constituent la grille de référence, adoptée par l’APA, en termes de standards de recherche qualitative.

La grille, développée en 2018 par Levitt et al., constitue la première occurrence de la reconnaissance par l’APA des standards propres à la recherche qualitative.

Dans cette perspective encore, le groupe de travail en charge de réaliser la production de cette grille s’appuie sur une démarche similaire à celle de Tracy, et construit un outil de recommandations qui se focalise sur l’information à communiquer dans un article scientifique, plutôt que sur les procédures à employer dans le cadre de la recherche. Ces recommandations se veulent explicitement traduisibles et adaptées aux différents champs paradigmatiques, et s’organisent autour du principe suivant : les travaux de recherche doivent être évalués selon les logiques propres à leur paradigme.

L’intégrité méthodologique

Les travaux de Levitt et al., ont donc pour objectif de fonder et évaluer la qualité des études qualitatives non sur des procédures standardisées, mais sur deux exigences :

Une grille pratique

L’article produit une description riche et détaillée des attendus, section par section, dans un rapport ou un article de recherche du champ qualitatif. Celle-ci inclus donc les éléments qui doivent figurer dans le titre, le résumé, l’introduction, méthode, les résultats/la discussion et la conclusion d’un article ; mais considère aussi la nécessité de réserver une place à l’analyse du positionnement du chercheur.

Sur ce dernier point, la recommandation participe à inscrire la réflexivité dans les standards officiels de l’APA.

Conclusion

Ces quelques éléments ne sont que les grandes tendances qui organisent, orientent et constituent les grilles qui font référence aujourd’hui en matière d’évaluation de la recherche qualitative et au niveau international. J’invite évidemment les étudiants et chercheurs intéressés à se pencher plus en détail sur la forme complète de ces grilles, qui proposent un contrepoint intéressant aux approches et aux critères hypothético-déductifs, qui font de la subjectivité et de la reflexivité des outils de premier ordre.