--- tags: expérimentation, Éléa, métacognition --- # Expérimentation de l’expression du degré de certitude dans un test Éléa ## Introduction Tester ses connaissances tout en recevant des rétroactions sur ses réponses, a une influence positive sur l’apprentissage. De nombreux travaux de recherche sur cet effet "testing" ont montré que cette stratégie est bien plus efficace que de relire son cours (Roediger & Karpicke, 2006 ; Yang et al., 2021). Utilisés en évaluation formative, les QCM sont une modalité simple pour permettre aux élèves de tester leurs connaissances. Ils permettent des usages réguliers avec un feedback automatique et immédiat. Ils sont cependant souvent associés à des savoirs découpés, centrés sur des objectifs de mémorisation. L'expression du degré de certitude associé à chaque réponse donnée est une des méthodes permettant d'améliorer les QCM afin d'aborder des objectifs de haut niveau cognitif et ainsi favoriser le développement de la métacognition chez les apprenants. Les compétences métacognitives impactent (et même prédisent) significativement les résultats académiques : *« les performances obtenues aux examens sont prédites par l’utilisation de stratégies d’élaboration et par des activités d’autorégulation lors des apprentissages dues à des compétences métacognitives »* (Amadieu & Tricot, 2015). Il a été déjà été montré que l'utilisation de QCM avec indication des degrés de certitudes auprès d'étudiants du supérieur permet notamment : * de fournir une rétroaction plus significative en distinguant les apprenants chanceux et les apprenants mal informés ; * d'améliorer la rétention des réponses correctes données avec une faible certitude ; * de découvrir des représentations erronées de concepts disciplinaires ; * d'identifier des stratégies d’apprentissages mal adaptées ; * de réaliser une autosurveillance de ses connaissances. L'expérimentation proposée a pour but de voir dans quelle mesure ces résultats sont transposables aux élèves du secondaire en : * questionnant la pertinence pédagogique de proposer des QCM avec expression des degrés de certitude en collège et en lycée ; * testant dans Éléa l’utilisation pratique d’un plugin permettant aux élèves d'exprimer leur degré de certitude ainsi que de saisir des commentaires métacognitifs sur leurs apprentissages et erreurs ; * fournissant des données qualitatives et quantitatives pouvant être utilisées dans des recherches scientifiques au sujet des améliorations de la métacognition des élèves du secondaire induites par l'utilisation de QCM avec expression des degrés de certitude. ## Participants Enseignants de Physique-Chimie et leurs élèves en collège ou lycée de la région académique Auvergne-Rhône-Alpes. Les enseignants-chercheurs Julien Douady et Christian Hoffmann de l’Université Grenoble-Alpes (Laboratoire d'Informatique de Grenoble, équipe Modèles et Technologies pour l'Apprentissage Humain). La DRANE de la région académique Auvergne-Rhône-Alpes. Les IA-IPR de Physique-Chimie de la région académique Auvergne-Rhône-Alpes. ## Hypothèses initiales - Avec l’accompagnement d’un enseignant, les élèves de collège et lycée comprennent le fonctionnement et l’utilité de l’échelle des degrés de certitude pour progresser. En reproduisant le processus régulièrement, les élèves améliorent leur métacognition, ce qui améliore leurs apprentissages scolaires. - En exprimant leur degré de certitude, les élèves prennent conscience de leurs points forts et faibles, ce qui peut changer l’image qu’ils ont d’eux-même. Ils sont encouragés à réfléchir à leurs processus de pensée et à la façon dont ils arrivent à leurs réponses. Cela peut les aider à développer des stratégies d'apprentissage plus efficaces. - Les degrés de certitude et les commentaires des élèves peuvent donner aux enseignants un aperçu précieux de la compréhension individuelle de chaque élève. Cela permet aux enseignants de proposer un accompagnement personnalisé plus efficace. ## Périmètre L’expérimentation se déroule sur l'année scolaire 2024/2025. Elle sera coordonnée par Julien Douady, Christian Hoffmann, Céline Chambon et Bertrand Chartier. Pour l’académie de Grenoble, l’expérimentation sera adossée à un projet heures numériques 2024/2025. L'expérimentation en classe est précédée d'un travail de préparation, par les enseignants, de la banque de questions utilisée pour alimenter les QCM proposés aux élèves. Avant d'être incorporées dans la banque de questions commune, les questions sont validées par les enseignants et les IA-IPR de physique-chimie. La banque de questions ainsi créée concerne plusieurs niveaux allant du cycle 4 à l’enseignement de spécialité cycle terminal. Elle sera hiérarchisée par niveau puis par item du programme. Dans cette banque, les questions permettant l’expression du degré de certitude (en l’état permis par les plug-ins) seront taguées par un même mot-clé. Cette banque de questions sera diffusée sur toutes les plateformes participant à l’expérimentation dans la Région Auvergne-Rhône-Alpes ou mis à disposition des enseignants par une archive. Certains enseignants pourront participer à l’expérimentation sans avoir participé à la création de la banque de questions. Un espace d’échanges sera mis à disposition par la DRANE. Les enseignants pourront l’utiliser pour solliciter la DRANE ou leur pairs pour une aide technique. Ils pourront solliciter leurs pairs pour obtenir des contenus pédagogiques. Ils pourront poser des questions aux enseignants-chercheurs dans la limite de leur disponibilité. En revanche, les opinions que se forgeront les enseignants sur la validité des hypothèses au fil de l’expérimentation ne devront pas être partagées. Les inspecteurs pourront accéder à cet espace pour être informé des avancées et pourront participer aux échanges. Les deux enseignants-chercheurs disposeront d’un compte ENT leur permettant d'accéder à l’ensemble des plateformes Éléa de la région académique Auvergne-Rhône-Alpes participant à l'expérimentation. Les enseignants-chercheurs signeront un contrat d'utilisation de ce compte rédigé par la DRANE. Les enseignants leur donneront accès à leurs cours avec le rôle d’enseignant. Ils pourront collecter les données produites par les élèves dans les tests avec degrés de certitude à condition qu’elles soient anonymisées : les élèves et leur classe seront représentés par des numéros, à cela s'ajoutera seulement le sexe et le niveau scolaire. A la fin de l’année scolaire les comptes de ces deux enseignants-chercheurs seront détruits. Ils détruiront ces données dans un délai de deux ans. ## Protocole **Au début de l’année scolaire** une visio-conférence et des documents ciblés permettront aux enseignants-chercheurs de former les enseignants concernés aux principes de la métacognition et de l’expression des degrés de certitudes. Le protocole et les attendus seront également présentés aux enseignants à cette occasion. Les classes seront affectées à l'une des conditions suivantes : * Utilisation du plugin par l'élève avec un accompagnement par le professeur concernant à la fois les retours spécifiques donnés par le plugin et la rédaction des commentaires des élèves suite au feedback de la question. * Utilisation du plugin par l'élève avec un accompagnement par le professeur concernant uniquement les retours spécifiques fournis par le plugin. * Utilisation du plugin par l'élève sans accompagnement spécifique du professeur. * Si la taille de l'échantillon le permet, un quatrième groupe proposant des questionnaires identiques mais sans l'expression du degré de certitude pourra être ajouté. Ensuite les enseignants expliqueront à leurs élèves la démarche et les activités qui seront à réaliser durant l'année scolaire. **Après les vacances d’automne**, les professeurs feront passer, dans chaque classe participante, un test récurrent (3 à 5 fois) et commun défini au début de l'année (par exemple des questions portant sur les grandeurs physiques et leurs unités). Ils proposeront l'accompagnement défini par le protocole à cette classe. Les professeurs pourront également utiliser les degrés de certitude dans d’autres activités proposées avec leur élèves, en classe ou à la maison mais en appliquant toujours les mêmes principes d’accompagnement que dans les tests récurrents. **En fin de deuxième trimestre**, les enseigants devront renseigner un questionnaire bilan accompagné d'un témoignage. Ils devront également demander à leurs élèves de compléter un questionnaire bilan. Plus tard, les enseignants pourraient être sollicités par un enseignant-chercheur pour un entretien. ## Indicateurs, modalités d’évaluation Plusieurs évaluations sont à prendre en compte : * Un rapport simple faisant bilan des actions et des opinions de l'enseignants sur les hypothèses. (demande DRANE Ac-Grenoble). * Un rapport simple de fonctionnement dans Éléa du plug-in avec le public du secondaire (demande IAM). * Des travaux de recherche des enseignants-chercheurs qui nécessitent un temps plus long de synthèse (demande UGA). Les questionnaires d’évaluation à destination des enseignants et des élèves seront rédigés par les coordonnateurs de l’expérimentation et seront soumis à l’approbation des inspecteurs au cours du premier trimestre de l’année scolaire. Ils devront permettre de répondre aux trois objectifs sans trop solliciter les enseignants et les élèves. Chaque partie procédera à l’analyse et la rédaction d’une synthèse suivant ses attentes et son calendrier. Ces synthèses seront ensuite disponibles en accès libre. Des indicateurs qualitatifs seront privilégiés aux indicateurs quantitatifs. Les questionnaires porteront sur : * la satisfaction et l’utilisabilité (en s'inspirant des précédents travaux des enseignants-chercheurs) ; * le positionnement métacognitif, l'évolution du contenu et de la qualité des commentaires métacognitifs (critères encore à préciser) ; * des témoignages. ## Besoins techniques 1/ Implémentation d’une banque de question commune en Physique-Chimie au niveau d’un ensemble de plateformes. L’intérêt principal de mettre en œuvre une banque de question au niveau de la plateforme est la facilité de correction pour tous les participants en cas de correction d’une erreur, et la possibilité d’utiliser facilement les statistiques globales reliées à chaque question. 2/ Ajout des plug-ins : https://moodle.org/plugins/qbehaviour_certaintywithstudentfbdeferred https://moodle.org/plugins/qbehaviour_certaintywithstudentfeedback https://moodle.org/plugins/quiz_certainty https://moodle.org/plugins/quiz_feedback https://moodle.org/plugins/qbehaviour_studentfeedbackdeferred https://moodle.org/plugins/qbehaviour_studentfeedbackimmediate  Un 7ème plug-in est en cours de développement, permettant la centralisation de certains paramétrages, suite aux remarques formulées lors de la visio de présentation des degrés de certitude (participants UGA, IAM, Éléa). Si ce plug-in est publié rapidement dans le moodle store, il sera intégré dans cette liste. 3/ Modification manuelle de quelques éléments des fichiers de langue si les demandes de correction AMOS n’ont toujours pas été validées. 4/ Modification du CSS: Apparence > Paramètres de votre thème > SCSS brut > ajouter : ``` css .qbehaviour-certaintywithstudentfbdeferred .chart-table { display: none; } ```