Programme international pour le suivi des acquis des élèves (PISA)

Information détaillée pour 2012

Le Programme international pour le suivi des acquis des élèves (PISA) est une évaluation à l'échelle internationale des habiletés et des connaissances des jeunes de 15 ans dans le but de déterminer si les élèves qui sont sur le point de terminer leur scolarité obligatoire ont acquis les connaissances et les habiletés qui sont essentielles à leur pleine participation à la société.

Date de la parution - 3 décembre 2013

• Questionnaire(s) et guide(s) de déclaration
• Aperçu
• Sources de données et méthodologie
• Exactitude des données

Aperçu

Le Programme international pour le suivi des acquis des élèves (PISA) est une évaluation à l'échelle internationale des habiletés et des connaissances des jeunes de 15 ans dans le but de déterminer si les élèves qui sont sur le point de terminer leur scolarité obligatoire ont acquis les connaissances et les habiletés qui sont essentielles à leur pleine participation à la société. PISA est élaboré conjointement par les pays membres de l'Organisation pour la coopération et le développement économiques (OCDE).

L'enquête recueille des données transversales, et utilise un nouvel échantillon de jeunes de 15 ans pour chaque cycle de l'enquête. Les évaluations du PISA se font tous les trois ans et sont axées sur trois domaines : la lecture, les mathématiques et les sciences. Bien que les trois domaines soient au centre de chaque cycle, le deux tiers du temps d'évaluation de chaque cycle sera consacré à un domaine « principal ».

Une base de données internationale, incluant les données canadiennes et la documentation complète pour cette base de données, se trouve à : www.pisa.oecd.org.

Période de référence : L'année scolaire (septembre - mai)

Période de collecte : Avril à mai

Sujets

• Éducation, formation et apprentissage
• Littératie

Sources de données et méthodologie

Population cible

La population d'enquête comprend des jeunes âgés de 15 ans qui fréquentaient un établissement scolaire dans l'une des 10 provinces du Canada. Les écoles sur les réserves indiennes ont été exclues, ainsi que d'autres types d'écoles pour lesquelles il aurait été impossible d'administrer l'enquête, telles que l'enseignement à domicile et les écoles pour les étudiants ayant des besoins spéciaux. Ces exclusions représentent moins de 4 % des jeunes âgés de 15 ans au Canada.

Élaboration de l'instrument

Un certain nombre d'élèves dans chacune des écoles sélectionnées ont été choisis au hasard pour participer à une évaluation de base sur papier en lecture, en mathématiques et en science et répondre à des questions au sujet de : leur école, leurs intérêts, leurs expériences à l'école et au travail (par exemple, les activités parascolaires, le bénévolat et le travail d'été) et leur famille (par exemple, la profession des parents, et le rôle des parents dans l'éducation de leur jeune).De plus, un sous-échantillon d'environ 15 élèves a été sélectionné de façon aléatoire pour répondre aux évaluations électroniques du PISA en mathématiques, en lecture et en résolution de problèmes

Dans PISA 2012, un test de conception rotatif a été utilisé pour évaluer les performances des élèves en lecture, en mathématiques, et en culture scientifique. Ce type de conception de test assure une large couverture de contenu tout en gardant un fardeau de test peu élevé pour les élèves. Treize carnets d'examen différents ont été distribués au hasard aux élèves. Ces carnets incluaient des questions évaluant la lecture, les mathématiqueset la culture scientifique, mais les carnets ne mesuraient pas tous les mêmes « domaines ». Les mathématiques (le principal « domaine » du cycle 5) était évaluée dans tous les carnets tandis que la lecture et la science (« domaines » mineurs) étaient évaluées uniquement dans des carnets sélectionnés. Un carnet d'examen était assigné aux élèves de façon aléatoire à l'intérieur de chaque école échantillonnée.

Échantillonnage

Il s'agit d'une enquête transversale par échantillon.

Plus de 65 pays ont participé à l'enquête du PISA en 2012. Dans chaque pays, entre 4 000 et 10 000 élèves de 15 ans ont participé à l'enquête du PISA.

Au Canada, environ 20 000 élèves âgés de 15 ans sélectionnés dans plus de 850 écoles ont participé. Un vaste échantillon canadien était requis afin d'obtenir des estimations fiables relatives à chaque province ainsi qu'aux systèmes scolaires anglophone et francophone en Colombie-Britannique, en Alberta, au Manitoba, en Ontario, au Québec, au Nouveau-Brunswick et en Nouvelle-Écosse.

L'échantillon du PISA 2012 pour le Canada était un échantillon stratifié à deux degrés. Le premier degré consistait à échantillonner diverses écoles fréquentées par des élèves de 15 ans. Les écoles ont été échantillonnées systématiquement, les probabilités étant proportionnelles à la taille, laquelle était fonction du nombre estimatif d'élèves admissibles (de 15 ans) inscrits à l'école. Au deuxième degré du processus de sélection, des élèves ont été échantillonnés dans les écoles échantillonnées. Une fois les écoles sélectionnées, une liste de tous les élèves de 15 ans dans chaque école échantillonnée a été dressée. À partir de cette liste, jusqu'à 35 élèves ont ensuite été sélectionnés avec des probabilités égales. Si moins de 35 élèves étaient inscrits, tous les élèves de 15 ans ont été sélectionnés. De plus, à Terre Neuve et Labrador, à l'Île-du-Prince-Édouard, en Nouvelle-Écosse, au Nouveau Brunswick et au Québec ainsi que dans les systèmes scolaires francophones au Manitoba et en Alberta plus de 35 élèves ont été sélectionnés, lorsque possible, afin d'obtenir des échantillons de la taille requise. En outre, dans chaque école participante, un sous-échantillon d'environ 15 élèves a été sélectionné de façon aléatoire pour répondre aux évaluations électroniques du PISA en mathématiques, en lecture et en résolution de problèmes après avoir répondu aux évaluations de base sur papier.

Sources des données

Il s'agit d'une enquête à participation volontaire.

Les données sont obtenues directement auprès des répondants.

Il y a eu une session à l'école sur les enquêtes PISA. Les répondants devaient compléter l'évaluation de PISA (2 heures), le questionnaire de l'élève de PISA (40 minutes) et une évaluation électronique d'une heure. De plus, les administrateurs scolaires furent également priés de remplir le questionnaire PISA qui leur était destiné. Ce questionnaire prenait 30 minutes à compléter.

Voir le(s) Questionnaire(s) et guide(s) de déclaration.

Détection des erreurs

Une série de vérifications a eu lieu pour s'assurer que les enregistrements soient cohérents et que la collecte et l'entrée de données n'aient pas introduit d'erreurs. Les données déclarées ont été examinées pour assurer l'intégralité et la cohérence en utilisant une vérification automatisée des données suivie d'une révision manuelle.

Imputation

Cette méthodologie ne s'applique pas.

Estimation

L'estimation des caractéristiques de la population à partir d'une enquête repose sur l'hypothèse selon laquelle chaque unité échantillonnée représente, en plus d'elle-même, un certain nombre d'unités non échantillonnées dans la population. Un poids d'enquête de base joint à chaque enregistrement indique le nombre d'unités dans la population qui sont représentées par cette unité dans l'échantillon. Ce poids de base est dérivé à partir du plan de sondage.

À nouveau, un poids initial est dérivé à partir du plan de sondage à deux degrés utilisé pour l'enquête. Un certain nombre d'ajustements de non-réponse sont effectués dans le but d'obtenir des poids finaux. Plus d'un ajustement est nécessaire puisque la non-réponse peut apparaître à plusieurs niveaux (par ex. écoles, élèves, parents, non-consentement des parents des élèves).

Évaluation de la qualité

Afin d'obtenir des données de très bonne qualité, les lignes directrices sur l'administration d'enquêtes internationales ont été suivies, complétées par une stricte observation des politiques et procédures internes de Statistique Canada.

Pour pouvoir participer à l'étude internationale, il était obligatoire de saisir et de traiter les fichiers au moyen de méthodes garantissant une cohérence logique et des niveaux acceptables d'erreur de saisie de données.

Codage :

La qualité et la cohérence du codage des questions entre les pays avaient été validé. Les personnes chargées du codage était enseignants ont reçu une formation intense pour le codage des réponses aux questions au moyen du manuel de codage du PISA. Afin de favoriser l'exactitude du codage et la comparabilité entre les pays, l'enquête du PISA a utilisé un babillard électronique permettant aux pays de poser leurs questions en matière de codage aux spécialistes des domaines, et à ces derniers, de communiquer leurs décisions. Tous les pays participants avaient accès à ces renseignements et pouvaient ajuster leur codage en conséquence. Pour assurer davantage d'exactitude, le consortium a mis au point une étude de fiabilité entre les pays afin de vérifier l'uniformité des responsables du codage d'un pays à l'autre et à faire en sorte qu'ils appliquent les mêmes critères pour le codage des questions. Le codage pour deux cent livrets en anglais et un cent livre en français était complété 4 fois par 4 codeurs différents afin de comparé l'exactitude de codage. Le Canada avait un niveau de fiabilité interne supérieur à 97 % pour toutes les questions.

Contrôle de la divulgation

La loi interdit à Statistique Canada de divulguer toute information recueillie qui pourrait dévoiler l'identité d'une personne, d'une entreprise ou d'un organisme sans leur permission ou sans en être autorisé par la Loi sur la statistique. Diverses règles de confidentialité s'appliquent à toutes les données diffusées ou publiées afin d'empêcher la publication ou la divulgation de toute information jugée confidentielle. Au besoin, des données sont supprimées pour empêcher la divulgation directe ou par recoupement de données reconnaissables.

Afin de prévenir toute divulgation de données, une analyse de confidentialité est faite au moyen du Système généralisé de contrôle de la divulgation (G-Confid) de Statistique Canada. G-Confid est utilisé pour la suppression primaire (divulgation directe), ainsi que pour la suppression secondaire (divulgation par recoupements). Il y a divulgation directe lorsque la valeur dans une cellule de totalisation se compose de peu de déclarants ou que la cellule est dominée par quelques entreprises. Il y a divulgation par recoupements lorsque des renseignements confidentiels peuvent être extraits indirectement en rassemblant des renseignements provenant de différentes sources ou séries de données.

Révisions et désaisonnalisation

Cette méthodologie ne s'applique pas à cette enquête.

Exactitude des données

La qualité des données est affectée par l'échantillonnage mais aussi par les erreurs non dues à l'échantillonnage. Les erreurs non dues à l'échantillonnage ont été minimisées par le truchement du « testing » (groupes de discussion, enquête pilote et enquête principale); de la formation du personnel des bureaux régionaux; et de l'observation par le personnel du bureau principal. Des mesures d'assurance de qualité ont été mises en place à chacune des étapes de l'enquête (collecte, traitement, etc.) afin d'évaluer la qualité des données.

Chaque pays participant au PISA a tâché de maximiser la couverture de la population cible du PISA dans les écoles échantillonnées. Dans chaque école échantillonnée, la liste de tous les élèves admissibles, soit ceux de 15 ans, sans égard à l'année scolaire, a d'abord été dressée. Les élèves échantillonnés devant être exclus par l'école devaient néanmoins être inclus dans la documentation d'échantillonnage, et il fallait dresser une liste indiquant les motifs de leur exclusion.. Les élèves pouvaient être exclus s'ils entraient dans l'une des trois catégories internationales suivantes : i) élèves ayant une incapacité fonctionnelle : l'élève a une incapacité physique permanente allant de modérée à grave qui l'empêche de se soumettre aux tests du PISA; ii) élèves ayant une incapacité intellectuelle : l'élève a une incapacité mentale ou affective et un retard de développement cognitif qui l'empêchent de se soumettre aux tests du PISA; iii) élèves ayant une connaissance limitée de la langue d'évaluation : l'élève ne peut ni lire ni parler aucune des langues utilisées pour l'évaluation dans le pays et serait incapable de surmonter la barrière linguistique en situation de test (habituellement, un élève ayant reçu moins d'un an d'enseignement dans la langue d'évaluation peut être exclu).

Le taux d'exclusion des élèves pondéré pour le Canada dans son ensemble était de 5,5%.

Pour le PISA, les normes de qualité des données requièrent des taux minimums de participation des écoles et des élèves, afin de réduire la possibilité d'un biais de réponse. Au niveau national, un taux de réponse minimum de 85% était requis pour les écoles sélectionnées initialement. En outre, les taux de réponse des écoles étaient considérés comme acceptables lorsque le taux initial se situait entre 65% et 85% et que des écoles de remplacement ont été sélectionnées pour obtenir un taux de réponse d'au moins 85 %. Les écoles dont le taux de participation des élèves se situait entre 25% et 50% n'ont pas été comptées comme écoles participantes, mais les données pour ces écoles ont été incluses dans la base de données. Les écoles dont le taux de participation des élèves était inférieur à 25% n'ont pas été comptées comme écoles participantes et leurs données ont été exclues de la base de données.

Le PISA 2012 exige en outre un taux de participation des élèves minimum de 80% dans l'ensemble des écoles participantes (celles faisant partie de l'échantillon original ainsi que les écoles de remplacement) au niveau national.. À l'échelle pancanadienne, 907 écoles ont été sélectionnées pour participer au PISA 2012 et 828 de ces écoles sélectionnées initialement y ont participé. Au lieu de calculer les taux de participation des écoles en divisant le nombre d'écoles participantes par le nombre total d'écoles, les taux de réponse des écoles ont été pondérés selon le nombre d'élèves de 15 ans inscrits dans chaque école.. À l'échelle pancanadienne, le taux de réponse des écoles était de 93%. Au niveau des élèves, le taux de réponse du Canada après le remplacement était de 81%.

Des indicateurs additionnels de qualité des données sont présentés dans toutes les publications de PISA. On recommande que toute estimation qui est basée sur moins de 30 observations ou dont le CV est supérieur à 33,3 % ne soit pas diffusée.