Programme pour l'évaluation internationale des compétences des adultes (PEICA)

Information détaillée pour 2012

Le Programme pour l'évaluation internationale des compétences des adultes (PEICA) est un programme international multi cycle et une initiative de l'Organisation de coopération et de développement économiques (OCDE) qui vise à recueillir des renseignements sur les habiletés et compétences des résidents de plusieurs pays, incluant le Canada.

Date de la parution - 8 octobre 2013

• Questionnaire(s) et guide(s) de déclaration
• Aperçu
• Sources de données et méthodologie
• Exactitude des données

Aperçu

Le Programme pour l'évaluation internationale des compétences des adultes (PEICA) est un programme international multi cycle et une initiative de l'Organisation de coopération et de développement économiques (OCDE) qui vise à recueillir des renseignements sur les habiletés et compétences des résidents de plusieurs pays, incluant le Canada.

Le PEICA a été développé à partir de deux enquêtes internationales sur la littératie : l'Enquête internationale sur l'alphabétisation des adultes (EIAA), menée entre 1994 et 1998, et l'Enquête sur la littératie et les compétences des adultes (ELCA), menée entre 2002 et 2006. Avec la première ronde de collecte de données, le PEICA vise à assurer une continuité avec les enquêtes antérieures, et à fournir des renseignements sur l'évolution de la répartition des compétences au fil des ans. Le PEICA vise aussi à élargir les compétences mesurer en incluant la résolution de problèmes dans un environnement technologique et à apporter plus d'information sur les personnes ayant de faibles niveaux de compétence au moyen de l'évaluation des capacités de lecture.

Parmi les utilisateurs de ces données figurent les gouvernements fédéraux et provinciaux, les chercheurs universitaires, les professionnels de la littératie et du développement des compétences, les médias et les membres du public que ces questions intéressent. Les données sont utilisées pour éclairer la prise de décision relative aux politiques, à l'allocation efficace de ressources et à l'élaboration de contenu pour les cours de rattrapage et de développement des compétences et les programmes d'éducation des adultes.

Période de référence : Année civile

Sujets

• Éducation et formation des adultes
• Éducation, formation et apprentissage
• Littératie

Sources de données et méthodologie

Population cible

La population cible comprend les adultes canadiens âgés de 16 à 65 ans ne résidant pas dans des institutions ou sur des réserves autochtones. L'échantillon exclut aussi des familles de membres des forces armées vivant dans des bases militaires, ainsi que les résidents de certaines régions peu peuplées. Une fois combinées, ces exclusions représentent moins de 2 % de la population totale des adultes canadiens âgés de 16 à 65 ans et respectent donc les standards internationaux de l'enquête.

Élaboration de l'instrument

Le questionnaire d'enquête et les tâches psychométriques ont été conçus par un groupe international d'expert dirigé par le consortium international du PEICA. Chaque item de tâche était développé en anglais et constituait l'ensemble d'items maître international qui devait être adapté par chaque pays participant dans sa propre langue. Tous les instruments ont été mis à l'essai dans le cadre d'une enquête pilote menée en 2010. L'instrument psychométrique final a été créé en utilisant les items qui fournissaient les paramètres les plus fiables et les plus stables dans tous trois domaines (littératie, numératie et résolution de problèmes dans des environnements technologiques). Bon nombre des questions sur les antécédents et une sélection d'items en littératie et numératie du PEICA remontaient à l'Enquête sur la littératie et les compétences des adultes (ELCA) de 2003 ou à l'Enquête internationale sur l'alphabétisation des adultes de 1994 afin de procurer un lien psychométrique qui permet de faire des comparaisons entre la répartition des compétences au fil du temps.

Les instruments de l'enquête comprenaient une composante d'Entrée suivie par un questionnaire de contexte, et d'un module d'évaluation des compétences (Test papier-crayon (TPC) ou test assisté par ordinateur (TAO)). L'enquête a été administrée dans le ménage du répondant par un intervieweur de Statistique Canada.

La composante Entrée visait à recueillir des renseignements démographiques sur chacun des membres du ménage. Une fois ces renseignements recueillis, un répondant a été choisi parmi les membres admissibles du ménage. Le questionnaire contextuel a été administré à tous les répondants selon la méthode de l'interview sur place assistée par ordinateur (IPAO). Il a recueilli de l'information sur l'appartenance ethnique, le statut d'immigrant, l'âge et le sexe, l'éducation et la formation , l'information linguistique, l'autoévaluation de la lecture et de l'écriture dans la langue maternelle, la scolarité et l'occupation des parents, la situation et les antécédents de travail, la profession, le secteur d'activité, les salaires, les pratiques de littératie, de numératie et de la technologie au travail et à la maison.

Pour la plupart des répondants, le module d'évaluation des compétences a été complété avec la version TAO. Cependant, une version test papier-crayon (TPC) a été remise aux répondants qui n'avaient jamais utilisé un ordinateur ou à ceux qui avaient échoué une série de tâches élémentaires servant à mesurer leurs habiletés en informatique.

Le TAO a évalué la littératie, la numératie et la résolution de problèmes dans des environnements technologiques. La TPC a évalué la littératie et la numératie et les composantes de la lecture. Ces dernières comportaient de trois sections brèves portant sur la signification des mots (vocabulaire), le traitement des phrases et la compréhension de base des passages.

Échantillonnage

Il s'agit d'une enquête transversale par échantillon.

Le cadre a été le Recensement de 2011 et l'Enquête nationale auprès des ménages (ENM). Le Recensement de 2011 a été utilisé pour l'échantillon général des adultes âgés de 16 à 65 ans, tandis que l'ENM a été utilisé pour les échantillons supplémentaires des autochtones et des immigrants. Lorsque le Recensement fut utilisé comme cadre, seuls les ménages qui n'avaient pas aussi été sélectionnés pour l'ENM étaient éligibles pour être sélectionnés pour cette enquête. Toutefois, certaines exceptions au plan d'échantillonnage sont survenues dans les territoires ou tous les ménages dans une unité de collecte du recensement peuvent avoir été sélectionnés pour l'ENM. Au total, environ 49 000 personnes ont été sélectionnées.

Sélection de l'échantillon est survenue jusqu'à trois étapes. À la première étape, les grappes géographiques ont été sélectionnées. Ces grappes furent stratifiées auparavant en couches urbaines et rurales. Par la suite, les ménages ont été sélectionnés à partir du Recensement ou de l'ENM au sein de chaque grappe sélectionnée. Puis, au sein de chaque ménage, une personne a été choisie pour participer à l'enquête.

La sélection des grappes et des ménages a été réalisée par la probabilité d'échantillonnage systématique proportionnel à la taille. Dans un ménage, une personne a été choisie au hasard.

Sources des données

Collecte des données pour cette période de référence : 2011-11-01 à 2012-06-30

Il s'agit d'une enquête à participation volontaire.

Les données sont obtenues directement auprès des répondants.

L'entrevue se composait de quatre parties principales :

- L'entrée servant à la validation du ménage choisi et à la sélection du répondant

- La composante de questionnaire contextuel

- La composante évaluation des compétences

- La composante sortie qui attribue le code d'entrevue final.

L'entrée, le questionnaire de contexte et la sortie ont été administrés par un intervieweur dans la maison du répondant à l'aide d'interviews assistées par ordinateur (IAO). La composante évaluation était auto administrée et dans la majeure partie du temps sous forme de test assisté par ordinateur (TAO), mais aussi dans certaines conditions sous forme test crayon-papier (TCP).

La section entrée était répondue par n'importe quel membre du ménage. L'adresse était d'abord confirmée afin de s'assurer qu'il s'agissait bien du bon ménage sélectionné. La liste des membres du ménage était ensuite collectée et les membres admissibles étaient identifiés. Par la suite, un membre éligible du ménage était sélectionné au hasard pour répondre au reste de l'entrevue. Aucune entrevue par réponses interposées n'était acceptée.

Voir le(s) Questionnaire(s) et guide(s) de déclaration .

Détection des erreurs

Les données du PEICA ont été recueillies à l'aide d'une application d'interview assistée par ordinateur. Par conséquent, une bonne partie de la détection des erreurs et de la vérification s'est faite durant la collecte. La validation des valeurs non spécifiées était effectuée par l'intervieweur lorsqu'elles étaient signalées par l'application Blaise à l'ordinateur, et l'application assurait automatiquement l'enchaînement des questions d'après la logique prédéterminée et les réponses précédentes du répondant.

Une fois les données recueillies et transmises au Bureau central, la détection des erreurs se faisait en trois étapes. La première étape consistait à procéder à l'épuration générale des données afin : 1) d'éliminer les enregistrements en double du fichier, 2) de vérifier le questionnaire de base en se référant au fichier de l'échantillon, 3) de vérifier l'intégrité du code d'état, 4) de repérer les enregistrements manquants, et 5) de créer un fichier de réponses.

L'étape de vérification du traitement des données comprenait une série d'étapes de vérification à réaliser. Premièrement, une vérification descendante a épuré les chemins empruntés par erreur durant l'interview. Cette étape était suivie de contrôles de cohérence pour certaines variables clés. Elle assurait une concordance entre des variables telles que l'âge, l'année d'immigration, le nombre d'années de scolarité officielle, l'âge du répondant lorsqu'il a entrepris une formation et l'âge du répondant lorsqu'il a atteint son plus haut niveau de scolarité.

Imputation

L'imputation a été minimale. Seule la langue du test a été imputée pour les répondants qui n'avaient pas complété la section d'évaluation des compétences.

Estimation

Les estimations sont produites à l'aide de poids attribués à chaque unité échantillonnée. Le poids d'une unité échantillonnée indique le nombre d'unités dans la population représentée par l'unité. Les poids ont été calculés en plusieurs étapes :

1) Un poids initial a été calculé comme l'inverse de la probabilité de sélection de chaque individu dans l'échantillon. La probabilité globale de sélection d'une unité d'échantillonnage est égale au produit de ses probabilités de sélection à chaque phase et à chaque degré de sélection.

2) Les poids ont été ajustés pour tenir compte de la non-réponse. Ce processus consiste à répartir les poids des unités non-répondantes sur les unités répondantes. Il a été appliqué en quatre étapes qui prenaient en compte l'information disponible quant au statut d'éligibilité des ménages non-répondants, le fait que non-réponse était reliée ou non à la littératie et la présence d'un handicap rédhibitoire à la participation à l'enquête.

3) En raison du chevauchement des populations se rapportant aux divers échantillons sélectionnés, les poids de l'échantillon de base et les divers échantillons supplémentaires ont été intégrés à l'aide d'une méthode s'appliquant aux bases de sondage multiples.

4) Les poids ont finalement fait l'objet d'un calage afin de faire concorder certains des totaux produits au moyen des données de l'enquête à des chiffres de population issus d'autres sources.

La qualité des estimations est évaluée à l'aide d'estimations de leur coefficient de variation (CV). Compte tenu de la complexité du plan d'enquête de l'enquête PIAAC, les CV ne peuvent être calculés à l'aide d'une formule simple. On a donc utilisé des poids de rééchantillonnage jackknife pour établir les CV des estimations.

Évaluation de la qualité

Afin d'obtenir des données de très bonne qualité, les lignes directrices sur l'administration d'enquêtes internationales ont été suivies, complétées par une stricte observation des politiques et procédures internes de Statistique Canada.

Les interviews étaient menées à domicile de façon neutre et sans pression. Une formation et une supervision des intervieweurs étaient assurées, mettant l'accent sur l'importance des précautions à prendre contre le biais de non-réponse. Les intervieweurs avaient spécifiquement comme instruction de retourner plusieurs fois chez les non-répondants pour obtenir le plus de réponses possible. Leur travail était supervisé au moyen de vérifications fréquentes de la qualité, particulièrement au début de la collecte des données. Environ dix pourcent des interviews de chacun des interviewers étaient validés, pour un interviewer sénior.

Pour pouvoir participer à l'étude internationale, il était obligatoire de saisir et de traiter les fichiers au moyen de méthodes garantissant une cohérence logique et des niveaux acceptables d'erreur de saisie de données.

La notation des items psychométriques dans le TAO était faite automatiquement par l'ordinateur. La qualité et la cohérence de la notation entre les pays avaient été validé durant l'enquête pilote. Les personnes chargées de la notation ont reçu une formation intense pour la notation des réponses aux questions sur papier au moyen du manuel de notation du PEICA. Afin de favoriser l'exactitude de la notation et la comparabilité entre les pays, l'enquête du PEICA a utilisé un babillard électronique permettant aux pays de poser leurs questions en matière de notation aux spécialistes des domaines, et à ces derniers, de communiquer leurs décisions. Tous les pays participants avaient accès à ces renseignements et pouvaient ajuster leur notation en conséquence. Pour assurer davantage d'exactitude, la qualité de la notation a été contrôlée de deux façons.

Premièrement, près de 40 % des évaluations papier ont été scorées en double. L'objectif de la notation du PEICA était d'atteindre un niveau de fiabilité à l'intérieur d'un pays de 0,95 (95 %), pour toutes les questions, et d'au moins 85 % pour chaque question. En fait, dans la plupart des cas, la fiabilité de la notation à l'intérieur d'un pays était supérieure à 95 %. En deuxième lieu, le consortium a mis au point une étude de fiabilité entre les pays où un ensemble de livrets d'ancrage ont servi à vérifier l'uniformité des responsables de la notation d'un pays à l'autre et à faire en sorte qu'ils appliquent les mêmes critères pour la notation des questions. Les livrets d'ancrage comprenaient un ensemble de 180 livrets complétés en anglais, qui ont été notés à deux reprises par chaque pays. Le Canada avait un niveau de fiabilité interne supérieur à 97 % pour toutes les questions.

Codage
En plus, des pratiques standard de contrôle de qualité effectuées par la Division des opérations et de l'intégration à Statistique Canada pour pour le codage, nous avons effectué, de mesures additionnelles de contrôle de la qualité, exigées par le consortium international du PEICA. Ces dernières visaient à s'assurer que le codage soit de qualité acceptable et qu'il soit effectué de façon uniforme à l'intérieur d'un pays et d'un pays à l'autre.

Ces procédures comprenaient : 50 % du codage manuel des occupations et des secteurs d'industries étaient vérifiés par un autre codeur. Le taux moyen d'erreur pour la codification manuelle n'excédait pas 10% pour les codes à 4 niveaux. Aussi nous avons vérifié la qualité du codage du plus haut niveau de scolarité, de l'industrie et de l'occupation des répondants du PEICA contre la distribution de ces mêmes variables dans l'EPA. Les distributions étaient comparables.

Contrôle de la divulgation

La loi interdit à Statistique Canada de divulguer toute information recueillie qui pourrait dévoiler l'identité d'une personne, d'une entreprise ou d'un organisme sans leur permission ou sans en être autorisé par la Loi sur la statistique. Diverses règles de confidentialité s'appliquent à toutes les données diffusées ou publiées afin d'empêcher la publication ou la divulgation de toute information jugée confidentielle. Au besoin, des données sont supprimées pour empêcher la divulgation directe ou par recoupement de données reconnaissables.

Révisions et désaisonnalisation

Cette méthodologie ne s'applique pas à cette enquête.

Exactitude des données

Le niveau de couverture de la population Canadienne âgée de 16 à 65 ans par le Recensement de 2011, dont les données ont servi de base de sondage pour l'enquête conjointement aux données de l'enquête nationale sur les ménages, est évalué à 96,4 % au niveau national, de 94,9 % à 98,6 % selon la province et de 91,5 % à 94,6 % dans les territoires.

TAUX DE RÉPONSE :

Le taux de réponse a été de 58,3 % à l'échelle nationale, et varie de 50,7 % à 63,9 % selon la province ou le territoire.

Coefficient de variation (CV) :
La qualité des estimations est évaluée à l'aide d'estimations de leur coefficient de variation (CV). Des poids de rééchantillonnage jackknife sont utilisés pour établir les CV des estimations. Les lignes directrices suivantes sont recommandées :
- Si le CV est de moins de 16 %, l'estimation peut être utilisée sans restriction.
- Si le CV se situe entre 16 % et 33 %, l'estimation doit être utilisée avec prudence.
- Si le CV est de 33 % ou plus, l'estimation ne doit pas être diffusée.

ERREUR NON DUE À L'ÉCHANTILLONNAGE

Lorsqu'elles sont réparties sur un grand nombre d'observations, les erreurs non liées à l'échantillonnage qui surviennent au hasard ont peu d'incidence sur les estimations tirées de l'enquête. Toutefois, les erreurs qui surviennent systématiquement entraînent des distorsions dans ces estimations. Les responsables de l'enquête ont donc consacré beaucoup de temps et d'efforts à réduire les erreurs non liées à l'échantillonnage. Pour vérifier la qualité des données, on a pris des mesures d'assurance de la qualité à chaque étape du cycle de collecte et de traitement des données. Ces mesures comprenaient le recours à des intervieweurs hautement qualifiés, la formation intensive des intervieweurs à l'égard des méthodes d'enquête et du questionnaire, l'observation des intervieweurs pour déceler des problèmes 115 de conception du questionnaire ou des erreurs d'interprétation des directives, une procédure visant à réduire au minimum les erreurs de saisie des données, ainsi que des contrôles du codage et de la révision pour vérifier la logique de traitement.

BIAIS DE NON-RÉPONSE

L'incidence de la non-réponse sur les résultats d'une enquête constitue une importante source d'erreurs non liées à l'échantillonnage. Il peut s'agir d'une non-réponse partielle (défaut de répondre à une ou à quelques questions seulement) ou d'une non-réponse totale. Il y a non-réponse totale lorsque l'intervieweur ne peut communiquer avec le répondant, qu'aucun membre du ménage ne peut fournir les renseignements demandés ou que le répondant refuse de participer à l'enquête. Le taux national de non-réponse au PEICA se situait autour de 38%. L'analyse des caractéristiques des non-répondants au PEICA donne à entendre que ces derniers se concentrent dans des groupes donnés (ainsi, la non-réponse ne semble pas avoir été aléatoire). On a réglé le problème de la non-réponse totale en rajustant le poids des ménages ayant répondu à l'enquête, compensant ainsi pour ceux qui n'ont pas répondu. Ces ajustements ont été apportés en utilisant entre autres des variables qui étaient en lien avec la probabilité de réponse, aidant la diminution du biais de non-réponse. Dans la plupart des cas, il y a non-réponse partielle à une enquête lorsque le répondant ne comprend pas ou interprète mal une question, refuse de répondre à une question ou ne se rappelle pas les renseignements demandés. En général, la fréquence des non-réponses partielles au PEICA était faible.

ERREUR DE COUVERTURE

L'utilisation du Recensement de 2011 a permis d'assurer que la base de sondage du PEICA était aussi inclusive que possible et que les moindres exclusions seraient effectivement prises en compte dans le plan d'enquête global.

AUTRES ERREURS NON DUES À L'ÉCHANTILLONNAGE

Il convient de mentionner d'autres sources possibles d'erreur non liée à l'échantillonnage qui sont propres au PEICA. D'abord, certains répondants ont pu trouver le test intimidant, ce qui peut avoir eu une incidence négative sur leur rendement. Contrairement aux études « habituelles », il existe de « bonnes » et de « mauvaises » réponses aux items de test du PEICA. De plus, pour de nombreux répondants, c'était la première fois qu'ils subissaient un test depuis bon nombre d'années. En outre, même si les intervieweurs n'imposaient pas de limite de temps pour répondre aux questions, le fait que quelqu'un observait et attendait la réponse a peut-être imposé une contrainte de temps involontaire. Par conséquent, même si les items ont été choisis avec soin pour correspondre étroitement à des tâches courantes, il est possible que les réponses au test ne révèlent pas pleinement les compétences en littératie des répondants en raison du contexte propre à un test. Enfin, comme il s'agissait d'un test, les répondants devaient accomplir les activités de manière complètement indépendante alors que, dans la réalité, on a souvent l'occasion de parcourir des textes imprimés avec des parents, des amis et des 116 collègues. Il est donc possible que les compétences mesurées par l'enquête ne reflètent pas l'étendue complète des aptitudes de certains répondants dans un contexte ordinaire.

Dans le cadre du PEICA, une autre source possible d'erreur non liée à l'échantillonnage a trait à la notation des items du test, notamment ceux qui ont été notés sur une échelle (par exemple, les items qui exigeaient que les répondants rédigent une réponse). Pour réduire au minimum la fréquence des erreurs de notation, on a déployé des efforts particuliers, dont la centralisation de la notation et la vérification par échantillonnage. Comme mentionné précédemment une grande proportion de la notation était faite automatiquement par l'ordinateur, ce qui augmente grandement la qualité de la notation.