Programme pour l'évaluation internationale des compétences des adultes (PEICA)

Information détaillée pour 2022

Le Programme pour l'évaluation internationale des compétences des adultes (PEICA) est un programme international multi cycle et une initiative de l'Organisation de coopération et de développement économiques (OCDE) qui vise à recueillir des renseignements sur les compétences des adultes de plusieurs pays, incluant le Canada.

Date de la parution - 9 décembre 2024

• Questionnaire(s) et guide(s) de déclaration
• Aperçu
• Sources de données et méthodologie
• Exactitude des données

Aperçu

Le Programme pour l'évaluation internationale des compétences des adultes (PEICA) évalue les compétences des adultes âgés de 16 à 65 ans en ce qui a trait à des aspects de la capacité de traitement de l'information essentiels pour participer plus efficacement à l'économie et à la société, à savoir la littératie, la numératie et la résolution adaptative de problèmes. Il vise à mieux comprendre les habiletés des adultes, comme la lecture, la recherche de renseignements et l'utilisation d'un ordinateur et de la technologie. Il permet d'en savoir plus sur leurs études et leur expérience de travail. Les résultats de cette étude serviront à élaborer des programmes et à comparer le Canada à d'autres pays qui mènent une étude semblable.

Au Canada, le PEICA a été mené par Statistique Canada en partenariat avec Emploi et Développement social Canada (EDSC) et le Conseil des ministres de l'Éducation (Canada) (CMEC). La dernière enquête a eu lieu en 2012.

Ce cycle du PEICA a été développé à partir du cycle 1 qui a eu lieu en 2012, ainsi que deux enquêtes internationales précédentes sur la littératie : l'Enquête internationale sur l'alphabétisation des adultes, menée entre 1994 et 1998, et l'Enquête sur la littératie et les compétences des adultes, menée entre 2003 et 2008. Le PEICA vise à assurer une continuité avec les enquêtes antérieures, et à fournir des renseignements sur l'évolution de la répartition des compétences au fil des ans. Le PEICA vise aussi à élargir les compétences mesurées en les adaptant au contexte de la société actuelle. Parmi les utilisateurs de ces données figurent les gouvernements fédéraux et provinciaux, les partenaires internationaux, les chercheurs universitaires, les professionnels de la littératie et du développement des compétences, les médias et les membres du public que ces questions intéressent. Les données sont utilisées pour éclairer la prise de décision relative aux politiques, à l'allocation efficace de ressources et à l'élaboration de contenu pour les cours de développement des compétences et les programmes d'éducation des adultes.

Période de référence : Année civile

Sujets

• Éducation et formation des adultes
• Éducation, formation et apprentissage
• Formation professionnelle et niveau de scolarité
• Littératie
• Salaires, traitements et autres gains
• Travail

Sources de données et méthodologie

Population cible

La population cible est composée de tous les résidents canadiens de 16 à 65 ans vivant dans les 10 provinces. Les personnes vivant dans les réserves et les autres établissements autochtones, les membres à temps plein des Forces armées canadiennes vivant sur des bases militaires et la population vivant en établissement sont exclus du champ de l'enquête tout comme les résidents des régions peu peuplées. L'ensemble de ces exclusions combinées représente 3 % de la population totale des adultes canadiens âgés de 16 à 65 ans.

Élaboration de l'instrument

Le questionnaire de l'enquête et les tâches psychométriques ont été conçus par un groupe d'experts internationaux dirigé par le consortium international du PEICA. Chaque item de tâche a d'abord été conçu en anglais et constitue le modèle international qui devait être adapté par chaque pays participant dans leur propre langue (anglais et français au Canada). Le contenu du questionnaire et des exercices du cycle 1, qui a eu lieu en 2012 a été pris en considération lors de l'élaboration de l'instrument du cycle 2 afin d'assurer la comparabilité des données recueillies. Tous les instruments de collecte ont fait l'objet d'essais rigoureux. L'instrument psychométrique final a été créé en utilisant les éléments qui fournissaient les paramètres les plus fiables et les plus stables pour les trois domaines (littératie, numératie et résolution adaptative de problèmes). De plus, bon nombre des questions de contexte et certaines tâches de littératie et de numératie du PEICA provenaient de l'Enquête sur la littératie et les compétences des adultes de 2003 ou de l'Enquête internationale sur l'alphabétisation des adultes de 1994. On a procédé ainsi afin de fournir un lien psychométrique qui permet de comparer la répartition des compétences au fil du temps.

L'instrument de l'enquête comprenait une composante Entrée, suivie d'un questionnaire contextuel et d'un exercice effectué au moyen d'une tablette. L'enquête a été menée par un intervieweur de Statistique Canada au domicile du répondant.

La composante Entrée visait à recueillir des renseignements démographiques sur chacun des membres du ménage. Une fois ces renseignements recueillis, un répondant était choisi parmi les membres du ménage admissibles.

Le questionnaire contextuel a été administré à tous les répondants au moyen d'une interview sur place assistée par ordinateur (IPAO). Ce questionnaire visait à recueillir des renseignements tels que l'âge, le genre, le statut d'immigrant, l'éducation et la formation formelle et informelle, les caractéristiques linguistiques, l'éducation et la profession des parents, la situation de travail actuelle et les antécédents de travail, la profession actuelle, le secteur d'activité, le revenu, les caractéristiques et les attributs personnels (compétences sociales et émotionnelles), et les aptitudes de littératie, de numératie et de technologie utilisées au travail et à la maison.

La composante d'évaluation des compétences a été effectuée par le répondant au moyen d'une tablette et évaluait la littératie, la numératie et la résolution adaptative de problèmes. L'exercice comprenait également l'administration de composantes de lecture et de numératie.

Échantillonnage

Il s'agit d'une enquête transversale par échantillon.

Base de sondage
La base de données des personnes ayant répondu au questionnaire détaillé du Recensement de la population de 2021 a été utilisée comme base de sondage pour construire l'échantillon du PEICA.

Plan de sondage
La sélection de l'échantillon s'est faite en trois étapes.

À la première étape, les grappes géographiques ont été sélectionnées. Ces grappes avaient d'abord été stratifiées en couches urbaines et rurales. Par la suite, les ménages ont été sélectionnés au sein de chaque grappe sélectionnée. Puis, au sein de chaque ménage, une personne a été choisie pour participer à l'enquête.

Unité d'échantillonnage
Dans les petites régions urbaines ou les régions rurales, les petites régions géographiques contiguës (aussi appelées « grappes ») constituaient l'unité d'échantillonnage définie à la première étape. L'unité d'échantillonnage à la deuxième étape était le logement, et celle à la troisième étape, la personne. Dans les grandes régions urbaines, on a utilisé un plan à deux degrés dans lequel les logements représentaient l'unité d'échantillonnage à la première étape, et les personnes de la liste représentaient l'unité d'échantillonnage à la deuxième étape.

Méthode de stratification
Dans toutes les provinces à l'exception de l'Alberta, la base de sondage a été stratifiée en régions urbaines et rurales ou en petites régions urbaines. En Alberta, les strates étaient formées en fonction de la classification urbaine-rurale et des limites des régions économiques de la province.

Échantillonnage
La sélection des grappes et des ménages a été réalisée selon la méthode d'échantillonnage systématique avec probabilité proportionnelle à la taille. Dans chaque ménage, une personne a été sélectionnée au hasard parmi les membres éligibles du ménage.

Sources des données

Collecte des données pour cette période de référence : 2022-09-02 à 2023-07-31

Il s'agit d'une enquête à participation volontaire.

Les données sont obtenues directement auprès des répondants.

Au Canada, le nom « Étude internationale des adultes (EIA) » a été utilisé durant la collecte.

L'interview était composée de quatre parties principales :
- La composante Entrée
- La composante de questionnaire contextuel
- La composante d'évaluation des compétences
- Les questions après l'interview

La composante Entrée et le questionnaire contextuel ont été administrés par un intervieweur au domicile du répondant au moyen d'une interview assistée par ordinateur (IAO). La composante d'évaluation des compétences a été autoadministrée. Les questions après l'interview étaient une série de questions sur l'interview auxquelles a répondu l'intervieweur.

N'importe quel membre du ménage pouvait répondre à la composante Entrée. D'abord, l'adresse a été confirmée afin de s'assurer qu'il s'agissait bien du ménage sélectionné. On a ensuite dressé une liste des membres du ménage, et déterminé les membres admissibles à l'enquête. Puis, un membre admissible du ménage a été sélectionné au hasard pour répondre au reste de l'interview. Les interviews par réponses interposées n'étaient pas acceptées.

Interview à la porte : Afin de réduire les cas de non-réponse en matière de littératie, une interview à la porte a été mise en place. Dans le cas où le répondant sélectionné ne pouvait s'exprimer ni en français ni en anglais et qu'il n'y avait pas d'interprète disponible pour traduire les questions et réponses du questionnaire contextuel, l'intervieweur avait recourt à un questionnaire abrégé dans une troisième langue. Ce questionnaire comportait six questions et était disponible dans 38 langues.

Voir le(s) Questionnaire(s) et guide(s) de déclaration .

Détection des erreurs

Les données du PEICA ont été recueillies à l'aide d'une application d'interview assistée par ordinateur. Par conséquent, une bonne partie de la détection des erreurs et de la vérification s'est faite durant la collecte. La validation des valeurs en dehors des plages spécifiées était effectuée par l'intervieweur lorsqu'elles étaient signalées et l'application assurait automatiquement l'enchaînement des questions d'après la logique prédéterminée et les réponses précédentes du répondant.

Une fois les données recueillies et transmises au Bureau central, la détection des erreurs se faisait en trois étapes. La première étape consistait à procéder à l'épuration générale des données afin : 1) d'éliminer les enregistrements en double du fichier, 2) de vérifier le questionnaire contextuel en se référant au fichier de l'échantillon, 3) de vérifier l'intégrité du code d'état, 4) de repérer les enregistrements manquants, 5) de vérifier que les composantes sont complètes et correspondent au code d'état et 6) de créer un fichier de réponses.

L'étape de vérification du traitement des données comprenait une série d'étapes de vérification à réaliser. Premièrement, une vérification descendante a épuré les chemins empruntés par erreur durant l'interview. Cette étape était suivie de contrôles de cohérence pour certaines variables clés. Elle assurait une cohérence entre des variables telles que l'âge du répondant, l'âge de l'immigration, le nombre d'années d'éducation formelle et l'âge auquel le répondant a atteint le plus haut niveau de scolarité. De plus, les données ont été vérifiées afin de détecter les valeurs aberrantes.

Imputation

L'imputation a été minimale. À des fins de pondération, il y a eu quatre enregistrements pour lesquels l'âge a été imputé à un enregistrement donneur. Une méthode d'approximation des ménages a été utilisée pour imputer le niveau de scolarité et le statut d'immigration de 6,5 % des enregistrements et pour imputer la composition des ménages de 2,5 % des enregistrements.

Estimation

Les estimations sont produites à l'aide de poids attribués à chaque unité échantillonnée. Le poids d'une unité échantillonnée indique le nombre d'unités dans la population représentée par l'unité. Les poids ont été calculés en plusieurs étapes:

1) Un poids initial a été calculé comme l'inverse de la probabilité de sélection d'une unité dans l'échantillon. La probabilité globale de sélection d'une unité est égale au produit de ses probabilités de sélection à chaque phase et à chaque étape du processus de sélection.

2) Si des logements supplémentaires ont été identifiés pendant la collecte dans un ménage sélectionné, on a communiqué avec tous les logements. Ces logements multiples ont reçu le même poids que le logement original.

3) Des sous-échantillons de la population autochtone et des jeunes ont été sélectionnés au départ. Toutefois, en raison des difficultés rencontrées au cours de la collecte, la priorité a été accordée à l'échantillon principal et la collecte pour les échantillons supplémentaires a été interrompue. À ce moment, 424 cas issus des sous-échantillons avaient répondu au questionnaire de base. Une méthode semblable à la technique d'appariement des échantillons a été mise en oeuvre pour apparier les répondants des sous échantillons aux non répondants de l'échantillon général. Aux fins d'estimation, les poids ont été calculés en fonction de la probabilité de sélection des unités dans l'échantillon général.

4) Les poids ont été ajustés pour tenir compte de la non-réponse au niveau du ménage et au niveau de la personne. Ce processus consistait à répartir les poids des unités non-répondantes parmi les poids des unités répondantes. Il a été appliqué en quatre étapes prenant en compte les renseignements disponibles quant au statut d'admissibilité des ménages non-répondants, le fait que la non-réponse était liée ou non à la littératie et la présence d'une incapacité empêchant la participation à l'enquête.

5) Enfin, les poids ont été poststratifiés en fonction du dénombrement de la population des régions rurales et urbaines selon la province et de la population autochtone par province. Les poids ont ensuite été calés selon la province, le groupe d'âge, le sexe, le statut d'immigration, le niveau de scolarité le plus élevé, de manière à ce que certaines des estimations totales correspondent aux totaux de population de référence.

La qualité des estimations a été évaluée à l'aide d'estimations de leur coefficient de variation (CV). Compte tenu de la complexité de la conception du PEICA, les CV n'ont pas pu être calculés à l'aide d'une formule simple. Les poids des répliques équilibrées et répétées (BRR) ont été utilisés pour établir les CV des estimations.

Évaluation de la qualité

Afin d'obtenir des données de grande qualité, les lignes directrices et normes internationales pour l'administration des enquêtes ont été suivies, complétées par une adhésion stricte aux politiques et procédures internes de Statistique Canada.

Les interviews étaient menées à domicile de façon neutre et sans pression. Une formation et une supervision des intervieweurs étaient assurées, mettant l'accent sur l'importance des précautions à prendre contre le biais de non-réponse. Les intervieweurs avaient spécifiquement comme instruction de retourner plusieurs fois chez les non-répondants pour obtenir le plus de réponses possibles. Leur travail était supervisé au moyen de vérifications fréquentes de la qualité, particulièrement au début de la collecte des données. Environ 5 % des interviews de chacun des interviewers ont été validées par un intervieweur principal afin d'assurer la qualité des données. Des indicateurs clés du tableau de bord du PEICA ont été examinés fréquemment pendant la collecte, parallèlement à la validation des interviews.

Pour pouvoir participer à l'étude internationale, il était obligatoire de traiter les fichiers au moyen de méthodes et procédures suivant les lignes directrices du consortium, et garantissant une cohérence logique et des niveaux acceptables d'erreur dans les données.

La notation des items psychométriques dans le test assisté par ordinateur (TAO) était faite automatiquement. La notation automatique garantissait une plus grande qualité et a fait l'objet de contrôle de la qualité lors de l'adaptation des instruments d'enquête. De plus, elle permettait de saisir et de réajuster l'information après l'analyse psychométrique de chacun des items de l'enquête.

Codage
En plus, des pratiques normalisées de contrôle de la qualité effectuées par la Division des opérations et de l'intégration à Statistique Canada pour tout le codage, nous avons effectué des mesures additionnelles de contrôle de la qualité, exigées par le consortium international du PEICA. Ces dernières visaient à s'assurer que le codage soit de qualité acceptable et qu'il soit effectué de façon uniforme à l'intérieur d'un pays et d'un pays à l'autre.

Ces procédures comprenaient la vérification par un autre codeur de 50 % du codage manuel des données des classifications internationales des professions et des secteurs d'industries et de 20% du codage manuel des données des classifications nationales. De plus, la qualité des données codées a été validée par rapport à la distribution d'autres sources de données récentes et similaires, et elles étaient comparables.

Contrôle de la divulgation

La loi interdit à Statistique Canada de divulguer toute information recueillie qui pourrait dévoiler l'identité d'une personne, d'une entreprise ou d'un organisme sans leur permission ou sans en être autorisé par la Loi sur la statistique. Diverses règles de confidentialité s'appliquent à toutes les données diffusées ou publiées afin d'empêcher la publication ou la divulgation de toute information jugée confidentielle. Au besoin, des données sont supprimées pour empêcher la divulgation directe ou par recoupement de données reconnaissables.

Révisions et désaisonnalisation

Cette méthodologie ne s'applique pas à cette enquête.

Exactitude des données

Même si des efforts considérables ont été déployés pour appliquer des normes élevées à l'ensemble des étapes de collecte et de traitement des données, les estimations qui en découlent sont inévitablement sujettes à un certain degré d'erreur. Ces erreurs sont classées en deux grandes catégories : les erreurs d'échantillonnage et les erreurs non dues à l'échantillonnage.

TAUX DE RÉPONSE :
Le taux de réponse est de 28 % au niveau national, et varie entre 24 % et 41 % au niveau provincial.

Coefficient de variation (CV) :
La qualité des estimations est mesurée à l'aide d'estimations de leur coefficient de variation (CV). Les poids des répliques équilibrées et répétées (BRR) sont utilisés pour calculer le CV des estimations, ainsi que les dix valeurs plausibles lorsqu'il s'agit d'estimations des scores de compétences.

ERREUR NON DUE À L'ÉCHANTILLONNAGE
Lorsqu'elles sont réparties sur un grand nombre d'observations, les erreurs non liées à l'échantillonnage qui surviennent au hasard ont peu d'incidence sur les estimations tirées de l'enquête. Toutefois, les erreurs qui surviennent systématiquement entraînent des distorsions dans ces estimations. Les erreurs non dues à l'échantillonnage du PEICA peuvent provenir de diverses sources. Les responsables de l'enquête ont donc consacré beaucoup de temps et d'efforts à réduire les erreurs non liées à l'échantillonnage. Pour vérifier la qualité des données, on a pris des mesures d'assurance de la qualité à chaque étape du cycle de collecte et de traitement des données. Ces mesures comprenaient le recours à des intervieweurs qualifiés, la formation intensive des intervieweurs à l'égard des méthodes d'enquête et du questionnaire, l'observation des intervieweurs pour déceler des problèmes de conception du questionnaire ou des erreurs d'interprétation des directives, la validation des interviews, une procédure visant à réduire au minimum les erreurs de saisie des données, ainsi que des contrôles de la qualité du codage et de la validation de la logique de traitement.

BIAIS DE NON-RÉPONSE
L'incidence de la non-réponse sur les résultats d'une enquête constitue une source d'erreurs non liées à l'échantillonnage. Il peut s'agir d'une non-réponse partielle (défaut de répondre à une ou à quelques questions seulement) ou d'une non-réponse totale. Il y a eu non-réponse totale lorsque l'intervieweur ne pouvait communiquer avec le répondant, qu'aucun membre du ménage ne pouvait fournir les renseignements demandés ou que le répondant refusait de participer à l'enquête. Le taux national de non-réponse du PEICA se situait autour de 72 %. Des ajustements de pondération pour la non-réponse ont été effectués au niveau du ménage et de la personne. Ces ajustements ont été apportés en utilisant entre autres des variables qui étaient en lien avec la probabilité de réponse, aidant la diminution du biais de non-réponse, et ont grandement bénéficié de l'utilisation du Recensement de 2021 comme base de sondage de l'enquête. Ceci a été complémenté en calant les estimations finales selon des comptes démographiques connus. Une analyse approfondie qui s'appuie sur des sources fiables telles que le Recensement de 2021, les comptes démographiques, l'Enquête sur la population active et l'Enquête sur la santé dans les collectivités canadiennes, a conclu que le biais de non-réponse ne devrait pas avoir d'impact significatif sur les estimations de l'enquête. Dans la plupart des cas, il y a non-réponse partielle à une enquête lorsque le répondant ne comprenait pas ou interprétait mal une question, refusait de répondre à une question, ou ne pouvait se rappeler les renseignements demandés ou terminer la composante d'évaluation des compétences. En général, la fréquence des non-réponses partielles au PEICA était faible.

ERREUR DE COUVERTURE
L'utilisation du Recensement de 2021 a permis d'assurer que la base de sondage du PEICA était aussi inclusive que possible et que les moindres exclusions seraient effectivement prises en compte dans le plan d'enquête global. La couverture de la population cible de l'enquête par le Recensement de la population de 2021 a été établie à environ 96 % à l'échelle nationale et à entre 94 % et presque 100 % à l'échelle provinciale.

AUTRES ERREURS NON DUES À L'ÉCHANTILLONNAGE
Il convient de mentionner d'autres sources possibles d'erreur non liée à l'échantillonnage qui sont propres au PEICA. D'abord, certains répondants ont pu trouver le test intimidant, ce qui peut avoir eu une incidence négative sur leur rendement. Contrairement aux études « habituelles », il existe de «bonnes » et de « mauvaises » réponses aux items de test du PEICA. De plus, pour de nombreux répondants, c'était la première fois qu'ils subissaient un test depuis bon nombre d'années. En outre, même si les intervieweurs n'imposaient pas de limite de temps pour répondre aux questions, le fait que quelqu'un observait et attendait la réponse a peut-être imposé une contrainte de temps involontaire. Par conséquent, même si les items ont été choisis avec soin pour correspondre étroitement à des tâches courantes, il est possible que les réponses au test ne révèlent pas pleinement les compétences en littératie des répondants en raison du contexte propre à un test. En outre, la nature test de l'étude exigeait que les répondants effectuent les activités de manière totalement indépendante des autres et les intervieweurs ont été formés pour s'assurer que ces directives étaient respectées. Toutefois, il se pourrait que les compétences mesurées par l'enquête ne reflètent pas l'ensemble des capacités de certains répondants dans un contexte ordinaire.