ARCHIVÉ - Évaluation du cadre d'investissement stratégique en vertu de la Loi sur la modernisation de la fonction publique

Cette page a été archivée.

1.0 Introduction

Ce rapport présente les constatations d’une évaluation du Cadre d’investissement stratégique (CIS), un fonds établi pour orienter les investissements dans le cadre de la mise en œuvre de la Loi sur la modernisation de la fonction publique (LMFP).L’évaluation a été effectuée entre décembre 2009 et mars 2010 par Goss Gilroy Inc., et le rapport a été finalisé par le Bureau de la vérification interne et de l’évaluation du Secrétariat du Conseil du Trésor du Canada.

L’examen législatif de la LMFP a été entrepris après l’évaluation du CIS, période au cours de laquelle l’environnement a évolué. Pour cette raison, l’évaluation pourrait donner lieu à des enseignements et/ou conclusions additionnels concernant la LMFP elle-même.

1.1 Historique

En 2003, au moment de l’établissement du Fonds de réserve de la LMFP, on avait cerné les éléments (questions) aux fins d’évaluation future; ces éléments forment la base de l’exercice d’évaluation. Ces questions visaient principalement la mise en œuvre plutôt que les résultats, et ont influé sur la collecte des données au cours des activités de mise en œuvre. Comme l’évaluation a été exécutée entre 2009 et 2010, elle comporte une évaluation de la pertinence, de manière à respecter les normes d’évaluation stipulées dans la Politique sur l’évaluation publiée en 2009.

L’évaluation n’était pas en mesure de déterminer l’atteinte des résultats à moyen et long terme du CIS-LMFP, principalement en raison du manque de renseignements sur les résultats, de la difficulté d’attribuer des résultats spécifiques du CIS à la LMFP et du nombre limité d’informateurs clés bien informés. Cette affirmation ne signifie pas que les résultats n’ont pas été atteints; elle indique seulement que l’évaluateur n’est pas en mesure de formuler une conclusion solide à cet égard.

Durant la mise en œuvre de la LMFP, les ministères qui hébergeaient le bureau de coordination du CIS ont été réorganisés à trois reprises. Les répercussions de telles réorganisations sur la mise en œuvre d’une initiative pangouvernementale ont été considérables. Ces réorganisations ont également eu une incidence sur l’évaluation. En prenant connaissance des constatations de l’évaluation, le lecteur doit être conscient des contraintes imposées à l’évaluation par ces circonstances et des limites quant aux données disponibles. Du fait que l’évaluation a été effectuée après la fin du programme, elle décrit les leçons apprises plutôt que de fournir des recommandations.

1.2  Contexte

La LMFP a reçu la sanction royale le 7 novembre 2003 et son objectif global était de moderniser l’emploi et les relations de travail dans la fonction publique. Un fonds de réserve de 238 millions de dollars avait été créé dans le cadre financier pour permettre la mise en œuvre de la Loi; dans un premier temps, une somme de 38 millions de dollars a servi à financer les activités initiales de préparation et de gestion du projet liées à la mise en œuvre de la LMFP.

En 2004, les 200 millions de dollars qui restaient dans le fonds de réserve de la LMFP ont été affectés au CIS, qui avait été établi pour guider les investissements devant servir à la mise en œuvre de la LMFP. Le CIS devait être appliqué d’une manière qui :

• assurait la prise de décisions d’investissement solides et justifiables;
• assurait la transparence du processus décisionnel;
• renforçait le respect de l’obligation de rendre compte des résultats liés à la mise en œuvre de la LMFP;
• assurait une utilisation ciblée des ressources.

On a mis sur pied un organisme gouvernemental chargé de gérer la transition, à savoir le Secrétariat de la Loi sur la modernisation de la fonction publique (SLMFP) – anciennement le Secrétariat à la mise en œuvre de la modernisation de la gestion des ressources humaines au Secrétariat du Conseil du Trésor du Canada – pour orchestrer les changements découlant de la LMFP, coordonner les efforts dans les ministères et organismes et gérer la demande et l’attribution des fonds devant servir à la mise en œuvre de la LMFP. Le SLMFP, qui faisait partie de l’Agence de gestion des ressources humaines de la fonction publique du Canada (AGRHFPC) nouvellement créée, agissait comme organisme de coordination (le bureau du projet), et à ce titre, assurait la gestion des fonds, des communications et de la surveillance du projet, dans le cadre de l’application de la LMFP.

En sus de l’AGRHFPC, la Commission de la fonction publique du Canada (CFPC), le SCT, l’École de la fonction publique du Canada (EFPC) et le ministère de la Justice du Canada ont participé à la mise en œuvre de la LMFP en tant que partenaires ministériels dans la prestation de services, et avaient des responsabilités précises à l’égard de l’atteinte de résultats.

1.3  Objectifs et portée de l’évaluation

L’objectif de l’évaluation était d’examiner la mise en œuvre, la pertinence et le rendement (efficience, efficacité et économie) des investissements faits à l’aide de fonds du CIS, la mesure dans laquelle ces investissements avaient facilité l’obtention des extrants prévus dans la LMFP et les leçons tirées de cette initiative. En ce qui touche la portée de l’évaluation, on s’est concentré sur les ministères et organismes qui avaient obtenu des fonds du CIS, groupe qui incluait les organismes centraux. L’évaluation ne s’est pas attachée à évaluer l’efficacité des outils ou instruments adoptés par ces ministères et organismes. Même si le CIS était au cœur de la mise en œuvre de la LMFP, il ne s’agissait pas d’une évaluation de la LMFP, mais plutôt d’une analyse de l’utilisation des fonds du CIS^[4].

1.4  Enjeux et méthode d’évaluation

1.4.1    Modèle logique du Cadre d’investissement stratégique

Durant la phase de planification du projet, on a mis à jour le modèle logique pour s’assurer qu’il incluait tout l’éventail des impacts du CIS. On considérait qu’il était essentiel d’aligner les activités et extrants du CIS sur les résultats approuvés pour la LMFP afin d’établir des indicateurs liés au CIS qui refléteraient ces résultats globaux et qui feraient l’objet d’un suivi (voir la figure 1.1). Les résultats à court terme incluent les cinq enveloppes de financement « théoriques » définies pour le CIS et comportant chacune leur propre série de résultats à moyen terme reliés aux résultats à long terme fixés pour le CIS et la LMFP.

[Version textuelle]

[Voir l’image en plus grand]

1.4.2  Grille d’évaluation

En conformité avec la Politique d’évaluation du Secrétariat du Conseil du Trésor du Canada, l’évaluateur s’est fondé sur de multiples éléments de preuve et sur des données à la fois qualitatives et quantitatives. La liste suivante indique les principaux enjeux et questions en lien avec l'évaluation. Pour y répondre, on a créé quatre grandes catégories de collecte de données probantes : entrevues avec des informateurs clés, examen de documents, examen de données administratives et examen d’études de cas.

Comme on l’avait noté en 2003 au moment de l’établissement du Fonds de réserve de la LMFP, on avait déterminé la nature des éléments à évaluer. Ces questions visaient principalement la mise en œuvre plutôt que les résultats.. Comme l’évaluation a été exécutée entre 2009 et 2010, elle comporte une évaluation de la pertinence de manière à satisfaire aux exigences de la Politique sur l’évaluation et des normes connexes.

Enjeux et questions d’évaluation

Enjeu : Pertinence

• Y a-t-il un besoin continu d’aider les ministères et organismes à créer une capacité de GRH*?
• Les objectifs et les activités connexes du CIS étaient ils conformes aux objectifs et à l’esprit de la LMFP en général?

Enjeu : Mise en œuvre

Efficience

• Quelle était l’efficacité du plan du projet et de sa mise en œuvre?
• Quelle était l’efficacité du plan du projet de mise en œuvre lorsqu’il s’agissait de guider les travaux horizontaux accomplis dans les ministères et organismes?
• Quelle était l’efficacité du rôle du Bureau du projet dans le contexte de la fonctionnalité du modèle de gouvernance (c.-à-d. en tant que secrétariat)?
• Quelle était l’efficacité de la stratégie d’investissement par rapport aux résultats et extrants souhaités énoncés dans la LMFP?
• Quelle était l’efficacité de la capacité et de la fonctionnalité en TI liées spécifiquement à ce projet?
• Y avait-il des liens et un effet de levier appropriés avec des activités non reliées à la modernisation en vertu de la LMFP qui ont aidé à la mise en œuvre réussie de celle-ci?
• Dans quelle mesure a-t-on satisfait aux exigences législatives de la LMFP?

Économie

• Quelle était l’abordabilité de l’investissement proprement dit? Cet investissement constituait-il une optimisation des ressources?
• Quelle était la nature et le niveau de participation d’institutions, d’employés ou de groupes cibles?

Efficacité

• Quelle était l’efficacité de la stratégie d’investissement par rapport aux objectifs (résultats) énoncés dans la LMFP?
• Quels résultats ont été obtenus (ce qui comprend les extrants)?

*Ceci fait référence à la GRH au sens large

1.4.3  Entrevues avec des informateurs clés

Au total, on a mené 23 entrevues avec des informateurs clés soit en personne, soit par téléphone; il s’agissait de représentants œuvrant dans le domaine de la gestion des ressources humaines au sein de ministères et d’organismes fédéraux. La méthode originale avait prévu 50 entretiens; toutefois, la difficulté qu’on a eu à trouver des participants potentiels a limité le nombre d’entretiens possibles.

1.4.4  Examen de documents

L’examen de documents était censé fournir des réponses à toutes les questions de l’évaluation. Trois grandes catégories de documents ont été examinées, à savoir des documents d’information (notamment la présentation au Conseil du Trésor de 2004 portant sur le CIS et le Plan directeur établi pour le projet de mise en œuvre de la LMFP), des documents opérationnels (c.-à-d. les lignes directrices à suivre pour produire les analyses de rentabilisation dans le contexte du CIS, les modèles pour l’évaluation de ces analyses et les procès-verbaux du Comité consultatif sur la gestion des ressources humaines [CCGRH]) ainsi que des rapports et documents d’évaluation (c.-à-d. rapports d’étape soumis aux ministres du Conseil du Trésor, rapports sommaires et de surveillance portant sur la LMFP et examens de programmes pertinents).

1.4.5   Examen de données administratives

Pour l’examen de données administratives, on a pris comme point de départ un certain nombre de tableurs distincts fournis par le responsable du projet. Goss Gilroy Inc. a créé une feuille de calcul regroupant divers renseignements (notamment le ministère, son nom, le nombre de ses effectifs, si ces derniers sont assujettis ou non à la LMFP, s’il avait reçu ou non des fonds reliés à la LMFP et s’il avait reçu ou non de l’aide additionnelle) et l’a fusionné avec un plus gros fichier de données qui comportait une feuille de travail distincte pour chaque ministère. Cette feuille de travail renfermait de l’information sur les dépenses totales approuvées et effectivement engagées en vertu du Fonds de réserve de la LMFP et sur les coûts de projets financés à l’aide de réaffectations ministérielles. Ces éléments ont été consignés pour chaque année financière, dans chacune des enveloppes de financement « théoriques » du CIS (telles que décrites ci-dessus).

1.4.6  Études de cas

Cinq études de cas ont servi à examiner de façon plus approfondie l’usage réservé aux fonds du CIS au sein des ministères et organismes. Pour chacune des études de cas, l’évaluateur a au moins mené une entrevue et a examiné les données administratives et les éléments de preuve documentaires pour le ministère ou l’organisme en question. On n’a toutefois pas évalué l’efficacité des outils, instruments ou politiques adoptés ou adaptés par ces ministères et organismes suite à la mise en œuvre du CIS.

Les résumés des études de cas ont été annexés au Rapport technique des entretiens avec les informateurs clés.^[5]. Les études de cas portaient sur les ministères et organismes suivants:

• Défense nationale;
• Agriculture et Agroalimentaire Canada;
• Commission de la fonction publique du Canada;
• Commission des relations de travail dans la fonction publique;
• Équipe de soutien à la transition pour les petits organismes^[6];
• Quatre petits organismes (entrevues).

1.5  Restrictions

L’évaluation comportait un certain nombre de restrictions, qui sont décrites ci-dessous. En raison de ces restrictions, l’évaluateur n’a pas pu évaluer la mesure dans laquelle certains résultats intermédiaires et ultimes avaient été obtenus; ces restrictions ont également affaibli les conclusions quant à l’étendue des résultats obtenus dans l’immédiat.

Accès à des informateurs clés bien informés :L’une des principales restrictions au moment de l’évaluation était le nombre restreint d’informateurs clés qui étaient au courant du rôle joué par le CIS dans leurs ministères et organismes. Seulement 23 informateurs clés, soit 46 % de l’échantillon prévu de 50 informateurs, ont fourni de l’information, et certains des renseignements étaient incomplets. Plusieurs motifs expliquent cette situation.

• Comme il a déjà été mentionné, le Bureau de projet du CIS a subi trois réorganisations, ce qui signifie qu’il y a eu un important roulement au fil des ans et qu’il était par conséquent difficile de trouver des personnes avec qui on pourrait éventuellement s’entretenir.
• L’évaluation a été exécuté alors que le CIS avait déjà pris fin. Un grand nombre des organisations temporaires qui avaient été établies pour appuyer sa mise en œuvre avaient été dissolues (notamment le Bureau du projet et l’ÉSTPO).
• Du fait que les structures de soutien du CIS avaient été éliminées, il était difficile de trouver des membres du personnel au sein des organismes centraux en mesure de discuter des différentes questions entourant le Bureau du projet et la mise en œuvre du CIS.

Information limitée en matière de résultats : La majeure partie des rapports produits par les ministères et organismes traitaient des extrants. Par ailleurs, même s’il existait de l’information telle que les cotes attribuées dans le Cadre de responsabilisation de gestion (CRG) pour chaque ministère et organisme, les mesures étaient tellement générales qu’on ne pouvait établir de lien direct entre ces mesures et une quelconque activité, voire un projet précis financé par le CIS.

Impacts au sein des ministères et organismes par opposition aux impacts des projets : L’une des limites d’une évaluation horizontale est qu’on ne peut déterminer avec beaucoup d’exactitude les effets sur les ministères et organismes individuels. Même si on a utilisé des études de cas pour obtenir des données probantes, l’évaluation ne portait pas sur des ministères et organismes spécifiques.

Attribution : Les projets financés par le CIS ont été mis en œuvre sur plusieurs exercices et le caractère des projets variait, et ceux-ci étaient financés strictement par le CIS ou également à l’aide d’autres fonds. Le profil des projets financés au moyen de fonds du CIS, du point de vue de leur nature, taille et moment d’exécution, était différent dans chaque ministère et organisme. De plus, la relation étroite entre les résultats du CIS et ceux de la LMFP a ajouté à la complexité des questions liées à l’attribution des fonds^[7].

En raison de l’obligation à l’époque d’assurer l’harmonisation des extrants et activités financés par le CIS et les résultats prévus de la LMFP, pour déterminer le lien entre les fonds du CIS et les résultats, l’évaluateur a dû se baser sur des études de cas qui lui ont permis d’explorer ces liens entre le CIS et les résultats au niveau des ministères et organismes.

Bien que l’on avait accès à un nombre limité d’informateurs clés au courant et de renseignements sur les résultats, l’évaluateur s’est basé sur d’autres éléments de preuve pour arriver à des conclusions au sujet de la mise en œuvre du CIS et pour renforcer la fiabilité de la validité des résultats de l’évaluation. Malgré les restrictions, la méthode répond aux exigences de la Politique sur l’évaluation du Conseil du Trésor et des normes connexes.