ARCHIVÉ - Évaluation du cadre d'investissement stratégique en vertu de la Loi sur la modernisation de la fonction publique

Avertissement Cette page a été archivée.

Information archivée dans le Web

Information archivée dans le Web à des fins de consultation, de recherche ou de tenue de documents. Cette dernière n’a aucunement été modifiée ni mise à jour depuis sa date de mise en archive. Les pages archivées dans le Web ne sont pas assujetties aux normes qui s’appliquent aux sites Web du gouvernement du Canada. Conformément à la Politique de communication du gouvernement du Canada, vous pouvez demander de recevoir cette information dans tout autre format de rechange à la page « Contactez-nous ».

Rapport final
Approuvé le Secr�taire
decembre 2011

Table des matières

Résumé

L’objectif de l’évaluation était d’examiner la mise en œuvre, la pertinence et le rendement (efficience, efficacité et économie) des investissements faits à l’aide de fonds du CIS, la mesure dans laquelle ces investissements avaient facilité l’obtention des extrants prévus dans la LMFP et les leçons tirées de cette initiative. En ce qui touche la portée de l’évaluation, on s’est concentré sur les ministères et organismes qui avaient obtenu des fonds du CIS, groupe qui incluait les organismes centraux. L’évaluation ne s’est pas attachée à évaluer l’efficacité des outils ou instruments adoptés par ces ministères et organismes. Même si le CIS était au cœur de la mise en œuvre de la LMFP, il ne s’agissait pas d’une évaluation de celle-ci, mais plutôt d’une analyse de l’utilisation des fonds du CIS^[1].

De 2004 à 2009, 200 millions de dollars des fonds alloués au CIS ont été versés à 40 ministères et organismes pour les aider à atteindre les objectifs de laLMFP qui étaient :

d’assouplir le cadre de dotation pour gérer et appuyer les employés et pour attirer les meilleurs employés, aux endroits et aux moments où ils étaient requis;
de favoriser des relations patronales�syndicales davantage axées sur la collaboration pour assurer un milieu de travail sain et productif;
de préciser les responsabilités des administrateurs généraux et des gestionnaires.

Les fonds étaient répartis dans cinq enveloppes « théoriques » : changement institutionnel, systèmes de technologie de l’information (TI) liés aux ressources humaines (RH), préparation des effectifs, nouvelles fonctions et gestion de projets.

La méthodologie d’évaluation prévoyait la consultation des sources d’information suivantes :

besoin continu;
examen de données administratives;
cinq études de cas portant sur des ministères;
des entretiens avec 23 informateurs clés.

Un aspect clé de cette évaluation était qu’elle a été effectuée une fois l’initiative terminée. Par conséquent, plutôt que des recommandations, le présent document renferme les leçons apprises qui pourraient être appliquées à de futurs programmes de financement de conception similaire. De plus, l’examen législatif de la LMFP a été exécuté à une date ultérieure, à laquelle l’environnement avait déjà évolué, ce qui pourrait donner lieu à des enseignements et/ou conclusions additionnels.

Un certain nombre de restrictions, y compris le moment de l’évaluation, entreprise après la fin de l’initiative, a limité la disponibilité de données pouvant étayer les résultats de l’évaluation. Par exemple, le ministère où était situé le Bureau de projet du CIS a été réorganisé à trois reprises durant l’initiative, ce qui signifie qu’il a été impossible de trouver de nombreux informateurs qui étaient peut-être au courant du projet. Cela signifiait aussi qu’il était impossible de mener un sondage.

Il semble que le CIS ait été bien mis en œuvre et ait fourni des extrants qui devaient servir à guider, de façon appropriée, les fonds du CIS vers des projets qui étaient conformes aux résultats fixés à court terme. Les données probantes examinées par l’évaluation étaient suffisantes pour tirer des conclusions quant aux résultats immédiats et à court terme, mais insuffisantes pour tirer des conclusions à propos des résultats à moyen et à long terme. Cette affirmation ne signifie pas que les résultats en question n’ont pas été atteints, mais plutôt qu’il n’était pas possible de les mesurer ou de les évaluer au moyen des données probantes disponibles.

Conclusions

Pertinence

Des activités soutenues par le CIS ont été entreprises dans divers ministères et organismes pour aider à créer la capacité nécessaire dans le domaine de la gestion des ressources humaines (GRH) en vue de la mise en œuvre de la LMFP. Les données probantes recueillies ont montré que ces activités étaient pertinentes. En fait, l’ensemble des informateurs clés ont affirmé qu’il y a un besoin continu pour les types d’activités qui étaient financées par le CIS.

L’évaluation a fourni des éléments de preuve qui suggèrent qu’il y a un besoin continu d’aider les ministères et organismes à renforcer la capacité en GRH.
Les données probantes ont continuellement indiqué que les objectifs et activités liés au CIS correspondaient aux objectifs et à l’esprit de la LMFP.

Efficience

Les questions d’évaluation ayant trait à l’efficience portaient principalement sur la question de savoir à quel degré d’efficience l’initiative avait été mise en œuvre. À cet effet les résultats de l’évaluation montrent que le CIS a été organisé et appliqué tel que prévu. Dans le cadre du CIS, 94 % des fonds ont été alloués à des ministères et organismes, lesquels ont investi 83,4 % des fonds approuvés.

Même si le Plan directeur ^[2] a été publié un an après le CIS, le premier rapport provisoire affirme que le Secrétariat de la LMFP a fixé et maintenu des échéances de mise en œuvre du projet afin de définir les activités clés et les jalons critiques. Des rapports d’étape et sommaires ont été émis par la suite pour décrire les engagements et les réalisations. Les données probantes montrent que toutes les exigences législatives de la LMFP ont été largement respectées. Il y a également des indications concernant l’efficacité du plan du projet quant à l’orientation des initiatives horizontales au sein des ministères et organismes :

Le rôle du Bureau du projet était bien articulé et communiqué dans les documents liés au CIS; toutefois, il n’est pas clair dans quelle mesure ce rôle était bien compris par les ministères et organismes. L’évaluation a permis de déterminer que le Bureau du projet avait géré avec efficacité la mise en œuvre du CIS.
Les données probantes provenant de documents montrent que le plan du projet a permis de bien guider les efforts horizontaux dans les ministères et organismes. La plupart des personnes interrogées n’étaient toutefois pas en mesure de faire des observations à ce sujet.
Il semble y avoir eu une capacité et fonctionnalité suffisantes en matière de TI dans le contexte de la mise en œuvre du CIS. Toutefois, il n’y avait pas d’utilisateurs avec lesquels on aurait pu s’entretenir, ce qui aurait fourni une autre série d’éléments de preuve à l’appui de cette conclusion.
L’évaluation a permis de conclure que l’on avait satisfait, à un degré considérable, aux exigences législatives de la LMFP.
Même si de façon générale, il y a eu un effet de levier, on ne disposait pas de suffisamment de données probantes pour déterminer clairement son rapport ou les autres liens avec des activités non reliées à la modernisation prévue par la LMFP ou si ces effets d’entraînement faisaient partie de l’objectif du CIS.

Économie

Même si les résultats de l’examen de documents et les renseignements obtenus au cours des entrevues avec des informateurs clés ont montré que les fonds alloués par le CIS ont effectivement produit de la valeur, l’évaluation n’a pas permis de déterminer si cela aurait pu être accompli avec moins de ressources.

Les données probantes montrent que le montant des fonds du CIS et la nature de leur utilisation étaient appropriés. Quatre-vingt-huit pour cent (88 %) des ministères et organismes ont reçu une aide directe ou indirecte par l’intermédiaire de l’Équipe du soutien à la transition pour les petits organismes (ÉSTPO) ou de leur ministère d’attache en réponse aux exigences de mise en œuvre de la LMFP.

Efficacité

L’évaluation n’a pas permis d’arriver à de solides conclusions quant au degré auquel la stratégie d’investissement du CIS a contribué à l’obtention des résultats escomptés à moyen et à long terme de la LMFP, en partie en raison du manque d’informateurs et du nombre insuffisant de rapports produits par les bénéficiaires des fonds.

Cependant, les extrants prévus ont été produits et la plupart des résultats immédiats et à court terme ont été obtenus. Des extrants tels que lignes directrices, communications et activités de formation ont conduit aux résultats immédiats, ce qui a permis aux ministères de demander et de recevoir des fonds pour des projets qui étaient conformes aux priorités et principes de la LMFP, même si les délais de mise en œuvre étaient perçus comme un problème. Il semble aussi que l’on ait généralement obtenu les résultats à court terme, comme en témoignent les changements institutionnels^[3], la création de systèmes de TI nécessaires dans le domaine des RH, la tenue d’événements pour préparer les employés et l’élaboration de nouvelles fonctions liées aux RH devant appuyer l’application de la LMFP,. Toutefois, l’évaluation n’a pas permis de déterminer dans quelle mesure ces éléments, de leur côté, ont répondu aux besoins liés aux RH dans la FP et ont appuyé les processus au chapitre des ressources, des changements culturels et des obligations redditionnelles. De même, il n’a pas été possible d’en arriver à des conclusions à propos des résultats à long terme des mesures visant à assurer le recrutement de personnes possédant les compétences voulues, à favoriser des relations patronales-syndicales axées sur la collaboration, à mettre davantage l’accent sur l’apprentissage et la formation des employés à tous les niveaux et à clarifier davantage les rôles et les obligations redditionnelles. Cette situation a eu pour effet de restreindre considérablement l’évaluation.

L’application de la stratégie d’investissement dressée pour le CIS semble avoir été efficace en facilitant la réalisation des objectifs de la LMFP, mais en raison d’éléments de preuve limités, il n’est pas clair à quel degré.
Une analyse de l’information provenant des cinq études de cas et des entrevues avec les informateurs clés montre que tous les extrants et la majorité des résultats immédiats et à court terme prévus dans le contexte du CIS ont été obtenus, dans une certaine mesure.
Même si les données probantes révèlent que l’on a obtenu des résultats à court terme, elles n’étaient pas suffisantes pour déterminer avec précision le degré de succès de ces résultats.

Leçons apprises

Un grand nombre des leçons apprises par suite de cette évaluation concernent la mesure du rendement et la production de rapports. Même si les réorganisations de l’Agence de gestion des ressources humaines de la fonction publique du Canada (AGRHFPC) et de l’Agence de la fonction publique du Canada (AFPC) ont attiré l’attention sur la question de la gestion de l’information, il faut néanmoins qu’on soit davantage conscient de l’importance d’établir des stratégies de mesure du rendement et des cadres de présentation de rapports avant la mise en œuvre des initiatives gouvernementales. Ces cadres et stratégies fourniront aux cadres supérieurs l’information dont ils ont besoin pour évaluer l’impact de ces initiatives.

Des initiatives de financement d’envergure comme le CIS devraient, dans toute la mesure du possible, être mises en œuvre à partir d’une structure organisationnelle stable. Des réorganisations qui surviennent parallèlement à la mise en œuvre d’une importante initiative risquent de nuire à l’obtention des résultats prévus de celle-ci ou d’interrompre l’exécution efficace et efficiente d’éléments clés. Si cette situation ne peut être évitée, il y a lieu de dresser une stratégie de gestion de l’information rattachée spécifiquement à l’initiative de restructuration, peu importe l’emplacement de l’organisation, qui inclut toutes les personnes-ressources pertinentes, pour des responsabilités particulières ayant trait à l’initiative.
Les cadres de présentation de rapports devraient être conçus de sorte à établir un équilibre entre la présentation de rapports sur les dépenses et les résultats (et non pas uniquement sur les extrants) et les besoins administratifs. Ces cadres devraient être dressés en consultation avec l’ensemble des intervenants bien avant la mise en œuvre.
Il faut établir des stratégies de mesure du rendement avant l’entrée en vigueur des initiatives, de sorte à recueillir l’information requise aux fins des évaluations.
En effectuant une évaluation de référence au stade initial de la mise en œuvre d’une initiative, on fournit aux gestionnaires de programmes des données qu’ils peuvent comparer aux résultats et on leur permet ainsi de mesurer les impacts d’une politique, d’un programme ou d’une initiative.
Lorsque l’on planifie une évaluation, il convient d’évaluer tous les fonds connexes qui contribuent à un résultat unique. Dans ce cas, par exemple, le Fonds de réserve de la LMFP (238 millions de dollars) englobait le CIS (200 millions de dollars), et les deux fonds ont aidé à obtenir les mêmes résultats souhaités. Il est très difficile de séparer l’impact des 38 millions de dollars qui ont servi à financer la phase de démarrage des fonds du CIS, puisqu’ils ont tous servi à mettre en œuvre la LMFP.
En mettant au point un système de suivi des initiatives une fois qu’elles sont terminées, on aide les gestionnaires de programmes à surveiller les avantages à long terme d’initiatives de longue durée comme la LMFP et de leur mécanismes de mise en œuvre.

1.0 Introduction

Ce rapport présente les constatations d’une évaluation du Cadre d’investissement stratégique (CIS), un fonds établi pour orienter les investissements dans le cadre de la mise en œuvre de la Loi sur la modernisation de la fonction publique (LMFP).L’évaluation a été effectuée entre décembre 2009 et mars 2010 par Goss Gilroy Inc., et le rapport a été finalisé par le Bureau de la vérification interne et de l’évaluation du Secrétariat du Conseil du Trésor du Canada.

L’examen législatif de la LMFP a été entrepris après l’évaluation du CIS, période au cours de laquelle l’environnement a évolué. Pour cette raison, l’évaluation pourrait donner lieu à des enseignements et/ou conclusions additionnels concernant la LMFP elle-même.

1.1 Historique

En 2003, au moment de l’établissement du Fonds de réserve de la LMFP, on avait cerné les éléments (questions) aux fins d’évaluation future; ces éléments forment la base de l’exercice d’évaluation. Ces questions visaient principalement la mise en œuvre plutôt que les résultats, et ont influé sur la collecte des données au cours des activités de mise en œuvre. Comme l’évaluation a été exécutée entre 2009 et 2010, elle comporte une évaluation de la pertinence, de manière à respecter les normes d’évaluation stipulées dans la Politique sur l’évaluation publiée en 2009.

L’évaluation n’était pas en mesure de déterminer l’atteinte des résultats à moyen et long terme du CIS-LMFP, principalement en raison du manque de renseignements sur les résultats, de la difficulté d’attribuer des résultats spécifiques du CIS à la LMFP et du nombre limité d’informateurs clés bien informés. Cette affirmation ne signifie pas que les résultats n’ont pas été atteints; elle indique seulement que l’évaluateur n’est pas en mesure de formuler une conclusion solide à cet égard.

Durant la mise en œuvre de la LMFP, les ministères qui hébergeaient le bureau de coordination du CIS ont été réorganisés à trois reprises. Les répercussions de telles réorganisations sur la mise en œuvre d’une initiative pangouvernementale ont été considérables. Ces réorganisations ont également eu une incidence sur l’évaluation. En prenant connaissance des constatations de l’évaluation, le lecteur doit être conscient des contraintes imposées à l’évaluation par ces circonstances et des limites quant aux données disponibles. Du fait que l’évaluation a été effectuée après la fin du programme, elle décrit les leçons apprises plutôt que de fournir des recommandations.

1.2 Contexte

La LMFP a reçu la sanction royale le 7 novembre 2003 et son objectif global était de moderniser l’emploi et les relations de travail dans la fonction publique. Un fonds de réserve de 238 millions de dollars avait été créé dans le cadre financier pour permettre la mise en œuvre de la Loi; dans un premier temps, une somme de 38 millions de dollars a servi à financer les activités initiales de préparation et de gestion du projet liées à la mise en œuvre de la LMFP.

En 2004, les 200 millions de dollars qui restaient dans le fonds de réserve de la LMFP ont été affectés au CIS, qui avait été établi pour guider les investissements devant servir à la mise en œuvre de la LMFP. Le CIS devait être appliqué d’une manière qui :

assurait la prise de décisions d’investissement solides et justifiables;
assurait la transparence du processus décisionnel;
renforçait le respect de l’obligation de rendre compte des résultats liés à la mise en œuvre de la LMFP;
assurait une utilisation ciblée des ressources.

On a mis sur pied un organisme gouvernemental chargé de gérer la transition, à savoir le Secrétariat de la Loi sur la modernisation de la fonction publique (SLMFP) – anciennement le Secrétariat à la mise en œuvre de la modernisation de la gestion des ressources humaines au Secrétariat du Conseil du Trésor du Canada – pour orchestrer les changements découlant de la LMFP, coordonner les efforts dans les ministères et organismes et gérer la demande et l’attribution des fonds devant servir à la mise en œuvre de la LMFP. Le SLMFP, qui faisait partie de l’Agence de gestion des ressources humaines de la fonction publique du Canada (AGRHFPC) nouvellement créée, agissait comme organisme de coordination (le bureau du projet), et à ce titre, assurait la gestion des fonds, des communications et de la surveillance du projet, dans le cadre de l’application de la LMFP.

En sus de l’AGRHFPC, la Commission de la fonction publique du Canada (CFPC), le SCT, l’École de la fonction publique du Canada (EFPC) et le ministère de la Justice du Canada ont participé à la mise en œuvre de la LMFP en tant que partenaires ministériels dans la prestation de services, et avaient des responsabilités précises à l’égard de l’atteinte de résultats.

1.3 Objectifs et portée de l’évaluation

L’objectif de l’évaluation était d’examiner la mise en œuvre, la pertinence et le rendement (efficience, efficacité et économie) des investissements faits à l’aide de fonds du CIS, la mesure dans laquelle ces investissements avaient facilité l’obtention des extrants prévus dans la LMFP et les leçons tirées de cette initiative. En ce qui touche la portée de l’évaluation, on s’est concentré sur les ministères et organismes qui avaient obtenu des fonds du CIS, groupe qui incluait les organismes centraux. L’évaluation ne s’est pas attachée à évaluer l’efficacité des outils ou instruments adoptés par ces ministères et organismes. Même si le CIS était au cœur de la mise en œuvre de la LMFP, il ne s’agissait pas d’une évaluation de la LMFP, mais plutôt d’une analyse de l’utilisation des fonds du CIS^[4].

1.4 Enjeux et méthode d’évaluation

1.4.1 Modèle logique du Cadre d’investissement stratégique

Durant la phase de planification du projet, on a mis à jour le modèle logique pour s’assurer qu’il incluait tout l’éventail des impacts du CIS. On considérait qu’il était essentiel d’aligner les activités et extrants du CIS sur les résultats approuvés pour la LMFP afin d’établir des indicateurs liés au CIS qui refléteraient ces résultats globaux et qui feraient l’objet d’un suivi (voir la figure 1.1). Les résultats à court terme incluent les cinq enveloppes de financement « théoriques » définies pour le CIS et comportant chacune leur propre série de résultats à moyen terme reliés aux résultats à long terme fixés pour le CIS et la LMFP.

Figure 1.1. Modèle logique du Cadre d’investissement stratégique

Figure 1.1. Mod�le logique du Cadre d’investissement strat�gique

[Version textuelle]

[Voir l’image en plus grand]

1.4.2 Grille d’évaluation

En conformité avec la Politique d’évaluation du Secrétariat du Conseil du Trésor du Canada, l’évaluateur s’est fondé sur de multiples éléments de preuve et sur des données à la fois qualitatives et quantitatives. La liste suivante indique les principaux enjeux et questions en lien avec l'�valuation. Pour y répondre, on a créé quatre grandes catégories de collecte de données probantes : entrevues avec des informateurs clés, examen de documents, examen de données administratives et examen d’études de cas.

Comme on l’avait noté en 2003 au moment de l’établissement du Fonds de réserve de la LMFP, on avait déterminé la nature des éléments à évaluer. Ces questions visaient principalement la mise en œuvre plutôt que les résultats.. Comme l’évaluation a été exécutée entre 2009 et 2010, elle comporte une évaluation de la pertinence de manière à satisfaire aux exigences de la Politique sur l’évaluation et des normes connexes.

Enjeux et questions d’évaluation

Enjeu : Pertinence

Y a-t-il un besoin continu d’aider les ministères et organismes à créer une capacité de GRH*?
Les objectifs et les activités connexes du CIS étaient ils conformes aux objectifs et à l’esprit de la LMFP en général?

Enjeu : Mise en œuvre

Efficience

Quelle était l’efficacité du plan du projet et de sa mise en œuvre?
Quelle était l’efficacité du plan du projet de mise en œuvre lorsqu’il s’agissait de guider les travaux horizontaux accomplis dans les ministères et organismes?
Quelle était l’efficacité du rôle du Bureau du projet dans le contexte de la fonctionnalité du modèle de gouvernance (c.-à-d. en tant que secrétariat)?
Quelle était l’efficacité de la stratégie d’investissement par rapport aux résultats et extrants souhaités énoncés dans la LMFP?
Quelle était l’efficacité de la capacité et de la fonctionnalité en TI liées spécifiquement à ce projet?
Y avait-il des liens et un effet de levier appropriés avec des activités non reliées à la modernisation en vertu de la LMFP qui ont aidé à la mise en œuvre réussie de celle-ci?
Dans quelle mesure a-t-on satisfait aux exigences législatives de la LMFP?

Économie

Quelle était l’abordabilité de l’investissement proprement dit? Cet investissement constituait-il une optimisation des ressources?
Quelle était la nature et le niveau de participation d’institutions, d’employés ou de groupes cibles?

Efficacité

Quelle était l’efficacité de la stratégie d’investissement par rapport aux objectifs (résultats) énoncés dans la LMFP?
Quels résultats ont été obtenus (ce qui comprend les extrants)?

*Ceci fait référence à la GRH au sens large

1.4.3 Entrevues avec des informateurs clés

Au total, on a mené 23 entrevues avec des informateurs clés soit en personne, soit par téléphone; il s’agissait de représentants œuvrant dans le domaine de la gestion des ressources humaines au sein de ministères et d’organismes fédéraux. La méthode originale avait prévu 50 entretiens; toutefois, la difficulté qu’on a eu à trouver des participants potentiels a limité le nombre d’entretiens possibles.

1.4.4 Examen de documents

L’examen de documents était censé fournir des réponses à toutes les questions de l’évaluation. Trois grandes catégories de documents ont été examinées, à savoir des documents d’information (notamment la présentation au Conseil du Trésor de 2004 portant sur le CIS et le Plan directeur établi pour le projet de mise en œuvre de la LMFP), des documents opérationnels (c.-à-d. les lignes directrices à suivre pour produire les analyses de rentabilisation dans le contexte du CIS, les modèles pour l’évaluation de ces analyses et les procès-verbaux du Comité consultatif sur la gestion des ressources humaines [CCGRH]) ainsi que des rapports et documents d’évaluation (c.-à-d. rapports d’étape soumis aux ministres du Conseil du Trésor, rapports sommaires et de surveillance portant sur la LMFP et examens de programmes pertinents).

1.4.5 Examen de données administratives

Pour l’examen de données administratives, on a pris comme point de départ un certain nombre de tableurs distincts fournis par le responsable du projet. Goss Gilroy Inc. a créé une feuille de calcul regroupant divers renseignements (notamment le ministère, son nom, le nombre de ses effectifs, si ces derniers sont assujettis ou non à la LMFP, s’il avait reçu ou non des fonds reliés à la LMFP et s’il avait reçu ou non de l’aide additionnelle) et l’a fusionné avec un plus gros fichier de données qui comportait une feuille de travail distincte pour chaque ministère. Cette feuille de travail renfermait de l’information sur les dépenses totales approuvées et effectivement engagées en vertu du Fonds de réserve de la LMFP et sur les coûts de projets financés à l’aide de réaffectations ministérielles. Ces éléments ont été consignés pour chaque année financière, dans chacune des enveloppes de financement « théoriques » du CIS (telles que décrites ci-dessus).

1.4.6 Études de cas

Cinq études de cas ont servi à examiner de façon plus approfondie l’usage réservé aux fonds du CIS au sein des ministères et organismes. Pour chacune des études de cas, l’évaluateur a au moins mené une entrevue et a examiné les données administratives et les éléments de preuve documentaires pour le ministère ou l’organisme en question. On n’a toutefois pas évalué l’efficacité des outils, instruments ou politiques adoptés ou adaptés par ces ministères et organismes suite à la mise en œuvre du CIS.

Les résumés des études de cas ont été annexés au Rapport technique des entretiens avec les informateurs clés.^[5]. Les études de cas portaient sur les ministères et organismes suivants:

Défense nationale;
Agriculture et Agroalimentaire Canada;
Commission de la fonction publique du Canada;
Commission des relations de travail dans la fonction publique;
Équipe de soutien à la transition pour les petits organismes^[6];
Quatre petits organismes (entrevues).

1.5 Restrictions

L’évaluation comportait un certain nombre de restrictions, qui sont décrites ci-dessous. En raison de ces restrictions, l’évaluateur n’a pas pu évaluer la mesure dans laquelle certains résultats intermédiaires et ultimes avaient été obtenus; ces restrictions ont également affaibli les conclusions quant à l’étendue des résultats obtenus dans l’immédiat.

Accès à des informateurs clés bien informés :L’une des principales restrictions au moment de l’évaluation était le nombre restreint d’informateurs clés qui étaient au courant du rôle joué par le CIS dans leurs ministères et organismes. Seulement 23 informateurs clés, soit 46 % de l’échantillon prévu de 50 informateurs, ont fourni de l’information, et certains des renseignements étaient incomplets. Plusieurs motifs expliquent cette situation.

Comme il a déjà été mentionné, le Bureau de projet du CIS a subi trois réorganisations, ce qui signifie qu’il y a eu un important roulement au fil des ans et qu’il était par conséquent difficile de trouver des personnes avec qui on pourrait éventuellement s’entretenir.
L’évaluation a été exécuté alors que le CIS avait déjà pris fin. Un grand nombre des organisations temporaires qui avaient été établies pour appuyer sa mise en œuvre avaient été dissolues (notamment le Bureau du projet et l’ÉSTPO).
Du fait que les structures de soutien du CIS avaient été éliminées, il était difficile de trouver des membres du personnel au sein des organismes centraux en mesure de discuter des différentes questions entourant le Bureau du projet et la mise en œuvre du CIS.

Information limitée en matière de résultats : La majeure partie des rapports produits par les ministères et organismes traitaient des extrants. Par ailleurs, même s’il existait de l’information telle que les cotes attribuées dans le Cadre de responsabilisation de gestion (CRG) pour chaque ministère et organisme, les mesures étaient tellement générales qu’on ne pouvait établir de lien direct entre ces mesures et une quelconque activité, voire un projet précis financé par le CIS.

Impacts au sein des ministères et organismes par opposition aux impacts des projets : L’une des limites d’une évaluation horizontale est qu’on ne peut déterminer avec beaucoup d’exactitude les effets sur les ministères et organismes individuels. Même si on a utilisé des études de cas pour obtenir des données probantes, l’évaluation ne portait pas sur des ministères et organismes spécifiques.

Attribution : Les projets financés par le CIS ont été mis en œuvre sur plusieurs exercices et le caractère des projets variait, et ceux-ci étaient financés strictement par le CIS ou également à l’aide d’autres fonds. Le profil des projets financés au moyen de fonds du CIS, du point de vue de leur nature, taille et moment d’exécution, était différent dans chaque ministère et organisme. De plus, la relation étroite entre les résultats du CIS et ceux de la LMFP a ajouté à la complexité des questions liées à l’attribution des fonds^[7].

En raison de l’obligation à l’époque d’assurer l’harmonisation des extrants et activités financés par le CIS et les résultats prévus de la LMFP, pour déterminer le lien entre les fonds du CIS et les résultats, l’évaluateur a dû se baser sur des études de cas qui lui ont permis d’explorer ces liens entre le CIS et les résultats au niveau des ministères et organismes.

Bien que l’on avait accès à un nombre limité d’informateurs clés au courant et de renseignements sur les résultats, l’évaluateur s’est basé sur d’autres éléments de preuve pour arriver à des conclusions au sujet de la mise en œuvre du CIS et pour renforcer la fiabilité de la validité des résultats de l’évaluation. Malgré les restrictions, la méthode répond aux exigences de la Politique sur l’évaluation du Conseil du Trésor et des normes connexes.

2.0 Constatations

2.1 Pertinence

Des activités financées par le CIS ont été entreprises dans différents ministères et organismes afin de faciliter la création de la capacité de GRH qui était nécessaire à la mise en œuvre de la LMFP. Les données probantes recueillies ont montré que ces activités étaient pertinentes. En réalité, tous les informateurs clés ont affirmé qu’il y a un besoin continu des types d’activités qui ont été financées par le CIS.

2.1.1 Besoin continu

Y a-t-il un besoin continu d’aider les ministères et organismes à créer une capacité de gestion des ressources humaines?

L’évaluation a fourni des éléments de preuve qui suggèrent qu’il y a un besoin continu d’aider les ministères et organismes à renforcer la capacité en GRH.

L’examen de documents a confirmé qu’il était crucial de posséder une capacité adéquate en GRH afin de pouvoir appliquer les réformes en matière de RH exigées par la LMFP et les textes législatifs connexes. Dans son rapport Le Point de 2005, la Vérificatrice générale du Canada émettait un avertissement en déclarant que la pénurie de ressources humaines pourrait « nuire aux efforts déployés par le gouvernement pour traduire les dispositions de la LMFP en réformes concrètes » et pourrait amener les ministères « à se replier sur leurs anciens systèmes, ce qui ferait obstacle à la modernisation de la gestion des ressources humaines »^[8] L’AGRHFPC a également indiqué en 2007 que la capacité en matière de RH constituait un défi clé (parmi d’autres) qu’il fallait relever pour pouvoir assurer la mise en œuvre de la LMFP.

Les fonds fournis par le CIS aux ministères et organismes devaient les aider à relever ces défis. Il y a également des éléments de preuve indiquant que, même après que le cadre a pris fin, le besoin se maintient à cet égard. Par exemple, dans son Dix-septième rapport annuel au Premier ministre sur la fonction publique du Canada (2010), le Comité consultatif sur la fonction publique nommé par le Premier ministre reconnaît les « … lacunes d’un milieu de travail dépassé au sein de la fonction publique » ^[9] et conclut que l’excellence en gestion du personnel est essentielle et que le renouvellement joue un rôle capital.^[10]

Durant pratiquement tous les entretiens, les informateurs clés ont par ailleurs indiqué qu’il y a un besoin continu de soutenir les ministères et organismes dans leurs efforts visant à renforcer la capacité de GRH. Lorsqu’on les a questionnés à ce sujet, ils ont mentionné des secteurs précis où ce soutien était toujours nécessaire, notamment : formation, systèmes informatiques de gestion des ressources humaines, dotation et élaboration d’outils et de pratiques exemplaires en matière de GRH. L’examen de documents révèle que les ministères et organismes ont investi une somme additionnelle de 83,6 millions de dollars provenant de leurs propres fonds sur la période de cinq ans afin de financer des projets connexes. L’évaluateur estime qu’il s’agit là d’une indication que ces projets étaient considérés comme nécessaires.

2.1.2 Correspondance entre les activités du Cadre d’investissement stratégique et les objectifs de la Loi sur la modernisation de la fonction publique

Les objectifs et les activités connexes du CIS étaient-ils conformes aux objectifs et à l’esprit de la LMFP en général?

Les données probantes ont continuellement indiqué que les objectifs et activités liés au CIS correspondaient aux objectifs et à l’esprit de la LMFP.

Les objectifs spécifiques de la LMFP se lisaient ainsi :

d’assouplir le cadre de dotation pour gérer et appuyer les employés et pour attirer les meilleurs employés, aux endroits et aux moments où ils étaient requis;
de favoriser des relations patronales�syndicales davantage axées sur la collaboration pour assurer un milieu de travail sain et productif;
de préciser les responsabilités des administrateurs généraux et des gestionnaires.

Le CIS a été créé expressément pour faciliter la mise en œuvre de la LMFP. Il a été réparti en enveloppes de financement théoriques (voir le tableau 2.1) s’élevant au total à environ 200 millions de dollars.

Presque tous les informateurs clés interviewés ont indiqué que, du point de vue des ministères et organismes, le CIS respectait bien l’intention de la LMFP, comme en témoignaient les activités financées pour aider les ministères et organismes à appliquer la LMFP et les changements connexes. Une grande majorité de répondants ont indiqué que les objectifs et les activités connexes du CIS répondaient bien aux besoins des ministères et organismes parce que, de façon générale, ils étaient suffisamment étendus et souples.

Tableau 2.1. Enveloppes théoriques du Cadre d’investissement stratégique en avril 2004

Enveloppe théorique	Définition/Description	Budget théorique (en millions de dollars)
Changement institutionnel	Les fonds aideront à financer les éléments suivants : nouvelles institutions (Tribunal de la dotation de la fonction publique^[11], Commission des relations de travail dans la fonction publique^[12], École de la fonction publique du Canada^[13]) et changements au sein d’institutions existantes (Commission de la fonction publique du Canada); nouvelle fonctionnalité liée à la LMFP dans les ministères et organismes (c.-à-d. soutien d’activités de planification et de préparation essentielles aux fins de transition); création d’une capacité de base au sein de la communauté de gestion des RH des ministères et organismes afin de remplir les nouvelles responsabilités (c.-à-d. activités liées aux politiques internes).	60
Systèmes de TI liés aux RH dans le contexte de la LMFP	Les fonds aideront à financer les ajustements suivants apportés aux systèmes de TI liés aux RH : interopérabilité; transmission de l’information; fonctionnalité étendue des logiciels de gestion des RH du ministère ou de l’organisme; éléments sous-jacents de la TI répondant aux nouvelles obligations (c.-à-d. délégation accrue des mesures de dotation), lorsque ces éléments sont essentiels à la mise en œuvre réussie de la LMFP).	55
Préparation des effectifs	Les fonds seront investis dans les activités suivantes : besoins d’apprentissage ciblés et de base dans le contexte de la LMFP; gestion du changement; occasions et événements d’apprentissage spéciaux pour assurer le niveau de préparation requis en vue de l’entrée en vigueur de la LMFP. Les fonds réservés à la préparation des effectifs incluent également un montant pour les activités patronales-syndicales axées sur la collaboration requises pour fournir de la formation conforme à l’objet de la LMFP.	40*
Nouvelles fonctions	Les fonds serviront à créer des ressources pour les nouvelles fonctions là où il n’y a aucune base de ressources, p. ex. : présence dans les régions du Tribunal de la dotation de la fonction publique; nouvelles fonctions de la Commission des relations de travail dans la fonction publique, par exemple des services de médiation plus étendus; services de recherche et d’analyse portant sur la rémunération; systèmes de gestion informelle des conflits établis dans les régions par les ministères et organismes.	36
Gestion de projets	Les fonds aideront à financer la gestion horizontale et les activités connexes, y compris les activités du Secrétariat de la LMFP. Ils serviront aussi à financer les éléments suivants : liaison/coopération avec les ministères/organismes; soutien pour la LMFP; gouvernance de la mise en œuvre; gérance des fonds réservés à la mise en œuvre de la LMFP; liaison avec le Bureau du vérificateur général du Canada.	9
Total		200

* Le budget théorique affecté à la préparation des effectifs a été par la suite porté à 62 M$.

2.2 Mise en œuvre

Efficience de la mise en œuvre du Cadre d’investissement stratégique

Les résultats de l’évaluation montrent que le CIS a été organisé et appliqué tel que prévu. Même si le Plan directeur a été publié un an après le CIS, le premier rapport provisoire affirme que le Secrétariat de la LMFP avait fixé et maintenu des échéances de mise en œuvre du projet afin de définir les activités clés et les jalons critiques. Des rapports d’étape et sommaires ont été émis par la suite pour décrire les engagements et les réalisations. Les données probantes montrent que toutes les exigences législatives de la LMFP ont été largement respectées. Il y a également des indications concernant l’efficacité du plan du projet quant à l’orientation des initiatives horizontales au sein des ministères et organismes.

2.2.1 Efficacité du rôle du Bureau du projet ^[14]

Quelle était l’efficacité du rôle joué par le Bureau du projet, compte tenu des activités des autres intervenants?

Quelle était l’efficacité du rôle du Bureau du projet dans le contexte de la fonctionnalité du modèle de gouvernance (c.-à-d. en tant que secrétariat)?

L’évaluation portait sur deux grands aspects : à quel degré le rôle du Bureau du projet était clair et communiqué adéquatement et l’efficacité globale du Bureau du projet.

Le rôle du Bureau du projet était bien articulé et communiqué dans les documents liés au CIS; toutefois, il n’est pas clair dans quelle mesure ce rôle était bien compris par les ministères et organismes. L’évaluation a permis de déterminer que le Bureau du projet avait géré avec efficacité la mise en œuvre du CIS. Les données probantes montrent que le cadre de gouvernance et les systèmes et processus de gestion mis en place étaient adéquats.

Clarté et communication des rôles du Bureau du projet

Durant l’examen de documents, on a trouvé un certain nombre d’endroits où était décrit le rôle du Bureau du projet. Ces documents incluaient le mandat du projet de mise en œuvre de la LMFP (2004), le premier rapport provisoire sur la mise en œuvre de la LMFP (2005), le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) établi pour le Projet de mise en œuvre de la LMFP (2005) et le Plan directeur pour la mise en œuvre de la LMFP (2006).

Cependant, il n’est pas clair à quel degré ces documents ont été communiqués aux ministères et organismes et aux autres intervenants. Même si certains répondants ont indiqué qu’ils comprenaient en quoi consistait le rôle du Bureau du projet, la majorité des informateurs clés n’étaient pas certains ou étaient confus, et ont attribué cette situation à un manque de communication.

Efficacité du Bureau du projet

Les rapports provisoires et d’autres évaluations ont fourni quelques indications de l’efficacité du Bureau du projet pour ce qui était de la gestion générale de la mise en œuvre du CIS. Les rapports provisoires dressés en 2005 et 2007 par l’AGRHFPC et le rapport d’étape de 2007 portant sur les produits livrables liés à la LMFP fournissent de solides éléments de preuve confirmant que le Bureau du projet avait mis en place les processus et mécanismes requis pour assurer une gestion efficace de la mise en œuvre du CIS.

Une évaluation, effectuée en 2009 par le Secrétariat du Conseil du Trésor du Canada, du caractère adéquat et de l’efficacité des contrôles établis en rapport avec la gestion du CIS, portant sur la période allant de mai 2004 à mars 2009, a révélé que les systèmes et processus de gestion instaurés pour le CIS avaient été bien conçus^[15]. L’étude montrait ce qui suit :

une structure de gouvernance formelle avait été mise en place;
le Comité consultatif sur la gestion des ressources humaines (CCGRH) surveillait l’orientation du CIS ainsi que les plans et mesures y afférents;
les administrateurs généraux devaient rendre compte de leur application de la LMFP;
le Secrétariat de la LMFP soutenait activement la mise en œuvre du CIS.

Quelques informateurs clés ont indiqué que le Comité de gestion du projet était efficace et tenait tout le monde au courant, tout en mentionnant cependant plusieurs défis, tels un haut taux de roulement et un changement dans sa gouvernance (quand le Bureau du projet a déménagé et a ensuite fait l’objet d’une réduction de ses effectifs).

2.2.2 Mise en œuvre du Plan du projet

Quelle était l’efficacité du plan du projet et de sa mise en œuvre?

Les données probantes suggèrent que des mécanismes appropriés ont été mis en place pour assurer la mise en œuvre efficace du plan du projet.

Gestion de projets

Le Projet de mise en œuvre de la LMFP a été lancé en 2001 et était censé prendre fin en 2006, mais a été prolongé jusqu’en 2010. Il incluait quatre phases : conception; élaboration et mise en œuvre; activités postérieures à la mise en œuvre; et surveillance, évaluation et présentation de rapports.

Le Plan directeur de la LMFP comportait plusieurs éléments : mandat du projet, chemin du projet, plans des secteurs d’activité et échéances de mise en œuvre du projet. Le Plan directeur incluait les objectifs de la mise en œuvre de la LMFP, les modalités et règles de gouvernance, les intervenants, les résultats prévus de la LMFP, les mesures de gestion des risques, le Fonds de réserve de la LMFP ainsi que le cycle de financement du CIS.

Le cycle de financement du CIS était un processus rigoureux de gestion des allocations provenant du CIS. Ce processus est résumé ci-dessous :

Lettres d’appel : Envoyées aux ministères et organismes afin de déterminer leurs besoins en matière de financement et leurs capacités de réaffectation interne des ressources financières;
Avis d’intention : Envoyés par les ministères et organismes afin d’énoncer leurs besoins et de fournir un résumé des activités de mise en œuvre de la LMFP;
Analyses de rentabilisation : Envoyées par les ministères et organismes dont l’avis d’intention a été examiné par le SLMFP et jugé conforme. Les analyses de rentabilisation décrivaient les besoins spécifiques en matière d’investissements ainsi que les activités prévues de mise en œuvre de la LMFP;
Présentations au Conseil du Trésor : Les analyses de rentabilisation ont été évaluées par un comité interministériel et présentées au Conseil du Trésor aux fins d’examen et d’approbation;
Lettres de décision : Les ministères et organismes ont été informés des décisions prises par le Conseil du Trésor au moyen d’une lettre de décision;
Protocole d’entente– signature par les ministères et organismes d’un protocole d’entente^[16]
Évaluation et présentation de rapports : Déclenchement des processus de surveillance et de présentation de rapports du SLMFP.

On a achevé et mis en œuvre des documents d’orientation clés, notamment le CIS (avril 2004), le Cadre de gestion et de responsabilisation axé sur les résultats (septembre 2005) et le mandat du projet de mise en œuvre de la LMFP (novembre 2005. Des rapports provisoires et rapports d’étape ont ensuite fourni des résumés montrant les activités accomplies, les dates des jalons, les réalisations, les lacunes et les mesures prises, comme l’exigeait le Plan directeur de 2006.

Les rapports provisoires sur la mise en œuvre de la LMFP indiquaient que les retards dans la mise en œuvre de la LMFP étaient attribuables à des restructurations ministérielles et au temps requis pour gérer le programme de changement.

Processus et principes liés aux décisions de financement

Il y a des preuves documentaires^[17] que les ministères et organismes ont reçu des lignes directrices et un modèle pour les analyses de rentabilisation liées au Cadre d’investissement stratégique de la LMFP dans le but de les aider à fournir leur(s) analyse(s) de rentabilisation qui devai(en)t leur permettre d’obtenir des fonds du CIS.. Ces lignes directrices décrivaient clairement le processus décisionnel créé pour l’attribution des fonds. Même si certains informateurs clés ont suggéré que les outils, les modèles et les conseils en matière de détermination des coûts auraient pu être de meilleure qualité, une large majorité était d’avis que les lignes directrices et critères du CIS étaient clairs.

Selon certaines observations faites par des informateurs clés, le modèle aurait pu être plus simple et moins difficile à remplir et les documents à l’appui auraient pu expliquer plus clairement les critères, en plus d’inclure des conseils au sujet des propositions de coûts à fournir. Des informateurs clés ont parlé aussi des courts délais fixés pour la mise en œuvre après la prise des décisions d’allocation. Des informateurs clés ont également signalé des problèmes liés aux délais serrés pour la mise en œuvre après la prise de décisions sur l’attribution des fonds. Certains ministères et organismes n’étaient pas prêts à profiter des fonds mis à leur disposition par le CIS ou manquaient de temps pour assurer la planification requise.

Les lignes directrices et le modèle fournis pour les analyses de rentabilisation du CIS renfermaient cinq principes de financement qui ont été pris en considération par le comité d’évaluation au moment de son examen des analyses. Il s’agissait des cinq principes suivants:

Évaluation en fonction des critères – évaluation de la mesure dans laquelle l’analyse de rentabilisation répondait aux exigences et aux principes de financement;
Évaluation qualitative – évaluation servant à déterminer si l’information était complète, à l’aide du modèle d’analyse de rentabilisation;
Évaluation du financement – évaluation servant à établir l’efficience et l’efficacité du processus de définition des besoins financiers, y compris de la méthode de détermination des coûts;
Partenariats horizontaux – mesures visant à encourager des initiatives de mise en œuvre de la LMFP comportant des avantages s’étendant à l’ensemble de la fonction publique ou des avantages partagés et cumulatifs dans de multiples organisations générant des gains d’efficience et répondant à des besoins collectifs; les organisations étaient encouragées à tenter de conclure des partenariats horizontaux avec d’autres ministères et organismes;
Évaluation globale – évaluation de la cohérence et du caractère crucial global de l’analyse de rentabilisation »^[18]

Les informateurs clés ont seulement pu faire des observations au sujet du principe de l’établissement de partenariats horizontaux et étaient généralement d’avis que le plan du projet avait été efficace lorsqu’il s’agissait de coordonner la collaboration entre les ministères et organismes.

Enveloppes de développement théoriques

Le tableau 2.2 présente une comparaison des fonds totaux octroyés à partir du CIS par enveloppe de financement théorique. Globalement, 188,7 millions de dollars, soit 94 % des fonds du CIS, ont été alloués à des ministères et organismes, ce qui montre que l’approche appliquée était efficiente. Durant les cinq années financières, les ministères et organismes, par l’entremise du processus de présentation d’analyses de rentabilisation, ont demandé à obtenir des fonds additionnels devant servir à des initiatives de formation et d’apprentissage. En conséquence, 62,1 millions de dollars des 188,7 millions de dollars ont été versés dans le contexte de l’enveloppe de préparation des effectifs. Lorsqu’on compare le montant total affecté avec le montant dépensé par les ministères et organismes dans l’ensemble des enveloppes, on constate que 83,4 % des fonds approuvés ont été investis par les ministères et organismes, ce qui est un autre signe que le système était efficient.

Tableau 2.2. Fonds attribu�s par le CIS et d�penses par enveloppe th�orique

Enveloppe th�orique	Enveloppe du CIS ($)	Fonds attribu�s par le CIS ($)	D�penses du CIS ($)	Pourcentage des fonds approuv�s d�pens�s	Percentage Spent of Approved Funding
Nouvelles fonctions	36 000 000	29 611 036	32 450 948	82,3	109,6
Changements apport�s aux syst�mes de RH	55 000 000	46 913 298	45 155 097	85,3	96,3
Pr�paration des effectifs	40 000 000	62 106 164	42 284 288	155,3	68,1
Changement institutionnel	60 000 000	41 363 744	21 311 005	68,9	51,5
Gestion de projets	9 000 000	8 704 699	16 110 476	96,7	185,1
Total	200 000 000	188 698 940	157 311 814	94,3	83,4

Source : Base de donn�es du CIS-LMFP

Cadre de vérification et d’évaluation

Pour établir la composante de vérification et d’évaluation de la mise en œuvre de la LMFP (incluant le CIS), il a été nécessaire d’établir un cadre d’évaluation, un mandat pour l’évaluation, un Cadre de gestion et de responsabilisation axé sur les résultats ainsi que des modalités de présentation de rapports. Ces modalités prévoyaient la production de rapports provisoires.

À chaque exercice, un résumé des rapports des ministères et organismes portant sur la mise en œuvre de la LMFP (rapports de surveillance et sommaires ayant trait à la LMFP, comprenant des données provisoires et des données financières) a été soumis à l’AGRHFPC, durant la période allant de 2005-2006 à 2008-2009. Les rapports de surveillance et de description des activités ayant trait à la LMFP présentés pour l’année financière 2008-2009 notaient, cependant, que le fardeau redditionnel à assumer par les ministères et organismes était une préoccupation. En réponse à cette préoccupation, des lettres d’appel ont remplacé l’utilisation du Portail des rapports sur les ressources humaines et les données non financières que les ministères et organismes étaient tenus de fournir. L’approche révisée limitait les renseignements demandés à de courtes descriptions des activités liées au CIS qui avaient trait à des extrants; par conséquent, ils ne renfermaient aucune information sur les résultats.

L’AGRHFPC a utilisé les données recueillies par l’entremise de ce processus de présentation de rapports pour rédiger des rapports provisoires et un résumé des résultats. Du fait que les résultats signalés portaient sur les extrants, ils n’ont pas pu servir à évaluer les résultats.

Gestion des risques

Toutes les analyses de rentabilisation soumises en vue de l’attribution éventuelle de fonds du CIS devaient traiter de la gestion des risques et inclure une évaluation des secteurs où il y avait des risques significatifs. L’évaluation et la gestion des risques faisaient partie intégrante de l’évaluation des demandes de financement. Plusieurs outils ont été mis au point pour évaluer le risque que présentait chaque analyse de rentabilisation^[19].

2.2.3 Directives relatives aux activités horizontales entre les ministères

Quelle était l’efficacité du plan du projet lorsqu’il s’agissait de guider les activités horizontales entre les ministères?

Les données probantes provenant de documents montrent que le plan du projet a permis de bien guider les efforts horizontaux dans les ministères et organismes. La plupart des personnes interrogées n’étaient toutefois pas en mesure de faire des observations à ce sujet.

Le Cadre de gestion^[20], l’une des composantes du processus de mise en œuvre de la LMFP, avait fixé comme objectif la prise de mesures pour favoriser et assurer la participation des intervenants tout au long du processus. En vertu de ce cadre, l’élément « Profil de la gouvernance » avait pour but de « décrire la structure de gouvernance comprenant un comité interministériel composé de représentants des organismes centraux, des ministères et des organismes chargés d’aider à appliquer la LMFP ». Le soutien des activités de gestion horizontale et des travaux connexes assuré soit par le Secrétariat de la LMFP, soit par les ministères et organismes était inclus dans l’enveloppe théorique « Gestion de projets ». Le partenariat horizontal était également l’un des principes de financement pris en considération au moment de l’évaluation des analyses de rentabilisation^[21].

L’examen de documents montre que deux comités interministériels ont été créés pour appuyer la collaboration horizontale et la création de partenariats. Le Comité de gestion des projets interministériel était un organisme consultatif composé de 14 représentants, et le réseau interministériel de gestion des projets était un forum des intervenants auquel siégeaient des représentants de 90 organisations.

Le deuxième rapport provisoire renfermait quelques données probantes à propos des activités entreprises par le Secrétariat de la LMFP qui pouvaient être reliées à des partenariats horizontaux :

des organisations ont collaboré avec d’autres pour mettre au point des produits communs comme la brochure expliquant comment présenter sa candidature à un poste;
certains ministères et organismes ont conjugué leurs efforts pour établir des programmes de formation sur le Système de gestion informelle des conflits;
de petits organismes ont collaboré avec l’ÉSTPO et les agents négociateurs pour établir un Comité mixte de consultation patronale-syndicale;
certains ministères et organismes ont travaillé ensemble dans le but de créer des économies d’échelle dans le cadre de la prestation de formation dans les régions et à des missions à l’étranger et pour des communautés d’intérêts.

L’examen des données montre que des collectivités fonctionnelles et des conseils fédéraux ont obtenu des fonds du CIS par l’intermédiaire de ministères et d’organismes qui ont agi en tant que « banquiers ». Environ 2,2 millions de dollars (3,3 %) des 65,4 millions de dollars reçus par les ministères et organismes ont été utilisés par des collectivités fonctionnelles et des conseils fédéraux pour mettre au point des outils en ligne et pour organiser des événements d’apprentissage.

Selon les renseignements fournis par des informateurs clés, le plan du projet n’était pas censé être diffusé aux ministères et organismes. Cette situation semble être confirmée par le fait que la majorité des répondants n’étaient pas en mesure de formuler des commentaires à propos de l’efficacité du plan du projet, et cet aspect ne constituait donc pas une source de données concluantes. Néanmoins, quelques répondants ont indiqué que des comités interministériels, qui incluaient des représentants de petits et de gros ministères et organismes, facilitaient la coordination à l’échelle du gouvernement fédéral. Seulement quelques répondants ont indiqué que les ministères et organismes travaillaient de concert.

Plusieurs répondants ont signalé que l’on ne mettait pas suffisamment l’accent sur l’aide à fournir aux petits ministères et organismes, ce qui laisse supposer que le plan était peut-être trop restrictif pour les petits organismes et limitait leurs possibilités de collaborer de façon horizontale avec de plus gros ministères et organismes aux stades de la planification.

D’un autre côté, le rapport final de l’ÉSTPO de 2009^[22] précisait que 100 % des clients interrogés durant le sondage mené par celle-ci en 2008 avaient répondu positivement à l’affirmation suivante : « Le soutien et l’aide que l’ÉSTPO a fournis à mon organisation ont facilité considérablement l’intégration des exigences énoncées dans la Loi sur la modernisation de la fonction publique ».

2.2.4 Efficacité de la capacité et fonctionnalité de la technologie de l’information

Quelle était l’efficacité de la capacité et de la fonctionnalité de TI liées spécifiquement à ce projet?

Il semble y avoir eu une capacité et fonctionnalité suffisantes en matière de TI dans le contexte de la mise en œuvre du CIS, comme en témoignait la création d’une base de données mixte LMFP-CIS et la création du Portail des rapports sur les ressources humaines. Néanmoins, il n’y avait pas d’utilisateurs avec qui on aurait pu s’entretenir, ce qui aurait fourni une autre série d’éléments de preuve à l’appui de cette conclusion.

L’examen de documents a révélé que la base de données de la LMFP-CIS avait été développée en 2007 pour assurer la gérance du Fonds de réserve de la LMFP et, partant, des fonds du CIS. Le système électronique assurait le rapprochement et l’enregistrement de l’ensemble des fonds octroyés afin d’assurer le suivi et la surveillance des dépenses et afin de consigner l’information sur les réaffectations internes au sein des ministères et organismes. Il facilitait aussi la production des rapports, qui étaient considérés comme présentés rapidement, exacts, à jour et conformes aux bonnes pratiques de gestion financière. Durant l’année financière 2006-2007, on a créé le Portail des rapports sur les ressources humaines afin d’obtenir auprès des ministères et organismes des données relatives au CIS. Les informateurs clés n’ont pas pu fournir des commentaires au sujet de la capacité ou fonctionnalité de la TI par rapport aux fonds du CIS.

2.2.5 Conformité aux exigences de la Loi sur la modernisation de la fonction publique

Dans quelle mesure a-t-on satisfait aux exigences législatives de la LMFP?

L’évaluation a permis de conclure que l’on avait satisfait, à un degré considérable, aux exigences législatives de la LMFP.

L’examen de documents a permis de déterminer que tous les éléments législatifs de la LMFP sont en vigueur. Ces éléments comprenaient la nouvelle Loi sur les relations de travail dans la fonction publique (1^eravril 2005), les modifications apportées à la Loi sur la gestion des finances publiques (1^eravril 2004), une nouvelle Loi sur l’emploi dans la fonction publique (31 décembre 2005) ainsi que les modifications apportées au Centre canadien de gestion par l’adoption de la Loi sur l’École de la fonction publique du Canada (1^er avril 2004).

En outre, tous les changements institutionnels prévus avaient été apportés au moment de la présentation du deuxième rapport provisoire (2007) : les mandats de la Commission de la fonction publique du Canada, du Secrétariat du Conseil du Trésor du Canada et du Bureau du Conseil privé avaient été révisés; on avait mis sur pied l’École de la fonction publique du Canada; le Tribunal de la dotation de la fonction publique et la nouvelle Commission des relations de travail dans la fonction publique étaient opérationnels; et on avait créé l’AGRHFPC afin de diriger le projet de mise en œuvre de la LMFP.

L’évaluateur ne s’est pas penché sur le degré de conformité des ministères et organismes assujettis aux exigences législatives de la LMFP. Cependant, des données probantes obtenues lors de l’examen de documents semblent indiquer que l’on avait satisfait aux besoins additionnels imposés par l’ensemble des textes législatifs. Par exemple, tous les instruments de délégation en matière de dotation étaient en place à l’échelle du gouvernement; on avait élaboré des politiques, programmes et processus de dotation; et les ministères et organismes avaient révisé et mis à jour les instruments de délégation dans le domaine des relations de travail, ainsi que les procédures de règlement des griefs pour qu’ils concordent avec les changements apportés à la Loi sur la gestion des finances publiques et à la Loi sur les relations de travail dans la fonction publique.

2.2.6 Liens et effet de levier appropriés avec des activités non reliées à la modernisation en vertu de la Loi sur la modernisation de la fonction publique

Y avait-il des liens et un effet de levier appropriés avec des activités non reliées à la modernisation en vertu de la LMFP qui ont aidé à la mise en œuvre réussie de celle-ci?

Même si de façon générale, il y a eu un effet de levier, on ne disposait pas de suffisamment de données probantes pour déterminer clairement son rapport ou les autres liens avec des activités non reliées à la modernisation prévue par la LMFP ou si ces effets d’entraînement faisaient même partie de l’objectif du CIS.

Une large majorité des répondants ont indiqué qu’on s’était livré à des activités de modernisation non reliées à la LMFP, en parallèle et à l’appui de la mise en œuvre du CIS; toutefois, il y avait une insuffisance de détails sur l’ampleur de ce phénomène.

Un petit nombre de répondants ont indiqué qu’ils avaient fait certains efforts pour établir un lien avec des activités non reliées à la LMFP et non reliées à la mise en œuvre du CIS. Ces répondants ont fourni des exemples de services partagés, de mise en œuvre du système PeopleSoft et d’élaboration d’outils de classification. Ces activités ont permis aux ministères et organismes d’accroître leur efficience générale et ont aidé à améliorer les résultats dans le contexte de la mise en œuvre du CIS.

2.3 Économie

2.3.1 Optimisation des ressources

Cet investissement constituait-il une optimisation des ressources?

Une grande majorité des informateurs clés ont précisé que, sans les fonds du CIS, leurs ministères et organismes n’auraient pas pu apporter les changements exigés par la LMFP de façon aussi réussie ou rapide, et la plupart des ministères et organismes de taille plus réduite n’auraient pas disposé de ressources du tout. À leurs yeux, les initiatives ont rendu les ministères et organismes plus efficaces et efficients dans le domaine de la gestion des ressources humaines.

L’investissement fourni par le CIS offrait des occasions d’entreprendre des activités telles que les suivantes :

formation portant sur la nouvelle LMFP destinée aux gestionnaires et employés dans le domaine des RH;
planification intégrée des RH;
développement et/ou adaptation de systèmes de TI liés aux RH et d’outils de gestion des ressources humaines;
stratégies de communication;
conférences et événements d’apprentissage à caractère national.

L’information qui précède suggère que le financement attribué par le CIS était utile. Toutefois, étant donné que des solutions de rechange au CIS n’ont pas été définies et qu’on n’en a pas établi les coûts, l’évaluation ne permet pas de tirer des conclusions quant à l’optimisation des ressources.

2.3.2 Degré de participation des institutions

Quelle était la nature et le degré de participation des institutions?

Les données probantes montrent que le montant des fonds du CIS et la nature de leur utilisation étaient appropriés. Quatre-vingt-huit pour cent des ministères et organismes ont reçu une aide directe ou indirecte par l’intermédiaire de l’ÉSTPO ou de leur ministère d’attache de manière à répondre aux exigences de mise en œuvre de la LMFP.

Participation par des institutions

En 2009, la base de données administrative incluait 115 ministères et organismes. Le tableau 2.3 illustre la participation des ministères et organismes aux différents projets découlant du CIS.

Tableau 2.3. Participation des ministères et organismes aux différents projets découlant du CIS – 2008-2009

Institution	Nombre de ministères et organismes	Pourcentage des ministères
Financement direct (ministères, organismes, Portefeuille du Conseil du Trésor et partenaires du Conseil du Trésor)	32	28
Financement direct (accompagné d’un financement par l’ÉSTPO)	9	8
Financement par l’ÉSTPO (pas de financement direct)	43	37
Financement indirect via un ministère d’attache	17	15
Pas de financement (participation à une initiative pangouvernementale ou stratégique	14	12
Total*	115	100
Organisations fonctionnelles et conseils régionaux	10	—

*En 2005, la base de données comportait 117 organisations. En 2009, la Commission du droit du Canada et le Centre canadien du règlement indépendant des revendications particulières des Premières nations n’existaient plus.

Source : Base de données administratives

L’examen de données administratives a également révélé que les ministères et organismes qui avaient touché des fonds directs en vertu du CIS employaient plus de 90 % des effectifs (180 000 employés) dans la fonction publique fédérale. Les ministères et organismes qui avaient reçu un soutien indirect de leurs ministères d’attache ou un soutien de l’ÉSTPO employaient 2 % des employés (voir le tableau 2.4).

Tableau 2.4. Employés par projets du Cadre d’investissement stratégique – 2008-2009

Institution	Nombre de ministères et organismes	ETP – Administration publique centrale**	ETP distincts	ETP totaux
Financement direct (ministères, organismes, Portefeuille du Conseil du Trésor et partenaires du Conseil du Trésor	32	184 158	1 639	185 797
Financement direct (accompagné d’un financement par l’ÉSTPO)	9	1,454	115	1 569
Financement par l’ÉSTPO (pas de financement direct)	43	3 267	2 387	5 654
Financement indirect via un ministère d’attache	17	640	1 595	2 235
Pas de financement (participation à une initiative pangouverne-mentale ou stratégique	14	13 230	59 088	72 318
Total**	115	202 749	64 824	267 573
Organisations fonctionnelles et conseils régionaux	10	—	—	—

*Équivalents temps plein

**En 2005, la base de données comportait 117 organisations. En 2009, la Commission du droit du Canada et le Centre canadien du règlement indépendant des revendications particulières des Premières nations n’existaient plus.

Source : Base de données administratives

Des 41 organisations qui ont obtenu des fonds du CIS, 33 étaient des ministères axiaux ou faisaient partie des cinq groupes de partenaires organisationnels aux fins de la LMFP (Justice Canada, Tribunal de la dotation de la fonction publique, Commission des relations de travail dans la fonction publique, Commission de la fonction publique du Canada et Bureau du Conseil privé). Les ministères et organismes ont reçu 65,4 millions de dollars, et environ 164 millions de dollars ont été attribués à des organisations du portefeuille du Conseil du Trésor et aux partenaires chargés de la prestation des services ministériels s’inscrivant dans la LMFP.

Effet de levier

L’aspect économique était évident en raison de l’important effet de levier se présentant sous la forme de réaffectations ministérielles aux projets financés par l’intermédiaire du CIS (voir le tableau 2.5). Plus de 83,5 millions de dollars ont été réattribués ainsi de 2004 à 2009 par les ministères, les organismes et les partenaires centraux, et ces réaffectations représentaient environ 30 % des dépenses totales engagées en vertu de la LMFP.

Tableau 2.5. Total des fonds et dépenses approuvés

Ann�e	Fonds de réserve de la LMFP		Réaffectations internes signalées	Dépenses totales
Ann�e	Fonds approuvés	Dépenses signalées	Réaffectations internes signalées	Dépenses totales
Avant l’éta-blissement du CIS
2002–2003	16 725	15 418	0	15 418
2003–2004	23 954	16 678	0	16 678
Total - Avant l’établisse-ment du CIS	40 679	32 096	0	32 096
Après l’éta-blissement du CIS
2004–2005	14 198	14 114	8 520	22 634
2005–2006	81 903	56 499	42 032	98 531
2006–2007	25 302	18 530	12 067	30 597
2007–2008	37 340	33 639	13 943	47 581
2008–2009	29 957	34 530	7 003	41 533
Total - Après l’établisse-ment du CIS	188 699	157 312	83 566	240 877
Total – FONDS LMFP-CIS**	229 378	189 408	83 566	272 973

Nota : Sur la somme totale de 238 M$ attribué au Fonds de réserve de la LMFP dans le cadre financier, 8,6 M$ ont été remboursés au cadre financier dans le Budget fédéral de février 2008.

*En milliers de dollars

*Les chiffres ayant été arrondis, leur somme peut ne pas correspondre au total indiqué.

Source : Données sommaires sur le CIS extraites de la base de données, septembre 2009

Participation par secteur ciblé aux fins de soutien

Des fonds ont été alloués à des activités dans chaque enveloppe théorique (voir le tableau 2.6). Au fil du temps, il y a eu un recours considérable aux fonds du CIS pour financer tous genres de projets, même durant les dernières années du financement. Les dépenses engagées dans le contexte du CIS s’élevaient à environ 15 millions de dollars par an avant 2005-2006, année où elles ont atteint leur point culminant de 56,4 millions de dollars. Tandis que l’utilisation de fonds provenant du CIS a baissé durant les années subséquentes, la moyenne s’est néanmoins maintenue à 29 millions de dollars par an.

Tableau 2.6. Dépenses du Cadre d’investissement stratégique par enveloppe (milliers de dollars) et par exercice

Enveloppes	Avant l’établissement du CIS		Après l’établissement du CIS
Enveloppes	2002–2003	2003–2004	2004–2005	2005–2006	2006–2007	2007–2008	2008–2009
Nouvelles fonctions	—	—	2 709 $	8 267 $	8 390 $	7 436 $	5 646 $
Changements apportés aux systèmes de RH	1 500 $	1 018 $	2 319 $	12 768 $	8 243 $	7 470 $	14 352 $
Préparation des effectifs	—	—	1 994 $	22 637 $	1 631 $	8 571 $	7 449 $
Changement institutionnel	80 $	1 478 $	3 736 $	6 089 $	100 $	6 026 $	5 358 $
Gestion de projets	—	—	3 354 $	6 735 $	164 $	4 134 $	1 721 $
Fonds généraux non attribués à des enveloppes	13 837 $	14 181 $	—	—	—	—	—
Total*	15 417 $	16 677 $	14 113 $	56 499 $	18 530 $	33 638 $	34 529 $

*Les chiffres ayant été arrondis, leur somme peut ne pas correspondre au total indiqué.

Source : Données sommaires sur le CIS extraites de la base de données, 2009

2.4 Efficacité

L’évaluateur n’a pas pu établir de façon concluante la mesure dans laquelle la stratégie d’investissement du CIS avait contribué à l’obtention des résultats escomptés de la LMFP à moyen et à long termes. Cependant, les extrants prévus ont été produits et la plupart des résultats immédiats et à court terme ont été obtenus.

2.4.1 Efficacité de l’application de la stratégie d’investissement dans le contexte des objectifs de la Loi sur la modernisation de la fonction publique

Quelle était l’efficacité de la stratégie d’investissement par rapport aux objectifs (résultats) énoncés dans la LMFP?

L’application de la stratégie d’investissement dressée pour le CIS semble avoir été efficace en facilitant la réalisation des objectifs de la LMFP, mais en raison d’éléments de preuve limités, il n’est toutefois pas clair à quel degré.

On peut évaluer l’efficacité de la stratégie d’investissement du CIS pour ce qui est de la réalisation des objectifs de la LMFP en examinant une combinaison de facteurs, dont les principaux sont les suivants :

approche de financement ciblé;
investissement dans une unité chargée de la mise en œuvre;
définition de catégories de financement pertinentes;
effet de levier;
recours à l’ÉSTPO pour représenter les petits ministères et organismes;
recours à des ministères « banquiers » qui se chargent de verser les fonds à leurs collectivités fonctionnelles.

Au départ, une approche de financement ciblée plutôt que générale a été appliquée. On a créé des enveloppes en fonction de catégories établies d’un commun accord à l’appui d’éléments clés de la LMFP (p. ex., préparation des effectifs et changement institutionnel). La répartition des fonds dans les enveloppes théoriques était assez égale (à l’exception de l’enveloppe de la gestion de projets qui reflétait les coûts de l’unité centrale de mise en œuvre), ce qui démontre qu’elles étaient toutes pertinentes et répondaient aux besoins des ministères et organismes. L’application de l’effet de levier en tant qu’outil dans le cadre du processus de financement a aidé à créer des moyens plus économiques de mise en œuvre. Le recours à des ministères « banquiers » a aidé à atteindre les collectivités fonctionnelles horizontalement. L’intervention de l’ÉSTPO aux fins de représentation des petits ministères et organismes et de distribution des fonds a également aidé à assurer une allocation efficiente du financement.

Les mécanismes de surveillance utilisés par le Bureau du projet ont aidé à faire en sorte que les fonds soient dirigés vers les activités sur lesquelles on s’était entendu. Toutefois, comme nous l’avons déjà mentionné, les rapports exposant les résultats étaient limités et portaient plutôt sur les extrants. La base de données de la LMFP-CIS, le Portail des rapports sur les RH et les lettres d’appel adressées aux ministères et organismes fournissent des données probantes selon lesquelles on a bien surveillé les projets et on en a bien rendu compte. La conformité aux exigences de la lettre d’appel parmi les ministères et organismes était élevée durant chacune des années financières (pour lesquelles des données étaient disponibles) : conformité de 100 % en 2005-2006, de 95 % en 2006-2007, et de 100 % en 2007-2008^[23].

Finalement, les données probantes recueillies au moment de l’examen de documents, des entrevues avec des informateurs clés et de l’analyse des études de cas laissent supposer que la stratégie d’investissement du CIS, dans une certaine mesure, a créé un cadre de dotation assoupli, a accru la collaboration dans le contexte des relations patronales-syndicales et a clarifié les obligations redditionnelles pour les administrateurs généraux et les gestionnaires.

2.4.2 Obtention des extrants et résultats du Cadre d’investissement stratégique

Quels résultats ont été obtenus (ce qui comprend les extrants)?

Une analyse de l’information provenant des cinq études de cas et des entrevues avec les informateurs clés montre que tous les extrants et la majorité des résultats immédiats et à court terme prévus dans le contexte du CIS ont été obtenus, dans une certaine mesure.^[24]

Même si les éléments de preuve étaient plus solides dans certains secteurs que dans d’autres, des informateurs clés ont mentionné tout un éventail de projets qui avaient fait suite à la mise en œuvre du CIS. Aspect important, la plupart des informateurs clés ont indiqué que plusieurs résultats obtenus grâce à la mise sur pied de projets pouvaient être attribués au CIS puisque ces projets n’auraient pas vu le jour en l’absence de financement.

Extrants

L’examen de documents a fourni des éléments de preuve indiquant que tous les extrants prévus avaient été produits :

Planification et communication : On a formulé des lignes directrices et des critères d’admissibilité pour le financement, ainsi que des documents de formation destinés aux ministères et organismes et une stratégie de communication connexe.
Examen des propositions et financement des projets : On a mis en place des mécanismes de financement en vertu du CIS qui ont servi par la suite à financer des analyses de rentabilisation.
Surveillance et production de rapports : L’examen de documents a révélé qu’on dressait périodiquement des rapports provisoires et qu’on a créé le Portail des rapports sur les RH et une base de données.

Résultats immédiats

Des trois résultats immédiats, deux ont été obtenus jusqu’à un certain point.

Connaissance du CIS et des lignes directrices sur le financement au sein des ministères et organismes

Même si certains informateurs clés n’étaient pas en mesure de se prononcer sur le degré de connaissance du CIS et de ses lignes directrices, l’évaluateur a pu déduire que la plupart des ministères et organismes étaient familiers avec ces documents puisqu’ils avaient réussi à obtenir des fonds.

Correspondance entre les investissements et les priorités de la LMFP et les principes du CIS

Tel que noté plus haut dans la section traitant de la pertinence, la stratégie d’investissement du CIS incluait la présentation de propositions d’analyses de rentabilisation qui reposaient sur des principes de financement spécifiques et sur les lignes directrices et le modèle élaborés pour les analyses de rentabilisation. Ces procédures visaient à s’assurer que les propositions des ministères et organismes respectaient les principes du CIS et reflétaient les priorités de la LMFP. Des éléments de preuve décrits antérieurement montrent que ce résultat a été obtenu.

Mise en œuvre rapide des projets et cofinancement de ceux-ci par les ministères et organismes

Il est ressorti de l’examen des données administratives que les ministères et organismes cofinançaient des projets dans le contexte du CIS ou finançaient d’autres activités liées à la LMFP pendant qu’ils recevaient des fonds du CIS. En moyenne, les réaffectations effectuées par les ministères et organismes étaient de l’ordre de 83,5 millions de dollars, soit 30 % des dépenses totales ayant trait à la LMFP.

Il n’est pas clair si les projets ont été mis en œuvre avec célérité, mais les éléments de preuve recueillis suggèrent que la vitesse d’exécution était problématique. L’examen des données administratives a révélé que plus des trois quarts des ministères et organismes ont reporté des fonds du CIS d’une année à une autre et à l’occasion, sur deux années ou plus. Des informateurs clés ont indiqué que souvent les retards dans la mise en œuvre des projets étaient dus à des délais dans l’obtention des fonds du CIS et au fait que les ministères et organismes n’étaient pas prêts à les mettre en œuvre. L’examen de documents montre que la réserve de la LMFP a été reportée d’année en année jusqu’en 2008-2009, en raison de retards dans la mise en œuvre de cette nouvelle loi, après la réorganisation du bureau responsable de la gestion.

Les intervenants sont informés de l’investissement des fonds du CIS et des résultats obtenus

L’examen de documents a montré que les ministres du Conseil du Trésor étaient informés périodiquement des progrès liés à la mise en œuvre de la LMFP, et notamment de l’investissement des fonds du CIS et des résultats obtenus, dans des rapports provisoires.

Résultats à court terme

Bien que les données probantes révèlent que chacun des six résultats à court terme a été obtenu, elles n’étaient pas suffisantes pour permettre de déterminer le degré auquel ces résultats ont été atteints.

Changement institutionnel : On a étendu les mandats de certaines institutions existantes et on a créé de nouvelles institutions ayant de nouveaux mandats.

Différents rapports provisoires ont confirmé que les changements institutionnels qui devaient être accomplis à l’aide de fonds du CIS ont été apportés tel que prévu, notamment :

révision des mandats du Bureau du Conseil privé, de la Commission de la fonction publique du Canada et du Secrétariat du Conseil du Trésor du Canada;
lancement de l’École de la fonction publique du Canada;
o établissement du Tribunal de la dotation de la fonction publique et de la nouvelle Commission des relations de travail dans la fonction publique;
création de l’Agence de gestion des ressources humaines de la fonction publique du Canada (qui est devenue ensuite l’Agence de la fonction publique du Canada et qui depuis a été réintégrée au Secrétariat du Conseil du Trésor du Canada).

Systèmes de TI liés aux ressources humaines : L’évaluateur a noté différents exemples de situations où les systèmes de TI liés aux ressources humaines nécessaires ont été mis en place pour aider à répondre aux besoins nouveaux et changeants. Néanmoins, l’évaluation n’a pas permis de déterminer à quel degré ces systèmes répondent aux besoins exprimés.

Les informateurs clés étaient généralement incapables de fournir des commentaires sur les améliorations apportées aux systèmes existants de TI à l’échelle du gouvernement (p. ex. au sujet de l’introduction du système PeopleSoft et du Système d’information sur les ressources humaines [SIRH]), mais ils ont indiqué que les systèmes de TI liés aux RH constituent un secteur de la plus haute priorité qui nécessite un soutien continu.

L’examen de documents a permis de trouver un certain nombre d’exemples de systèmes de TI liés aux RH qui avaient été développés pour appuyer la mise en œuvre du CIS, y compris la base de données LMFP-CIS et le Portail des rapports sur les RH. Au niveau ministériel, les études de cas ont montré qu’un certain nombre de systèmes précis avaient reçu un soutien sous la forme de fonds provenant du CIS. Par exemple, Infrastructure Canada a créé un système d’information électronique (le SIRH) pour remplacer un système manuel sur support papier et pour améliorer la gestion des questions entourant les ressources humaines. Le ministère de la Défense nationale a créé une application intégrée d’enregistrement des données relatives au personnel pour assurer la gestion et le compte rendu d’importants processus collectifs, et Agriculture et Agroalimentaire Canada a apporté des améliorations à ses outils de collecte de renseignements opérationnels.

Préparation des effectifs : Les gestionnaires, les spécialistes en ressources humaines et les employés de la fonction publique participent à des événements d’apprentissage ayant un lien avec la LMFP.

D’après le rapport sommaire de 2006-2007, en 2007, 75 % des organisations qui soumettaient des rapports à ce sujet se livraient à des activités d’apprentissage et de communications, notamment :

formation en tant que condition préalable à la sous-délégation de pouvoirs de dotation;
formation sur les systèmes de gestion informelle des conflits (SGIC) et sur les méthodes non conventionnelles de règlement des différends;
communication visant à améliorer la connaissance des nouvelles méthodes de dotation, les nouveaux systèmes de gestion des conflits, etc.

L’examen de documents et l’analyse des études de cas ont fourni un certain nombre d’exemples d’événements d’apprentissage abordant différents thèmes reliés à la LMFP qui se sont déroulés entre 2005 et 2008, notamment une formation de recyclage portant sur différentes activités ayant trait aux RH, une formation sur les politiques destinée aux spécialistes en RH et une formation sur la sous-délégation des pouvoirs à l’intention des gestionnaires. Il n’a pas été possible d’obtenir les taux de participation effectifs pour les différents ministères et organismes.

Préparation des effectifs : Les gestionnaires, les spécialistes en RH et les employés de la fonction publique possèdent les compétences et les connaissances nécessaires pour appliquer la LMFP.

Puisque tous les ministères et organismes ont utilisé directement ou indirectement des fonds du CIS et que pratiquement toutes ces entités se sont livrées à des activités touchant la LMFP qui incluaient de l’apprentissage et des communications, on peut supposer que les gestionnaires, les spécialistes en RH et les employés de la fonction publique avaient acquis dans une certaine mesure les compétences et connaissances requises pour appliquer la LMFP. Or, dans le cadre de l’évaluation, on n’a pas pu déterminer jusqu’à quel degré cela a été le cas.

Les résultats découlant des entretiens et des études de cas montrent que presque tous les informateurs clés convenaient que les gestionnaires de la fonction publique possèdent les compétences et connaissances nécessaires pour appliquer la LMFP.

Nouvelles fonctions : Des nouvelles fonctions ont été créées et sont opérationnelles et on est prêt à demander ou on a obtenu les services votés requis^[25] .

Les données probantes obtenues au moyen de l’examen de documents et l’analyse des études de cas indiquent que plusieurs ministères et organismes ont établi ou adopté de nouvelles fonctions. Toutefois, au moment de la collecte de données, il n’y avait pas d’indications claires que ces systèmes sont devenus opérationnels ou que l’on a obtenu les crédits votés requis. L’examen de documents révèle que, dans plusieurs ministères et organismes, la planification des RH a été intégrée à la planification opérationnelle et que de nouveaux outils de planification intégrée des RH y ont été élaborés et y sont utilisés (Agriculture et Agroalimentaire Canada, Pêches et Océans Canada, Environnement Canada, Industrie Canada, Affaires autochtones et Développement du Nord Canada ainsi que Travaux publics et Services gouvernementaux Canada)^[26]. Des exemples tirés des études de cas montrent que la planification des ressources humaines à Agriculture et Agroalimentaire Canada était alignée sur les éléments de la composante du CRG ayant trait aux effectifs tandis qu’au ministère de la Défense nationale, elle était alignée sur l’Instrument de délégation et de responsabilisation en matière de nomination de ce ministère. D’autres nouvelles fonctions incluaient la mise au point d’instruments d’orientation à propos de questions liées aux ressources humaines tels que le Manuel de référence sur la dotation destiné aux gestionnaires au ministère de la Défense nationale.

Gestion de projets : Des mécanismes horizontaux de mise en œuvre, de gestion et de gouvernance de la LMFP sont en place, soutenus et efficaces.

L’horizontalité était l’un des principes de financement du CIS et d’après les résultats de l’examen de documents, cet objectif a été atteint, en raison de la nature du rôle du Bureau du projet et des structures de gouvernance. La plupart des informateurs clés estimaient que, dans le cade de la gestion du projet, on avait réussi dans une certaine mesure à assurer la mise en œuvre horizontale de la LMFP.

Résultats à moyen terme

Les résultats qui devaient être obtenus à moyen terme grâce aux fonds du CIS incluaient les éléments suivants :

institutions dotées d’un nouveau mandat davantage en mesure de répondre aux besoins liés aux RH dans la fonction publique;
capacité améliorée d’assurer le suivi des exigences nouvelles et changeantes ayant trait aux RH et de fournir un soutien en réponse à ces exigences;
appui amélioré aux processus de renouvellement;
gestionnaires, spécialistes en RH et employés de la FP qui possèdent les connaissances voulues et adhèrent aux principes culturels nécessaires pour gérer leurs activités et leur conduite en se conformant à la LMFP;
élaboration de politiques, de liens redditionnels et de processus dans le domaine des RH qui vont dans le sens des principes et objectifs de la LMFP;
solide gouvernance des fonds de mise en œuvre et de la réserve de la LMFP;
coordination et effet de levier avec des activités de modernisation connexes et autres intervenants.

Bien que ces résultats puissent avoir été atteints, les restrictions en matière de production de rapports et d’accès à des intervenants aux fins d’entrevues font que l’évaluation n’a pas permis de tirer des conclusions au sujet de ces résultats.

Résultats à long terme

Les résultats suivants devaient être obtenus à long terme grâce aux fonds du CIS :

les personnes qui possèdent les compétences voulues sont recrutées aux endroits et aux moments requis;
relations patronales-syndicales davantage axées sur la collaboration;
accent accru mis sur l’apprentissage et la formation des employés à tous les niveaux;
plus grande clarté entourant les rôles et les obligations redditionnelles.

Comme dans le cas des résultats à moyen terme, il est possible que les résultats à long terme aient été atteints; néanmoins, l’évaluation n’a pas permis de tirer des conclusions à ce sujet.

3.0 Conclusions

Pertinence

Des activités soutenues par le CIS ont été entreprises dans divers ministères et organismes pour aider à créer la capacité nécessaire dans le domaine de la gestion des RH en vue de la mise en œuvre de la LMFP. Les données probantes recueillies ont montré que ces activités étaient pertinentes. En fait, l’ensemble des informateurs clés ont affirmé qu’il existe toujours un besoin continu pour les types d’activités qui étaient financées par le CIS.

1. L’évaluation a recueilli des données probantes qui suggèrent qu’il est nécessaire de continuer à appuyer les ministères et organismes dans leurs efforts visant à renforcer leur capacité de gestion des RH.
2. Les données probantes ont continuellement indiqué que les objectifs et activités liés au CIS correspondaient aux objectifs et à l’esprit de la LMFP.

Efficience

Les questions d’évaluation ayant trait à l’efficience portaient principalement sur la question de savoir combien efficacement l’initiative avait été mise en œuvre. Les résultats de l’évaluation montrent que le CIS a été organisé et appliqué tel que prévu. Dans le cadre du CIS, 94 % des fonds ont été alloués à des ministères et organismes, lesquels ont investi 83,4 % des fonds approuvés.

Même si le Plan directeur ^[27] a été publié un an après le CIS, le premier rapport provisoire affirme que le Secrétariat de la LMFP a fixé et maintenu des échéances de mise en œuvre du projet afin de définir les activités clés et les jalons critiques. Des rapports d’étape et sommaires ont été émis par la suite pour décrire les engagements et les réalisations. Les données probantes montrent que toutes les exigences législatives de la LMFP ont été largement respectées. Il y a également des indications concernant l’efficacité du plan du projet quant à l’orientation des initiatives horizontales au sein des ministères et organismes.

3. Le rôle du Bureau du projet était bien articulé et communiqué dans les documents liés au CIS; toutefois, il n’est pas clair dans quelle mesure ce rôle était bien compris par les ministères et organismes. L’évaluation a permis de déterminer que le Bureau du projet avait géré avec efficacité la mise en œuvre du CIS.
4. Les données probantes suggèrent que des mécanismes ont été mis en place pour assurer la mise en œuvre efficace du plan du projet.
5. Les données probantes provenant de documents montrent que le plan du projet a permis de bien guider les efforts horizontaux dans les ministères et organismes. La plupart des personnes interrogées n’étaient toutefois pas en mesure de faire des observations à ce sujet.
6. Il semble y avoir eu une capacité et fonctionnalité suffisantes en matière de TI dans le contexte de la mise en œuvre du CIS. Néanmoins, il n’y avait pas d’utilisateurs avec qui on aurait pu s’entretenir, ce qui aurait fourni une autre série d’éléments de preuve à l’appui de cette conclusion.
7. L’évaluation a permis de conclure que l’on avait satisfait, à un degré considérable, aux exigences législatives de la LMFP.
8. Même si de façon générale, il y a eu un effet de levier, on ne disposait pas de suffisamment de données probantes pour déterminer clairement son rapport ou les autres liens avec des activités non reliées à la modernisation prévue par la LMFP ou si ces effets d’entraînement faisaient même partie de l’objectif du CIS.

Économie

9. Même si les résultats de l’examen de documents et les renseignements obtenus au cours des entrevues avec des informateurs clés ont montré que les fonds alloués par le CIS ont effectivement produit de la valeur, l’évaluation n’a pas permis de déterminer si cela aurait pu être accompli avec moins de ressources.
10. Les données probantes montrent que le montant des fonds du CIS et la nature de leur utilisation étaient appropriés. Quatre-vingt-huit pour cent des ministères et organismes ont reçu une aide directe ou indirecte par l’intermédiaire de l’ÉSTPO ou de leur ministère d’attache de manière à répondre aux exigences de mise en œuvre de la LMFP.

Efficacité

L’évaluation n’a pas permis d’arriver à de solides conclusions concernant le degré auquel le CIS a contribué à l’obtention des résultats escomptés de la LMFP à moyen et à long termes, en partie en raison du manque d’informateurs et du nombre insuffisant de rapports produits par les bénéficiaires des fonds.

Cependant, les extrants prévus ont été produits et la plupart des résultats immédiats et à court terme ont été obtenus. Des extrants comme des lignes directrices, des communications et de la formation ont conduit aux résultats immédiats, ce qui a permis aux ministères de demander et de recevoir des fonds pour des projets qui étaient conformes aux priorités et principes de la LMFP, même si les délais de mise en œuvre étaient perçus comme un problème potentiel. Il semble aussi que l’on ait généralement obtenu les résultats à court terme, comme en témoignent les changements institutionnels^[28], la création de systèmes de TI nécessaires dans le domaine des RH, la tenue d’événements pour préparer les employés et l’élaboration de nouvelles fonctions liées aux RH devant appuyer l’application de la LMFP. Toutefois, l’évaluation n’a pas permis de conclure à quel point ces éléments, de leur côté, ont répondu aux besoins liés aux RH dans la fonction publique et ont appuyé les processus au chapitre des ressources, des changements culturels et des obligations redditionnelles. De même, il n’a pas été possible d’en arriver à des conclusions à propos des résultats à long terme des mesures visant à assurer le recrutement de personnes possédant les compétences voulues, à favoriser des relations patronales-syndicales axées sur la collaboration, à mettre davantage l’accent sur l’apprentissage et la formation des employés à tous les niveaux et à clarifier davantage les rôles et les obligations redditionnelles – ce qui a eu pour effet de restreindre considérablement l’évaluation.

11. L’application de la stratégie d’investissement dressée pour le CIS semble avoir été efficace en facilitant la réalisation des objectifs de la LMFP, mais en raison d’éléments de preuve limités, il n’est pas clair à quel degré.
12. Une analyse de l’information provenant des cinq études de cas et des entrevues avec les informateurs clés montre que tous les extrants et la majorité des résultats immédiats et à court terme prévus dans le contexte du CIS ont été obtenus, dans une certaine mesure.
13. Même si les données probantes révèlent que l’on a obtenu les résultats à court terme, elles étaient néanmoins insuffisantes pour permettre de tirer des conclusions définitives à ce sujet.

4.0 Leçons apprises

Un grand nombre des leçons apprises par suite de cette évaluation concernent la mesure du rendement et la production de rapports. Même si les réorganisations de l’AGRHFPC et de l’AFPC ont attiré l’attention sur la question de la gestion de l’information, de façon plus générale, il faut qu’on soit davantage conscient de l’importance d’établir des stratégies de mesure du rendement et des cadres de présentation de rapports avant la mise en œuvre d’initiatives gouvernementales, de sorte à fournir aux cadres supérieurs l’information dont ils ont besoin pour savoir quel est l’impact des grandes initiatives.

Des initiatives de financement d’envergure comme le CIS devraient, dans toute la mesure du possible, être mises en œuvre à partir d’une structure organisationnelle stable. Des réorganisations qui surviennent parallèlement à la mise en œuvre d’une importante initiative risquent d’empêcher cette dernière de mesurer et d’évaluer l’atteinte des résultats escomptés. Si cette situation ne peut être évitée, il y a lieu d’élaborer une stratégie de gestion de l’information rattachée spécifiquement à l’initiative de restructuration, peu importe l’emplacement de l’organisation, qui inclut toutes les personnes-ressources pertinentes, pour des responsabilités particulières ayant trait à l’initiative.
Les cadres de présentation de rapports devraient être conçus de sorte à établir un équilibre entre la présentation de rapports sur les dépenses et les résultats (et non pas uniquement sur les extrants) et les besoins administratifs. Ces cadres devraient être dressés en consultation avec l’ensemble des intervenants bien avant la mise en œuvre.
Il faut établir des stratégies de mesure du rendement avant l’entrée en vigueur des initiatives, de manière à recueillir l’information requise aux fins des évaluations.
En effectuant une évaluation de référence au stade initial de la mise en œuvre d’une initiative, on fournit aux gestionnaires de programmes des données qu’ils peuvent comparer aux résultats et on leur permet ainsi de mesurer les impacts d’une politique, d’un programme ou d’une initiative.
Lorsque l’on planifie une évaluation, il convient d’évaluer tous les fonds connexes qui contribuent à un résultat unique. Dans ce cas, par exemple, le Fonds de réserve de la LMFP (238 millions de dollars) englobait le CIS (200 millions de dollars), et les deux fonds ont aidé à obtenir les mêmes résultats souhaités. Il est difficile de séparer l’impact des 38 millions de dollars qui ont servi à financer la phase de démarrage du restant des fonds du CIS, puisqu’ils ont tous servi à mettre en œuvre la LMFP.
En mettant au point un système de suivi des initiatives une fois qu’elles sont terminées, on aide les gestionnaires de programmes à surveiller les avantages à long terme d’initiatives de longue durée comme la LMFP et de leurs mécanismes de mise en œuvre.

[1]. En 2003, au moment de l’établissement du Fonds de réserve de la LMFP, l’exigence d’évaluation visait uniquement l’utilisation des fonds du CIS (2004-2008) plutôt que l’ensemble du Fonds de réserve. Cette exigence a été confirmée en 2008.

[2]. Voici comment le plan directeur établi en 2006 pour la mise en œuvre de la LMFP était défini dans ce document : « Il s’agit d’un plan stratégique plutôt qu’opérationnel. Il renferme le cadre global qui permettra de réaliser l’objectif de la LMFP dans un environnement complexe en évolution constante, comportant de multiples intervenants, des capacités variées, diverses obligations redditionnelles et des défis de taille ».

[3] Cela comprend l’établissement du Tribunal de la dotation de la fonction publique, de la Commission des relations de travail dans la fonction publique et de l’École de la fonction publique du Canada, ainsi que des modifications à des institutions existantes, comme la Commission de la fonction publique du Canada.. Voir également la page 23.

[4]. En 2003, au moment de l’établissement du Fonds de réserve de la LMFP, l’exigence d’évaluation visait uniquement l’utilisation des fonds du CIS (2004-2008) plutôt que l’ensemble du Fonds de réserve. Cette exigence a été confirmée en 2008.

[5]. Le Rapport technique des entretiens avec les informateurs clés résume l’information recueillie au cours des entrevues avec les informateurs clés.

[6]. L’ÉSTPO a été créée en 2005 par l’intermédiaire du FIS pour aider les petits organismes à appliquer la LMFP.

[7]. Les coûts de mise en œuvre de la LMFP ont été financés au moyen d’une affectation initiale couvrant les activités initiales de préparation et de gestion, le Fonds du CIS et les réaffectations internes par les ministères et organismes. Les coûts des extrants ont été signalés par les ministères et organismes dans le contexte des coûts de mise en œuvre totaux de la LMFP, plutôt que dans celui du CIS, ce qui complique l’attribution d’extrants au seul CIS.

[8]. Rapport Le Point de la vérificatrice générale du Canada, février 2005

[9]. Dix-septième rapport annuel au Premier ministre sur la fonction publique du Canada, p. 6

[10]. Dix-septième rapport annuel au Premier ministre sur la fonction publique du Canada, p. 46

[11]. Le Tribunal de la dotation de la fonction publique a le pouvoir d’entendre des plaintes ayant trait aux nominations internes, aux licenciements, à l’application de mesures correctrices ordonnées par le Tribunal et à la révocation de nominations.

[12]. Un nouveau mandat a été confié à la Commission des relations de travail de la fonction publique et prévoit notamment l’expansion de son rôle (fonction de recherche sur la rémunération et services de médiation plus étendus).

[13]. La fusion du Centre canadien de gestion et de Formation et perfectionnement Canada a conduit à la fondation de la nouvelle École de la fonction publique du Canada, y compris le transfert des ressources pédagogiques de la Commission de la fonction publique du Canada servant à la formation linguistique.

[14]. L’efficacité de la mise en œuvre constitue une question différente de l’efficacité d’un programme en matière d’atteinte de ses résultats escomptés.

[15]. En raison d’un manque de documents au dossier, il n’a pas été possible durant l’évaluation de déterminer l’application continue de certains contrôles de gestion clés.

[16]. Des informateurs clés ont indiqué que des protocoles d’entente n’avaient pas été signés avec tous les ministères et organismes participants.

[17]. Lignes directrices et modèle pour les analyses de rentabilisation liées au CIS de la LMFP, 2007.

[18]. Lignes directrices et modèle pour les analyses de rentabilisation liées au CIS de la LMFP, 2007, p. 6

[19]. Par exemple, on a utilisé les lignes directrices relatives aux analyses de rentabilisation du CIS, le formulaire d’évaluation abrégé et le modèle d’évaluation détaillé de l’analyse de rentabilisation du CIS.

[20]. Plan directeur, LMFP, AGRHFPC, 2006

[21]. Principe qui consistait à encourager des initiatives de mise en œuvre de la LMFP comportant des avantages s’étendant à l’ensemble de la fonction publique ou des avantages partagés et cumulatifs dans de multiples organisations aboutissant à des gains d’efficience et répondant à des besoins collectifs; les organisations étaient encouragées à tenter de conclure des partenariats horizontaux avec d’autres ministères et organismes.

[22]. Rapport final de l’Équipe de soutien à la transition pour les petits organismes (ÉSTPO), 31 mars 2009.

[23]. Résumé des résultats liés à la LMFP : exercices 2005-2006 à 2007-2008.

[24]. Dans le modèle logique, les résultats à court et à moyen terme sont regroupés en fonction des enveloppes de financement théoriques du CIS.

[25]. Le financement sécurisé par services votés est une forme de financement durable permettant la mise en œuvre des projets et initiatives.

[26]. LMFP – Résumé des résultats - Portail des RH (AF 2006-2007), 3 octobre 2007.

[27]. Voici comment le plan directeur établi en 2006 pour la mise en œuvre de la LMFP était défini dans ce document : « Il s’agit d’un plan stratégique plutôt qu’opérationnel. Le Plan directeur renferme le cadre global qui permettra de réaliser l’objectif de la LMFP dans un environnement complexe en évolution constante, comportant de multiples intervenants, des capacités variées, diverses obligations redditionnelles et des défis de taille. »

[28]. Cela comprend l’établissement du Tribunal de la dotation de la fonction publique, de la Commission des relations de travail dans la fonction publique et de l’École de la fonction publique du Canada, ainsi que des modifications à des institutions existantes, comme la Commission de la fonction publique du Canada.. Voir également la page 23.