ARCHIVÉ - Évaluation du processus des présentations au Conseil du Trésor

Cette page a été archivée.

5. Enjeux de l'�valuation et m�thodologie

Le tableau 2 pr�sente les enjeux de l'�valuation et les questions d�coulant du mod�le logique �labor� par l'�quipe charg�e de l'�valuation. La matrice d'�valuation d�taill�e qui pr�cise les indicateurs et les sources de donn�es utilis�es pour r�pondre aux questions d'�valuation se trouvent � l'annexe B.

Tableau 2 : Sommaire des enjeux et des questions de l'�valuation

Enjeu de l'�valuation	Questions de l'�valuation
Pertinence	Quel besoin le processus des pr�sentations au Conseil du Tr�sor comble-t-il?
Efficacit�	� court terme Les employ�s des organisations f�d�rales et du Secr�tariat ont-ils une meilleure compr�hension des �l�ments des pr�sentations au Conseil du Tr�sor, des politiques et du processus connexes? Le Secr�tariat offre-t-il des services qui permettent aux organisations f�d�rales de faire en sorte que les �bauches des pr�sentations soient conformes aux autorisations, aux politiques et aux orientations du Conseil du Tr�sor? Le processus d'examen des pr�sentations au Conseil du Tr�sor mis de l'avant par le Secr�tariat permet-il de s'assurer que les pr�sentations au Conseil du Tr�sor sont conformes aux autorisations et aux politiques du gouvernement? Les d�cisions du Conseil du Tr�sor sont-elles �clair�es et conformes aux conseils, aux directives et aux recommandations fournis par les analystes du Secr�tariat? Des m�canismes sont-ils en place pour veiller � ce que les d�cisions du Conseil du Tr�sor soient ex�cut�es? � moyen terme et � long terme Quel est le niveau de qualit� des pr�sentations au Conseil du Tr�sor? Le processus des pr�sentations au Conseil du Tr�sor contribue-t-il � faire en sorte que les programmes, les d�penses et les m�canismes de gestion du minist�re ou du gouvernement soient harmonis�s avec les priorit�s du gouvernement du Canada16? Existe-t-il des facteurs qui font obstacle � l'obtention de r�sultats? Y a-t-il eu des r�sultats inattendus17?
�conomie	Quelles ressources sont attribu�es au processus des pr�sentations? Le processus est-il efficace? Que peut-on faire pour rendre le processus plus efficace? Le processus des pr�sentations au Conseil du Tr�sor est-il fond� sur les risques? Les contribuables canadiens en ont-ils pour leur argent?

(a) Sources de donn�es et m�thodes

Le cadre d'�valuation utilise une multitude de sources de donn�es probantes et de m�thodes de recherche compl�mentaires afin d'assurer la fiabilit� et la validit� des donn�es. Les m�thodes de recherche suivantes ont �t� utilis�es :

• un examen de documents;
• des entrevues avec des intervenants et des experts;
• une s�ance de travail avec les secr�taires adjoints du Secr�tariat et les SMA de certaines organisations f�d�rales (s�ance de travail des SMA);
• un examen des donn�es administratives, financi�res et statistiques;
• un sondage administr� � des analystes du Secr�tariat et dans des organisations f�d�rales.

Chacune de ces m�thodes est d�crite ci-apr�s de mani�re plus d�taill�e.

Examen des documents. Trois principaux types de documents ont �t� examin�s pendant l'�valuation :

• documentation g�n�rale sur le contexte (p. ex., documents qui d�crivent l'historique, les fondements et le cadre l�gislatif ayant trait au processus des pr�sentations au Conseil du Tr�sor);
• documents concernant le processus des pr�sentations (p. ex., le Guide et d'autres documents connexes, comme le Guide de survie des analystes, ainsi que l'information au sujet de comit�s concern�s, de directions et d'autres groupes participant au processus);
• �tudes pr�c�dentes (p. ex., recherche concernant le processus des pr�sentations au Conseil du Tr�sor, �tudes internationales).

Pour la liste compl�te des documents, veuillez consulter l'annexe C. Il est important de noter que l'�valuation n'a pas examin� ni �valu� les pr�sentations au Conseil du Tr�sor et les pr�cis du point de vue de la qualit�.

Entrevues. Vingt-six entrevues ont �t� men�es (tableau 3 et annexe D). Les personnes interview�es �taient notamment :

• des analystes de programme et des analystes des CE¹⁸ :
  • les analystes de programme sont les principales personnes-ressources pour une pr�sentation;
  • les analystes des CE repr�sentent des secteurs au sein du Secr�tariat (p. ex., Direction du dirigeant principal de l'information, Secteur des services minist�riels, SGD, etc.) et donnent des conseils strat�giques aux analystes de programme;
• des repr�sentants de 12 organisations f�d�rales qui ont soumis une pr�sentation au Conseil du Tr�sor au cours des cinq derni�res ann�es; quatre entrevues ont �t� men�es avec des repr�sentants d'organisations f�d�rales qui se trouvent dans chacune des cat�gories suivantes :
  • fr�quence occasionnelle de pr�sentations (moins d'une pr�sentation par mois);
  • fr�quence mod�r�e de pr�sentations (une ou deux pr�sentations par mois);
  • fr�quence �lev�e de pr�sentations (trois pr�sentations ou plus par mois).
• des intervenants externes, � savoir des personnes qui sont li�es au processus des pr�sentations au Conseil du Tr�sor, mais qui n'y participent pas directement (p. ex., des employ�s du BCP et du minist�re des Finances Canada).

Tableau 3 : Liste des groupes pour les entrevues

Groupe pour les entrevues	Nombre d'entrevues
Total	26
Analystes de programme et analystes des CE	11
Repr�sentants des organisations f�d�rales	12
Intervenants externes	3

Toutes les entrevues ont �t� men�es par t�l�phone. Les personnes interview�es ont re�u un guide d'entrevue (voir l'annexe E) avant la tenue des entrevues.

Sondage. Un sondage sur Internet a �t� fait aupr�s des analystes de programme et des analystes des CE et aupr�s de repr�sentants d'organisations f�d�rales qui avaient soumis une pr�sentation au Conseil du Tr�sor au cours des cinq derni�res ann�es. En tout, 547 personnes ont �t� invit�es � remplir le questionnaire; nous avons re�u 220 questionnaires utilisables, soit un taux global de r�ponse de 40 % (voir le Tableau 4). ¹⁹

Tableau 4 : Taux de r�ponse au sondage

Groupe participant au sondage	Nombre total de questionnaires transmis	Questionnaires re�us	Questionnaires �limin�s	Nombre total de questionnaires conserv�s	Taux de r�ponse	Intervalle de confiance
Total	547	225	5	220	40,2%
Analystes de programme	135	60	0	60	44,4%	95% � 9,5%
Analystes de CE	181	66	0	66	36,5%	95% � 9,6%
Organisations f�d�rales	231	99	5 20	94	40,7%	95% � 7,8%

Tous les analystes de programme du Secr�tariat ont �t� invit�s � participer au sondage. On leur a �galement demand� de fournir les coordonn�es des personnes-ressources pour tous les analystes des CE qu'ils avaient consult�s afin d'obtenir des conseils au sujet des pr�sentations au Conseil du Tr�sor au cours des cinq derni�res ann�es. En outre, on a demand� aux analystes de programme de fournir les coordonn�es des personnes-ressources dans les organisations f�d�rales (y compris le Secr�tariat) qui ont soumis une pr�sentation au cours de la derni�re ann�e. Les organisations f�d�rales ont �t� invit�es � transmettre le sondage aux autres employ�s au sein de leur organisation qui avaient particip� au processus d'examen des pr�sentations au Conseil du Tr�sor.

Les r�sultats du sondage sont pr�sent�s � l'annexe G.

S�ance de travail avec les SMA. Une s�ance d'information de deux heures a �t� men�e afin de recueillir des donn�es qualitatives sur la pertinence, l'efficacit� et l'�conomie du processus des pr�sentations au Conseil du Tr�sor. Les secr�taires adjoints du Secr�tariat et certains SMA responsables de la planification minist�rielle et/ou strat�gique de m�me que des dirigeants principaux des finances (DPF) des organisations f�d�rales ont �t� invit�s � prendre part. Les sujets devant �tre discut�s pendant la s�ance (voir l'annexe F) ont �t� transmis � l'avance aux participants.

Donn�es administratives, financi�res et statistiques. Des donn�es administratives, financi�res et statistiques ont �t� recueillies afin d'�valuer l'efficacit� et l'efficience du processus des pr�sentations. L'�quipe charg�e de l'�valuation a travaill� en collaboration avec le Centre des pr�sentations au Conseil du Tr�sor en vue d'examiner les donn�es concernant les pr�sentations au Conseil du Tr�sor et de mieux comprendre le syst�me de suivi des pr�sentations (SSP). L'�quipe a �galement examin� les donn�es provenant de la base de donn�es du Cadre de responsabilisation en gestion (CRG).

�tablissement des co�ts. L'�valuation du volet �conomie n�cessite une analyse des co�ts engag�s au cours du processus des pr�sentations. L'�tablissement des co�ts a �t� entrepris; toutefois, �tant donn� que les co�ts directs li�s aux pr�sentations au Conseil du Tr�sor ne font pas l'objet d'un suivi distinct, seule une approximation des efforts d�ploy�s par certains participants au processus des pr�sentations �tait disponible. Par cons�quent, l'alin�a 6(c)(i), dans la rubrique Ressources affect�es au processus des pr�sentations, n'�tablit pas le co�t estimatif du processus.

Pratique connexe � l'�chelle internationale : L'�quipe charg�e de l'�valuation a men� un examen limit� des mod�les de processus des pr�sentations utilis�s dans d'autres administrations internationales²¹ . Compte tenu de la nature superficielle de cet examen, l'�quipe charg�e de l'�valuation ne pouvait pas tirer de conclusions sur le caract�re appropri� des autres mod�les en comparaison avec le contexte canadien. Les conclusions qui reposent sur cet examen ne sont donc pas pr�sent�es dans le pr�sent rapport. Cet examen a n�anmoins permis de faire ressortir des renseignements int�ressants. Par exemple, l'examen a r�v�l� que le r�le jou� par les secr�taires adjoints du Secr�tariat, � savoir soumettre une pr�sentation d'une organisation f�d�rale au Conseil du Tr�sor, peut �tre unique � l'�chelle internationale. Comme c'est le cas dans le mod�le f�d�ral canadien, les �quivalents du Secr�tariat dans d'autres administrations sont responsables des fonctions logistiques et techniques pour les sessions du Cabinet, de la planification strat�gique et de la planification du travail, de la prestation de conseils strat�giques, des fonctions juridiques, de certaines fonctions de surveillance et de leurs propres fonctions de gestion interne²² . Ils examinent soigneusement les documents pr�sent�s au Cabinet et s'assurent que les consid�rations juridiques et strat�giques ont �t� prises en compte dans les pr�sentations structur�es. Dans six des dix pays de l'Organisation de coop�ration et de d�veloppement �conomiques (OCDE)²³ qui ont particip� au sondage, l'�quivalent du Secr�tariat pr�pare une recommandation sur la fa�on dont la pr�sentation devrait �tre �tudi�e dans une r�union du Cabinet. Dans ces administrations, toutefois, c'est le sous-ministre de l'organisation soumettant la pr�sentation, plut�t que l'�quivalent d'un secr�taire adjoint du Secr�tariat, qui soumet la pr�sentation lors d'une r�union du Cabinet. Les �quivalents des secr�taires adjoints peuvent donc porter leur attention sur les pr�sentations qui sont plus strat�giques ou de nature d�licate et pour lesquelles leur recommandation va � l'encontre de celle de l'organisation qui soumet la pr�sentation.

Renseignements suppl�mentaires. Une fois que les donn�es ont �t� recueillies et analys�es, nous avons relev� des lacunes au niveau de l'information dans quelques domaines cl�s. Pour combler ces lacunes, les m�thodologies suivantes ont �t� utilis�es :

• Examen des donn�es financi�res, statistiques et en mati�re de ressources humaines (RH) additionnelles - L'�quipe charg�e de l'�valuation a examin� les donn�es financi�res et en mati�re de RH additionnelles afin de fournir d'autres observations concernant le co�t du processus des pr�sentations au Conseil du Tr�sor. Les documents concernant le camp de formation pour le secteur des programmes ont �galement �t� examin�s.
• Entrevue avec un conseiller principal du Secr�tariat - L'�quipe charg�e de l'�valuation a rencontr� un conseiller principal ayant une vaste connaissance et exp�rience du processus des pr�sentations ainsi que des outils et de la structure de gestion connexes.
• S�ances de travail avec les directeurs de programme - Quatre s�ances ont eu lieu avec le groupe des directeurs de programme (GDP) du Secr�tariat en vue de valider les constatations. De plus, les secr�taires adjoints des secteurs des programmes ont examin� l'�bauche finale de ce rapport.
• Entrevue avec des analystes des op�rations du Syst�me d'information sur la gestion des d�penses (SIGD) - Les r�unions visaient � mieux conna�tre et comprendre le renouvellement des syst�mes du Service du budget (RSSB) du Secr�tariat et le travail de gestion du changement qui se produisait pendant la mise en œuvre de son SIGD.

(b) Limitations de l'�valuation

�ch�ancier. Une �lection f�d�rale a �t� d�clench�e peu apr�s le lancement de l'�valuation. Peu de temps apr�s l'�lection, le Parlement a �t� prorog�. Ces �v�nements ont retard� l'approbation de la tenue d'une recherche sur l'opinion publique pour l'�valuation, limitant ainsi le temps disponible pour effectuer la recherche. Une autre cons�quence de l'�lection et de la prorogation subs�quente a �t� que l'�quipe charg�e de l'�valuation n'a pu rencontrer en entrevue les ministres du Conseil du Tr�sor concernant l'appui qu'ils ont obtenu dans le cadre du processus des pr�sentations au Conseil du Tr�sor.

Mod�le logique. Bien que l'�quipe charg�e de l'�valuation estime que le r�sultat final propos� du mod�le logique qu'elle a �labor� aux fins de l'�valuation est une description valide de l'objet du processus des pr�sentations au Conseil du Tr�sor et, par cons�quent, un fondement valide pour l'�valuation, il a �t� impossible de valider le r�sultat final aupr�s d'un �ventail repr�sentatif d'intervenants.

Examen de donn�es sur la mesure du rendement. Des donn�es sur le rendement n'ont pas �t� recueillies sur tous les aspects du processus des pr�sentations au Conseil du Tr�sor. Par exemple, des donn�es ne sont pas recueillies sur la mesure dans laquelle les pr�sentations au Conseil du Tr�sor soumises officiellement par les organisations f�d�rales sont effectivement n�cessaires, ou sont conformes aux politiques et aux processus, et sur la mesure dans laquelle les d�cisions refl�tent les recommandations contenues dans le pr�cis. En l'absence de ces renseignements, l'�quipe charg�e de l'�valuation n'a pas �t� en mesure d'�valuer la qualit� des pr�sentations et des pr�cis. L'�valuation reposait donc plus massivement sur les donn�es du sondage et des entrevues pour �tablir l'efficacit� du processus.

Donn�es administratives. Des donn�es administratives restreintes existaient au sujet du processus des pr�sentations et de ses r�sultats. De plus, tel qu'il est indiqu� dans la V�rification des cong�s et des heures suppl�mentaires du Secr�tariat du Conseil du Tr�sor du Canada (2008)²⁴ , certaines donn�es sur les heures suppl�mentaires ne sont pas fiables, ce qui limite la mesure dans laquelle l'�quipe charg�e de l'�valuation pouvait utiliser ces donn�es pour �valuer le nombre (et les co�ts connexes) d'heures suppl�mentaires indiqu�es par les analystes de programme relativement aux pr�sentations au Conseil du Tr�sor. De plus, d'autres donn�es administratives comme le nombre de jours entre la d�cision du Conseil du Tr�sor et la transmission de la lettre de d�cision ont fournis d'autres �l�ments probants.

Sondages et entrevues. �tant donn� la nature tr�s variable des pr�sentations au Conseil du Tr�sor, il va de soi que l'exp�rience du processus des pr�sentations diff�rerait consid�rablement d'une pr�sentation � une autre. Un plus grand nombre d'entrevues auraient fourni de meilleures donn�es sur l'incidence des variations dans la longueur, la port�e, la valeur et la complexit� d'une pr�sentation. La m�thodologie d'�valuation visait � combler cette limitation en invitant les employ�s de toutes les organisations f�d�rales � participer � un sondage sur le Web. Les r�sultats du sondage ont �t� contre-valid�s avec les r�ponses aux entrevues.

M�thode d'�tablissement des co�ts. Les donn�es sur les co�ts de soutien � l'�tablissement complet et exact des co�ts de la participation du Secr�tariat au processus des pr�sentations au Conseil du Tr�sor n'�taient pas disponibles.

Approche � guichet unique de la prestation de services. Comme le Secr�tariat a recours � une approche � guichet unique dans laquelle les analystes de programme et leurs directeurs ou directeurs ex�cutifs constituent le point de liaison avec les repr�sentants des organisations f�d�rales en ce qui concerne les pr�sentations, l'interaction entre les analystes des CE et les repr�sentants des organisations f�d�rales est extr�mement limit�e. Par cons�quent, malgr� le fait que les analystes des CE apportent une contribution et jouent un r�le clair au cours du processus des pr�sentations aux �tapes pr�c�dant la pr�sentation et de l'�bauche, les repr�sentants des organisations f�d�rales ne sont peut-�tre pas tout � fait conscients de la port�e de ce r�le. Cette situation a pu faire en sorte que l'�valuation soit centr�e dans une plus grande mesure sur les analystes de programme.

Bien que la m�thodologie d'�valuation comporte certaines limitations, de nombreux �l�ments probants ont �t� utilis�s pour tirer des conclusions au sujet du processus des pr�sentations au Conseil du Tr�sor, ce qui renforce la fiabilit� et la validit� des r�sultats de l'�valuation. Malgr� les limitations, la m�thodologie satisfait aux exigences de la Politique sur l'�valuation du Conseil du Tr�sor et des normes connexes.