مقدمة
عندما تنظر إلى البرامج والمشاريع التي يدعمها العمل الخيري المؤسسي الخاص بك، قد تجد نفسك تتساءل عن مدى أثر العطاء الذي تقدمه. قد تتساءل عما إذا كان هذا هو أفضل ما يمكنك القيام به، أو إذا كان يمكن تحقيق أي شيء آخر. أثناء قراءتك لتقارير التقدم التي يقدمها موظفوك أو المستفيدون من المنح، يمكنك تخمين التقدم الذي تم إحرازه بسرعة، لكنك ستريد معرفة المزيد حول ما إذا كان التغيير الإيجابي قد حدث أو سيحدث ولماذا وكيف حدث وما مدى ذلك التغيير.
ستساعدك عمليات المراقبة والتقييم على تقييم ما حدث وتحسين ما تحققه من خلال عطائك. سيساعد هذا الدليل في تمكين عملياتك من أجل مراقبة تقدم البرنامج وتقييم النتائج.
المبادئ الأساسية
للحصول على القيمة الكاملة من مراقبة التقدم وتقييم النتائج، يجب أن تكون عمليتا المراقبة والتقييم مدمجة بشكل تام طوال كل مرحلة من مراحل دورة حياة البرنامج. مع ذلك، يتم في الكثير من الأحيان حذفهما من مرحلة التخطيط، يغيبان تماماً عن مرحلة التنفيذ، ويتم دمجهما بشق الأنفس في المراحل النهائية من البرنامج.
والأسوأ من ذلك، أن العديد من المؤسسات، التي تشارك في عمليات المراقبة والتقييم، تفعل ذلك فقط لتلبية متطلبات إعداد التقارير، بدلاً من استخدامها كأداة لتحسين النتائج.
هناك أربع عمليات أساسية لمراقبة التقدم وتقييم النتائج. ويركز هذا الدليل على الخطوتين الثالثة والرابعة.
1. تحديد النجاح. إن ترسيخ الهدف المرجو تحقيقه من البرنامج هو خطوة أولية تؤثر بشدة على جميع عمليات المراقبة والتقييم اللاحقة، حيث يساعد رسم النجاح على تحديد الأسئلة التي يسعى المدير أو المقيّم للإجابة عليها. هل كانت المدخلات كافية؟ هل كان البرنامج ناجحاً؟ هل أصبح المشاركون في البرنامج أفضل حالاً عما كانوا عليه من قبل بعد انتهاء البرنامج؟ هذه كلها أمثلة على أسئلة التقييم التي يمكن، بعد التحقق منها، أن تساعد في تحسين البرنامج، وعرض النجاحات والتحديات، وتلبية رغبات أصحاب المصلحة.
2. تحديد المؤشرات والأهداف وخطوط الأساس. يعد وضع المؤشرات والأهداف وخطوط الأساس خطوة حاسمة في مراقبة وقياس التقدم المحرز في التنفيذ والنتائج والأثر طويل المدى. إن هذه العناصر الثلاثة مهمة جداً بالنسبة لمديري البرامج خلال عملهم في الحفاظ على بقاء البرنامج في مساره وتحديد المشاكل واستغلال النجاحات وتحسين النتائج.
3. جمع المعلومات. يعد الوصول إلى البيانات والمعلومات الموثوقة عاملاً قوياً يمكن من خلاله تحسين نتائج البرنامج. فتطوير خطة لجمع المعلومات يساهم في بناء قاعدة الأدلة الأولية من أجل اتخاذ قرارات إدارية مدروسة بعناية.
4. استخدام المعلومات. يعد جمع البيانات أمراً مهماً، ولكن يجب استخدام المعلومات لمراقبة التقدم وتقييم النتائج وتصحيح مسار البرنامج ونقل النتائج. تقوم العديد من البرامج بجمع البيانات ولكنها لا تعقد أبداً حلقة للتغذية الراجعة تستند إلى البيانات يمكنها المساعدة في تحديد المشاكل وتحسين النتائج.
ثلاثة أسباب (ضعيفة) لتجنب البرامج عمليات المراقبة والتقييم
تتجنب البرامج في كثير من الأحيان عمليات المراقبة والتقييم وقد يبدو من الجيد عدم القيام بمثل هذه العمليات في وقت ما، ولكن دائماً ما يؤثر ذلك سلبياً على النتائج العامة.
1. القيود المالية والقدراتية. قد يبدو من الممكن تجنب صرف الأموال على عمليات المراقبة والتقييم، خاصة عندما تكون الميزانيات ضيقة. وبينما من الأمثل أن يتم تقييم البرامج من قبل جهات خارجية محايدة، فإن عمليات المراقبة والتقييم التي تتم داخلياً يمكن أن تكون فعالة أيضاً إذا تم تناولها بموضوعية. علاوة على ذلك، ليست هناك حاجة دائماً للاحتفاظ بموظفي مراقبة وتقييم متخصصين، حيث يجب أن تكون عمليات المراقبة والتقييم مدمجة في كل مرحلة من مراحل دورة حياة البرنامج، وعلى هذا النحو، يمكن تقاسم المسؤوليات بين العديد من الأفراد المشاركين في كل مرحلة.
2. قيود زمنية. ينبغي ألا يكون هناك مفاضلة بين تنفيذ البرنامج ومراقبة تقدمه أو تقييم نتائجه، ويمكن القيام بذلك كله إذا تم التخطيط بشكل مناسب. وقد تجبر الظروف في حالة الأزمات إلى تأخير إجراء عمليات المراقبة أو التقييم غير الأساسية، ولكن بعيداً عن البرامج المتعلقة بالأزمات، يمكن إجراء عمليات المراقبة والتقييم إلى جانب التنفيذ. كما أن هناك العديد من البرمجيات التي يمكن أن تساعد في أتمتة عملية جمع البيانات وتحليلها إذا ما وجدت قيود زمنية.
3. عدم الرغبة في أن يتم "تقييمها". تهدف عمليات المراقبة والتقييم إلى تحسين البرامج وليس مقاضاتها. إن السعي إلى التحسين المستمر وتحقيق النتائج المثلى يجب أن يدفع البرنامج إلى تبني عمليات المراقبة والتقييم بدلاً من تجنبها، خوفاً من النتائج السيئة. من الممكن أن تكشف عمليات المراقبة والتقييم عن عدم كفاية التقدم أو النتائج، ولكن الأهم من ذلك أنها قادرة على تحديد الفرص التي يمكن من خلالهاعكس الآثار السلبية الطويلة المدى وتحسين فرص النجاح.
جمع المعلومات
بمجرد تحديد المؤشرات والأهداف وخطوط الأساس، فإن الخطوة التالية هي جمع المعلومات. خلال هذه العملية، يقوم مديرو البرامج بتطوير وتنفيذ خطة لجمع البيانات من المصادر المختلفة الموضحة في إطار عمل المؤشرات الخاص بهم. وسيتم استخدام هذه المعلومات على المدى القريب لمراقبة التقدم ووضع الأساس الذي يمكن للبرنامج في النهاية تقييم النتائج والأثر بناءً عليه. وكل نوع من أنواع المؤشرات الثلاثة يفسح المجال لنوع معين من البيانات وطريقة الجمع.
غالباً ما يتم جمع البيانات الأولية، أو البيانات التي تم جمعها حديثاً لغرض محدد مقصود، لقياس مؤشرات النتائج. أما البيانات الثانوية، فغالباً ما تستخدم لقياس مؤشرات التنفيذ والأثر، وهي تلك البيانات التي تم جمعها لأهداف ثانية ولكنها تصلح في مجالات أخرى.
- تقيس مؤشرات التنفيذ المدخلات والأنشطة. ويمكن جمع الكثير من هذه المعلومات من البيانات الإدارية بما في ذلك الميزانيات والجداول الزمنية وقوائم الجرد ومؤشرات الأداء الرئيسية وغيرها من المعلومات التي يتم جمعها ومراقبتها للأغراض التشغيلية. ومن المحتمل أن تكون هذه البيانات قد جُمعت وخزّنت مسبقاً في الأنظمة القائمة. إذا كانت إحدى المؤسسات تستخدم نظام تخطيط موارد المؤسسات، فإن معظمها مُهيأ مسبقاً بمكون إدارة أداء قياسي يمكنه تتبع المؤشرات.
إذا لم يتوفر نظام تخطيط موارد المؤسسات أو إذا كان يفضّل نظام مراقبة منفصل، فيمكن استخراج البيانات الحالية يدوياً من تخطيط موارد المؤسسة وتوصيلها بنظام منفصل لتلائم غايات عمليات المراقبة والتقييم الخاصة بالبرنامج. وبالمقابل، يمكن تكييف العديد من أنظمة المراقبة والتقييم أو حتى برمجيات إدارة الأداء المصممة للمؤسسات التجارية من أجل سحب البيانات الإدارية بسلاسة من أنظمة تخطيط الموارد الحالية، وبالتالي، تجنب الحاجة إلى استخراج البيانات يدوياً. - تقيس مؤشرات النتائج مخرجات الأنشطة أو النتائج المباشرة على المستفيدين من البرنامج بشكل عام. وتتطلب هذه أدوات جمع مخصصة الغرض، مثل الاستطلاعات وعمليات المراقبة ومجموعات التركيز والدراسات الاستقصائية الموسعة التي يمكنها مراقبة أثر البرامج على المشاركين عبر عدة سنوات.
نظراً لأن جمع البيانات الأولية يتطلب بعض التفاعل مع المستفيدين أو أصحاب المصلحة، فمن المحتمل أن تكون هذه العملية كثيفة العمالة. ولحسن الحظ، هناك عدد متزايد من الأدوات التي يمكن من خلالها المشاركة بسهولة أكبر، حيث أدت الاستطلاعات عبر الإنترنت ومنصات التواصل الاجتماعي واستطلاعات الرأي عبر الإنترنت وتطبيقات الهاتف المحمول وغيرها من الأدوات، إلى تحسين الوصول إلى أصحاب المصلحة والمعلومات بشكل كبير.
- تقيس مؤشرات الأثر النتائج الطويلة المدى للبرنامج. غالباً ما يكون هناك العديد من السياسات والبرامج والعوامل الأخرى التي تؤثر على التغيير في المجتمع، ومن الصعب عزو التغييرات الاجتماعية أو الاقتصادية أو البيئية الطويلة الأجل أو التغييرات الأخرى إلى برنامج معين.
ونتيجة لذلك، فإن مؤشرات الأثر هي الأكثر صعوبة في جمع البيانات الأولية لها وتقييمها. فعلى سبيل المثال، يمكن للبرامج المصممة لتقليل التلوث البلاستيكي في الممرات المائية لمجتمع ما أن تقيّم نتائجها عن طريق قياس القمامة التي يتم إزالتها أثناء حملات تنظيف الشاطئ التي ينظمونها. ولكن ما مدى تأثير البرنامج على الانخفاض الكلي في التلوث في جميع أنحاء المجتمع؟
من الصعب على البرنامج نفسه قياس الأرقام الكلية للتلوث وتقييم الانخفاض. علاوة على ذلك، فإن قانون ما أُصدر مؤخراً يقضى بالحد من استخدام الأكياس والزجاجات البلاستيكية سيؤثر بالتأكيد أيضاِ على انخفاض التلوث. للمساعدة في تحديد التأثير المباشر، يمكن للبرامج جمع بيانات خارجية يمكن التحقق منها ومن ثم إخضاعها لعملية تقييم أكثر شمولاً. وفي هذه الحالة، سيبحث البرنامج في أرقام التلوث التي صدرت عن وكالة البيئة المحلية لقياس الانخفاض والتأثير الكلي لجميع الجهات الفاعلة، ومن ثم يطبق عملية تقييم نوعية لتحديد الأثر الخاص به.
قد تبدو عملية جمع البيانات أنها نوع من التدخل أو التطفل وتقابل بالمقاومة من قبل المستفيدين أو الجهات الحاصلة على المنح. ولذلك من الأهمية بمكان بناء ونقل رؤية مشتركة حول البيانات بصفتها أداة للتحسين وليس للمراقبة.
ومن أفضل الطرق لبناء تلك الرؤية المشتركة التحلي بالشفافية حول كيفية استخدام البيانات بمجرد جمعها. فتوخي الصراحة والوضوح بشأن التحسينات التي ستساهم البيانات في الدفع بها هي طريقة رائعة لتسهيل جمعها من شريك أو مستفيد كان متردداً في السابق في مشاركتها.
من الميدان: هل يمكن قياس كل شيء؟
من الممكن قياس معظم المؤشرات، ولكن في بعض الأحيان يكون من غير العملي القيام بذلك. إذا كان أحد المؤشرات باهظ التكلفة أو يتطلب موارد كثيرة لقياسه، فيمكن للبرامج استخدام مؤشرات بديلة أو تقنيات أخذ العينات السكانية للحصول على فهم "توجيهي" لتقدم البرنامج أو نتائجه. كما أنه من الممكن استخدام مؤشر بديل أو قياس النتائج لمجموعة فرعية من المستفيدين. ويجب الأخذ بعين الاعتبار أن عمليات المراقبة والتقييم هي بالدرجة الأولى وسائل للمساعدة في تحسين البرنامج، حيث يتمثل دورها الأول في الكشف عن التغييرات في البرنامج. ولذلك، إذا كان استخدام مؤشر بديل أو طريقة أخرى لفهم الاتجاه الأساسي أو حجم التغييرات وسيلة قوية موثوقاً بها بما يكفي لإبلاغ إدارة البرنامج، فلا داعي لاستخدام الموارد دون ضرورة بحثاً عن القياسات المباشرة.
استخدام المعلومات
تعمل عمليات المراقبة والتقييم الجيدة على تحسين نتائج البرنامج، وعرض النجاحات أو التحديات، وتلبية احتياجات أصحاب المصلحة للمعلومات.
ولتحقيق ذلك، يجب أن يستخدم البرنامج البيانات التي تم جمعها استخداماً فعالاً. ولكن الحقيقة المحزنة هي أن الكثير من البرامج لا تستخدم معلوماتها بشكل هادف للتواصل أو تحسين النتائج. فبعد الانتهاء من جمع البيانات وقياس المؤشرات، تتوقف العديد من البرامج عن تنفيذ حلقة التغذية الراجعة التي توفر الرؤى حول فعالية أدوات البرنامج المختلفة. فبدون حلقة التغذية الراجعة، لا يمكن تحديد المجالات المفيدة والمشاكل والتحديات التي تواجهها.
ويختلف مدى تعقيد التقييمات، حيث يمكن أن يكون تقييم النتائج مباشراً مثل قياس مؤشرات النتائج إزاء الأهداف المحددة للبرنامج، أو يمكن أن يكون معقداً مثل العمل على التفريق بين الأثر الحقيقي للبرنامج عن أثر الجهات الفاعلة الأخرى التي تؤثر على نتائج مماثلة. وفي كلتا الحالتين، يمكن للتقييمات النوعية لفعالية البرنامج أن تدعم هذه القياسات الكمية بشكل أكبر، لتقديم صورة شاملة عن النتائج.
وبالإضافة إلى تحديد نجاح البرنامج من فشله، تكمن الفائدة الحقيقية لتقييم النتائج في القدرة على استخدام التقييمات لتحديد المجالات التي يمكن تحسينها أو استغلالها بشكل أكبر.
من الميدان: هل أحتاج إلى تعيين مستشار خارجي؟
يمكن أن تكون عمليات المراقبة والتقييم المبسطة بديهية ومدعومة أو حتى تتم إدارتها داخلياً. مع ذلك، يميل مديرو البرامج إلى الاستثمار بشكل كبير في برامجهم وقد يجدون أحياناً صعوبة في مراقبة التقدم أو تقييم النتائج بموضوعية. إن تقييمات البرامج التي تشكل أساس التمويل الجديد أو العمليات الموسعة حساسة بما يخص الموضوعية، وتستفيد من المصداقية التي يجلبها مقيِّم خارجي محايد.
وغالباً ما يعمل البرنامج على تحقيق نتيجة تتأثر بعوامل أخرى. فعلى سبيل المثال، قد يواجه برنامج يعمل على تحسين إمكانية توظيف شباب المجتمع تحديات في فهم أثره المحدد عندما تقدم الجامعات والشركات الخاصة والحكومة برامج مماثلة أيضاً، حيث يمكن أن يفيد دعم الخبراء الخارجيين في التقييمات التي تتطلب عمليات مكثفة وأساليب متطورة. بالنسبة لهذه الحالات أو للمؤسسات التي تشعر أن موظفيها يفتقرون إلى القدرات المناسبة أو التي ليس لديها أي قدرة إضافية من الموظفين على الإطلاق، هناك العديد من المنظمات التي يمكنها دعم عمليات المراقبة والتقييم بالمجّان.
وبعيداً عن المجموعات الاستشارية الربحية، تتخصص العديد من المنظمات غير الربحية في تقييم البرامج مثل مركز الأدلة والتنفيذ، ومعمل عبد اللطيف جميل لمكافحة الفقر؛ وهو اتحاد غير ربحي من الخبراء الذين يمكنهم دعم التقييم بتكلفة قليلة أو بدون تكلفة.
من الميدان: تصحيح المسار
يهتم برنامج دعم صحة المجتمع بتقييم نتائجه. وتعتبر السمنة ومرض السكري من المشاكل المزمنة في المجتمع، وقد عمل البرنامج لمدة عامين لخفض متوسط مؤشر كتلة الجسم للمشاركين فيه بمقدار خمس نقاط مئوية. ووفقاً لمؤشر النتائج، فإن نسبة انخفاض متوسط مؤشر كتلة الجسم للمشاركين في البرنامج لا تتجاوز حتى الآن نقطتين مئويتين. ويشير تقييم النتائج البسيط إلى أنه مازال أمام البرنامج الكثير للقيام به من أجل تحقيق النتائج المرجوة. ولكن ما سبب تراجع البرنامج، وهل يمكن تحسين أي شيء؟
يمكن أن يؤدي تقييم النتائج إلى تغيير مجدي إذا تم استخدام البيانات لتحسين البرنامج أيضاً. لإكمال المثال، نتبع ما تفعله إدارة البرنامج بعد ذلك؛ فقد شعرت بالإحباط لأن عامين من العمل الشاق لم يسفرا عن النتائج المرجوة، وهي تبحث الآن بلهفة عن الدلائل التي يمكن أن تساعد في تحسين وضع البرنامج.
نظراً لأن عمر البرنامج التشغيلي عامان فقط، تبدأ الإدارة في تقييم مؤشرات نواتج لقياس نتائج البرنامج. وإذا كانت الإدارة غير راضية عن النتائج، فإن الخطوة التالية التي تقوم بها هي تقييم مخرجات البرنامج، وفي هذه الحالة، هي أوزان المشاركين ومتوسط حركتهم اليومية.
وعند النظر عن كثب في البيانات، تكتشف الإدارة أن أوزان المشاركين لم تنخفض على الرغم من الزيادة في متوسط دقائق حركتهم اليومية. فقد تبين أن نسبة الانخفاض في الوزن كانت بعيدة عن الهدف المحدد بأكثر من 50 بالمئة، بينما تجاوز مؤشر الحركة اليومية الهدف المحدد له. ومن ثم تنظر الإدارة في مؤشرات التنفيذ، لتلاحظ أن 20 بالمئة فقط من المشاركين مسجلون بالفعل في نشاط الوجبات الصحية من البرنامج، في حين بلغت نسبة المشاركة في الفصول التمرينية 90 بالمئة.
تُعتبر إدارة التغذية عنصراً مهماً جداً في إنقاص الوزن، وهذا المجال من البرنامج لا يسير وفقًا للخطة الموضوعة. ومن الآن فصاعداً، قررت الإدارة تحفيز المشاركين في البرنامج لاستكمال نشاطهم البدني المتزايد بوجبات صحية. كما تفكر الإدارة في تقديم وجبات الطعام مباشرة بعد الحصص التمرينية ليتمكن المشاركون من تناولها بسهولة. كما أنها تقومون بإجراء استطلاع للمشاركين لمعرفة ما إذا كانت قائمة وجبات الطعام الحالية فاتحة للشهية. وبالتالي، يمكن أن تساعد أي من هذه الإجراءات في تحسين نتائج البرنامج وتحقيق هدف خفض مؤشر كتلة الجسم بمعدل خمس نقاط مئوية.
ليس بالضرورة أن تكون النتائج والأثر نفس الشيء، إذ يتضح من المثال المطروح أنه يتم تقييم النتائج المباشرة على المشاركين في البرنامج ولكن ليس بالضرورة الأثر طويل المدى في المجتمع. فعلى مدار عدة سنوات، سيبين البرنامج أن نجاحه هو تحسين الصحة العامة في المجتمع. ومع استخدام الموارد المناسبة وخلال الأفق الزمني الطويل، قد تكون إدارة البرنامج قادرة على تقييم الأثر. وللقيام بذلك، يمكنها جمع بيانات ثانوية حول متوسط العمر المتوقع للمشاركين في البرنامج ومقارنتها مع متوسط العمر المتوقع لأعضاء المجتمع الآخرين الذين لم يشاركوا في البرنامج.
وقد تكون هذه التجربة المعقدة قادرة على توضيح مدى أثر البرنامج حقاً. وبالمقابل، قد يستخدم البرنامج مؤشرات بديلة لقياس الأثر. فقد يقيس مديرو البرنامج معدلات الوفيات المرتبطة بأمراض القلب، أو متوسط استخدام مسارات ركوب الدراجات، أو مقاييس أخرى مقترنة بالأدلة النوعية لتقريب ما إذا كان البرنامج مفيداً في الحد من العادات الصحة السيئة وغرس العادات الجيدة.
أفضل الممارسات: مراقبة التقدم وتقييم النتائج
1. إجراء تقييم الجاهزية. يمكن أن يسلط تقييم الجاهزية الضوء على الفجوات التنظيمية التي قد تضعف قدرة البرامج على تنفيذ جميع عمليات المراقبة والتقييم الأربعة وتنفيذ حلقة التغذية الراجعة المفيدة. كما أنه من المحتمل أن تكون البرامج التي تجمع بياناتها ولكنها لا تستخدمها مطلقاً قد فشلت في إجراء تقييم يضمن أن لديها الميزانية أو المعرفة أو العقلية لاستخدام معلوماتها.
2. البدء مبكراً. يجب أن تكون عمليات المراقبة والتقييم موجودة في مرحلة التخطيط الأولى للبرنامج أو المشروع. فقد يؤدي تحديد المؤشرات وجمعها واستخدامها بأثر رجعي إلى إضعاف قدرتها على دعم التحسينات ويضع مصداقية التقييم في موضع تساؤل.
3. ضع غرورك جانباً. يمكن لعمليات المراقبة والتقييم الكشف عن أوجه القصور في البرنامج، ولكن تسليط الضوء على الفجوات والتعلم من الأخطاء يمكن أن يكون بنفس أهمية النجاح.
4. مشاركة النجاح والفشل. من الرائع مشاركة النجاح، لكن مشاركة حالات الفشل مهمة أيضاً. إن الحديث حول التحديات يساعد الآخرين على الاستفادة من التجربة دون التعرض لانتكاسات خلال فترة انجاز البرامج.
الخطوات التالية
لا شك في أن عمليات مراقبة التقدم وتقييم النتائج ستكشف عن دروس مفيدة وتكون أكثر قوة عند مشاركتها مع الآخرين. إن تخصيص الوقت لتوثيق المعرفة ونقلها أمر لا يقدر بثمن بالنسبة للمجتمع ويسمح للآخرين بالاستفادة بكفاءة من التجربة دون الاضطرار إلى المعاناة من نفس الانتكاسات. وكما يقوم البرنامج بتغذية هذه المعلومات مرة أخرى في عملياته لتحسين نتائجه، فكّر أيضاً في مشاركتها مع الآخرين بحيث يمكن للبرامج الأخرى الاستفادة منها ومشاركة دروسها أيضاً مع الآخرين.