توماس دای در فصل ارزیابی خط‌مشی در کتاب خود بیان می‌کند که در عرصه خط‌مشی‌گذاری، اتخاذ این پیش‌فرض که تصویب قوانین و تخصیص منابع جهت اجرای آنها حتماً منجر به دستیابی کامل یا بخشی از اهداف خط‌مشی‌گذاری خواهد شد، پیش‌فرضی اشتباه است و مرور تجربیات خط‌مشی‌گذاری بر این امر اذعان دارد. در ارزیابی خط‌مشی باید بین برونداد خط‌مشی (Policy Output) و اثر یا برآیند آن (Policy Impact) تفاوت قائل شد. برآیند خط‌مشی عبارت است از اثرات خط‌مشی بر روی اوضاع و شرایط جهان واقعی. بنابراین، برآیند خط‌مشی شامل موارد زیر است:
اثرات خط‌مشی بر روی موقعیت یا گروه هدف.
اثرات خط‌مشی بر روی سایر موقعیت‌ها یا گروه‌ها یا اثرات سرریز (Spillover Effects).
اثرات خط‌مشی بر شرایط حال و آینده.
هزینه‌های مستقیم صرف‌شده در قالب منابع اختصاص یافته.
هزینه‌های غیر مستقیم اجرای خط‌مشی شامل هزینه سایر فرصت‌های از دست رفته.
تمامی این مزایا و هزینه‌ها باید هم در قالب اثرات ملموس و هم اثرات نمادین اندازه‌گیری شوند. به این منظور لازم است:
گروه هدف، یعنی جمعیتی که برنامه برای آنها تدوین شده شناسایی شوند.
تعیین اثرات مطلوب بر روی گروه هدف و اولویت‌بندی آنها به عنوان اهداف برنامه.
تعیین اثرات نامطلوب بر روی گروه هدف.
لذا همانگونه که اشاره شد، برآیند یا اثر خط‌مشی با برونداد خط‌مشی تفاوت دارد. مزایای یک خط‌مشی را نباید در قالب فعالیت‌های دولتی انجام شده مثل دلارهای هزینه شده اندازه‌گیری نمود. این اندازه‌گیری‌ها نهایتاً می‌توانند برونداد خط‌مشی را بسنجند. به عبارت دیگر، تفاوت این دو در آن است که مثلاً به جای اندازه‌گیری مسافت پرواز پرنده، تعداد بال‌زدن‌های آن را بشماریم. لذا سنجش برونداد مهم است و لازم، ولی کافی نیست. برای ارزیابی برآیند خط‌مشی، باید تغییرات محیط عملیات دولت را اندازه‌گیری کنیم.
نکته قابل توجه آن است که حتی اگر کلیه هزینه‌ها و منافع فوری و آتی، نمادین و ملومس شناخته شده باشند، باز هم دستیابی به تراز خالص بسیار دشوار است؛ چرا که بسیاری از این منافع و هزینه‌ها از جنس قابل مقایسه نیستند.
اثر نمادین خط‌مشی
برآیند خط‌مشی هم شامل اثرات ملموس و هم شامل اثرات نمادین می‌شود. منظور از اثرات نمادین، ادراک افراد از اقدامات دولت و نوع نگرش آنها به این اقدامات است. افراد، گروه‌ها و جوامع قضاوت خود درباره خط‌مشی را بر پایه مقاصد خوب این خط‌مشی‌ها بنیان می‌نهند نه اثرات ملموس آن. خط‌مشی‌ها نشان می‌دهند که دولت به چه چیزهایی اهمیت می‌دهد. به عنوان مثال، سیاست مبارزه با فقر اگرچه در ریشه‌کنی فقر ممکن است ناموفق باشد، ولی این مطلب را به جامعه القا می‌کند که دولت به مبارزه با فقر اهمیت می‌دهد. امروزه وضعیت ذهنی یک ملت به اندازه وضعیت عینی آن ملت اهمیت دارد.
به همین دلیل اگر در گذشته سیاست را اینگونه تعریف می‌کردند که چه کسی، چه زمانی و چگونه چه چیزی را دریافت می‌کند، امروزه می‌گویند سیاست به معنای آن است که چه کسی، چه چیزی را چه زمانی و چگونه احساس می‌کند. به همین دلیل است که می‌گویند گفتار دولت به اندازه کردار آن اهمیت دارد و تلویزیون، تصویر ذهنی خط‌مشی عمومی را به اندازه خود خط‌مشی مهم ساخته است.
ارزیابی برنامه‌های جاری: آنچه دولت‌ها برای آگاهی از برآیند خط‌مشی می‌توانند انجام دهند
دولت‌ها عموماً برای ارزیابی اثربخشی برنامه‌های خود از راه‌های زیر استفاده می‌کنند:
گزارشات و بحث‌ها: این شیوه رایج‌ترین نوع مرور برنامه‌ها است. در این شیوه، گزارشات کتبی یا شفاهی مسئولین دولتی مبنای ارزیابی اثربخشی برنامه‌ها قرار می‌گیرد. نقطه ضعف این شیوه آن است که در این گزارشات معمولاً منافع بزرگنمایی و هزینه‌ها کوچک‌نمایی می‌شوند.
شاخص‌های برنامه‌ای: داده‌های ارائه شده توسط نهادهای دولتی شاخص‌های برونداد خط‌مشی را پوشش می‌دهند ولی به ندرت در بر گیرنده شاخص‌های مربوط به برآیند خط‌مشی هستند.
مقایسه با استانداردهای حرفه‌ای: در برخی حوزه‌های عملیات دولت، اتحادیه‌های حرفه‌ای استانداردهای تعالی را تعریف کرده‌اند. این استانداردها در قالب سطح مطلوب بروندادها تعریف می‌شوند و دولت بروندادهای عملیات خود را با آنها می‌سنجد. اما شواهد قوی دال بر ارتباط سطح ایده‌آل بروندادها با برآیند خط‌مشی وجود ندارد.
ارزیابی شکایات شهروندان: یکی دیگر از شیوه‌های رایج در ارزیابی برنامه‌ها، تجزیه و تحلیل شکایات شهروندان است. اما نقطه ضعف این شیوه آن است که همه شهروندان به صورت داوطلبانه اقدام به ارائه نظرات یا شکایات خود نمی‌کنند و در نتیجه، شکایات مشتریان توسط افرادی خاص ارائه شده که نماینده نظرات همه شهروندان نیستند و در نتیجه، نظر عموم مردم را بازتاب نمی‌کنند.
هیچ کدام از شیوه‌های فوق واقعاً هزینه‌ها را در مقابل منافع وزن‌دهی نمی‌کنند. برای سنجش اثرات و برآیندهای دولتی بر جامعه باید از شیوه‌های پیچیده‌تر ارزیابی استفاده کرد. ارزیابی نظام‌مند برنامه‌ها در بر گیرنده مجموعه‌ای از مقایسه‌ها است. هدف از این ارزیابی، مقایسه آن چیزی است که اتفاق آتفاده با چیزی که اتفاق می‌افتاد اگر این برنامه اجرا نمی‌شد. مشکل این شیوه آنجاست که ارزیابی شرایطی که برنامه اجرا نمی‌شد مشکل است و بیشتر برنامه‌های ارزیابی با ارزیابی آنچه اتفاق افتاده متوقف می‌شوند. در این روش مقایسه‌ای از چهار نوع استراتژی استفاده می‌شود:
مقایسه قبل و بعد از اجرای برنامه: در این شیوه اثرات اجرا در گروه هدف در دو نقطه زمانی قبل و بعد از اجرا سنجیده و مقایسه می‌شود. ایراد این شیوه آن است که معلوم نیست تفاوت حاصله ناشی از اجرای برنامه بوده یا ناشی از سایر تغییرات جامعه در این فاصله زمانی.
مقایسه خط روند پیش‌بینی‌شده با روند واقعی پس از اجرا: در این شیوه، روند گذشته به آینده تعمیم داده می‌شود و سپس این وضعیت پیش‌بینی‌شده با وضعیت واقعی پس از اجرای برنامه مقایسه می‌شود.
مقایسه نمونه‌های با اجرای برنامه و بدون اجرای برنامه: در این شیوه تعدادی از افرادی که برنامه بر روی آنها اجرا شده است با تعدادی از افراد که برنامه در خصوص آنها اجرا نشده است مقایسه می‌شوند. ایران این شیوه آن است که تفاوت بین افراد زیاد است و معلوم نیست که آیا این تفاوت‌ها ناشی از اجرای برنامه بوده یا خیر. راه‌حل این مشکل آن است که مقایسه این دو گروه قبل و بعد از اجرای برنامه انجام شود تا بتوان از روی این نکته که آیا اختلاف ویژگی‌های این دو گروه افزایش یافته است یا خیر، در خصوص اثربخشی برنامه اظهارنظر نمود.
مقایسه گروه آزمون و گروه کنترل، قبل و بعد از اجرای برنامه: در این طرح تحقیق کلاسیک، گروه ازمون و گروه کنترل به گونه‌ای انتخاب می‌شوند که تقریباً با هم مشابه باشند، سپس برنامه مورد نظر بر روی گروه آزمون انجام می‌شود و وضعیت هر دو گروه پس از اجرای برنامه با یکدیگر مقایسه می‌شود که آیا در وضعیت مشابه پیش از آزمون تغییری حاصل شده است یا خیر. این شیوه کلاسیک به این دلیل مورد رجحان محققین قرار می‌گیرد که بهترین فرصت ارزیابی تغییرات را با حداقل ساختن اثرات سایر نیروهای اثرگذار برای محقق فراهم می‌آورد.
ارزیابی برنامه‌های جاری: چرا دولت‌ها از اثرات و برآیندهای خط‌مشی‌های خود آگاهی ندارند؟
برخی از مشکلات ارزیابی خط‌مشی به شرح زیر است:
تعیین اهداف برنامه‌ها، گروه‌های هدف و اثرات مطلوب مورد نظر مشکل است. به دلیل این عدم شفافیت، ارزیابی‌های خط‌مشی غالباً درگیر تعارضات سیاسی می‌شوند و از آنجا که نهادهای دولتی عموماً گرایش به اجتناب از تعارض دارند، از فعالیت‌های ارزیابی که منجر به تعارض شوند اجتناب می‌کنند.
بسیاری از برنامه‌ها و خط‌مشی‌ها اساساً ارزش نمادین دارند و در واقع تغییری در شرایط گروه هدف ایجاد نمی‌کنند. نهاد دولتی از مطالعه‌ای که نشان دهد خط‌مشی آن اثرات ملموسی نداشته است استقبال نمی‌کند.
مدیران به برنامه‌های ارزیابی به مثابه تلاش‌هایی برای به زیر سؤال بردن برنامه‌ها و خط‌مشی‌های خود می‌نگرند.
به دلیل سرمایه‌گذاری مدیران و بنگاه‌های دولتی بر برنامه‌های خط‌مشی‌های جاری، این بنگاه‌ها در مقابل یافتن این امر که این خط‌مشی‌ها عملی نیستند جبهه‌گیری می‌کنند.
مطالعه جدی اثرات خط‌مشی‌ها نیازمند مداخله در فعالیت‌های برنامه جاری (به عنوان مثال، برای انتخاب گروه آزمون و گروه کنترل) است و این امر اگر غیرممکن نباشد، بسیار مشکل است.
ارزیابی برنامه‌ها نیازمند منابع مالی، تسهیلات، زمان و پرسنل است که نهادهای دولتی علاقه‌ای ندارند نیروهای خود را به جای برنامه‌های جاری در اختیار این امور قرار دهند.
مدیران دستگاه‌های دولتی هنگام مواجهه با شواهد قطعی عدم مفید بودن یا مضر بودن برنامه‌های خود توجیهات زیر را ارائه می‌نمایند:
اثرات برنامه در بلندمدت معلوم می‌شود و نمی‌توان آن را در حال حاضر سنجید.
اثرات برنامه پراکنده و کلی است و هیچ مجموعه واحدی از شاخص‌ها نمی‌تواند کل آن را اندازه‌گیری نماید.
اثرات برنامه ذهنی است و شاخص‌های کمّی خام نمی‌تواند آن را بسنجد.
تحقیقات تجربی را نمی‌توان به طرز اثربخشی اجرا کرد زیرا عدم ارائه خدمات به برخی افراد برای سنجش اثر آن بر این گروه امری عادلانه در قبال آنهاست.
عدم ایجاد تفاوت بین گروه آزمون و کنترل نشاندهنده آن است که منابع کافی هزینه نشده و باید منابع بیشتری را هزینه کرد تا برنامه اثرگذار باشد.
عدم شناسایی اثر مثبت در برنامه ناشی از عدم کفایت یا انحراف جدی در اجرای طرح تحقیق است نه خود برنامه.
ویلسون بر این اساس دو اصل کلی را در خصوص تحقیقات مربوط به برآیند و اثرات خط‌مشی مطرح می‌سازد:
اصل اول ویلسون: تمامی خط‌مشی‌ها در مسائل اجماعی، اثرات مورد نظر خود را ایجاد می‌کنند در صورتی که تحقیق توسط مجریان برنامه یا دوستانشان انجام شده باشد.
اصل دوم ویلسون: هیچ یک از خط‌مشی‌ها در مسائل اجتماعی، اثرات مورد نظر را ایجاد نمی‌کنند در صورتی که تحقیق توسط گروه‌های ثالث و به خصوص، مخاطبین خط‌مشی انجام شده باشد.
سیستم طرح‌ریزی، برنامه‌ریزی و بودجه‌بندی (PPBS)، شاخص‌های اجتماعی و سایر ابزارهای ارزیابی
علیرغم مشکلات مورد اشاره، در سال‌های اخیر پیشرفت خوبی در تحقیقات ارزیابی خط‌مشی حاصل شده و تصمیم‌گیرندگان برای سنجش اثربخشی برنامه‌های جاری و پیشنهادی به تحلیل‌گران خط‌مشی روی آورده‌اند. به عنوان نمونه، سیستم طرح‌ریزی، برنامه‌ریزی و بودجه‌بندی در سال‌های اخیر مورد استفاده گسترده بنگاه‌های دولتی قرار گرفته است. هدف این سیستم بودجه‌ریزی، مشخص ساختن و در صورت امکان، به کمیت در آوردن برنامه‌های دولت و سپس به حداقل رساندن هزینه دستیابی به این بروندادها و ارزیابی بیشتر شدن منافع از هزینه‌ها است. مراحل این سیستم عبارتند از:
تعیین اهداف برنامه.
تعیین شاخص‌های سنجش برونداد.
محاسبه هزینه به ازای هر واحد برونداد.
این امر به مقایسه هزینه-منفعت برنامه‌های متعدد جایگزین کمک می‌کند. این شیوه را ابتدا رابرت مک‌نامارا برای تعیین هزینه‌ها و منافع نسبی سیستم‌های نظامی ابداع کرد ولی بعدها از آن در حوزه ملی خط‌مشی‌گذاری استفاده شد. اما به دلایل زیر، این حوزه بسیار پیچیده‌تر است:
برای برخی بروندادهای اجتماعی نمی‌توان معادل ریالی تعیین نمود.
برنامه‌های مختلف، افراد مختلفی را منتفع می‌کنند. لذا محاسبه منافع برای گروه‌های مختلف مشکل است.
تصمیم‌گیرندگان در محاصره فرآیندهای سیاسی هستند و قضاوت‌های شهودی در خصوص منافع نسبی برنامه‌های مختلف دارند.
گروهی دیگر از دانشمندان علوم اجتماعی، تدوین مجموعه‌ای از شاخص‌های پیشرفت یا پسرفت اجتماعی را توصیه می‌کنند و پیشنهاد می‌کنند که گزارش‌های سالیانه بر مبنای آن وضعیت اجتماعی یک ملت را ارزیابی کند. دو مزیت کلی حاصل از کاربرد فهرست شاخص‌های اجتماعی عبارتند از:
این شاخص‌ها بر یک حوزه اجتماعی خاص تمرکز دارند و اولویت‌های ملی را مشخص می‌سازند.
از طریق مقایسه این شاخص‌ها در سال‌های متوالی می‌توان در خصوص تغییرات رفاه اجتماعی در طول زمان و همچنین موفقیت برنامه‌های عمومی قضاوت نمود.
البته انتقادات سیاسی فراوانی نیز به این رویکرد وارد می‌شود از جمله:
نوع انتخاب شاخص‌ها خود متأثر از اهداف اجتماعی است. اگر نرخ تحصیلات عالی را یک شاخص در نظر بگیریم نشان می‌دهد که از نظر ما باید همه تحصیلات عالیه داشتند باشند. اولویت این اهداف هم در تدوین این فهرست شاخص‌ها مؤثر است.
پیش‌فرض این رویکرد آن است که شاخص‌های اجتماعی می‌توانند و باید تحت تأثیر خط‌مشی‌های دولت قرار گیرند. نظارت دولت بر این شاخص‌ها اینگونه القا می‌کند که دولت مسئول آنهاست.
این نگرانی وجود دارد که بر اساس این دیدگاه، دولت نوعی تمامیت‌طلبی پیدا کند و تمامی جنبه‌های زندگی را کنترل و نظارت کند.
پیش‌فرض دیگر این شیوه آن است که دانشمندان علوم اجتماعی، بهترین قضات در خصوص خوب بودن چیزی برای مردم هستند. به این ترتیب،این دانشمندان اجتماعی هستند که باید تشخیص دهند جامعه با چه مسأله‌ای مواجه است و بهترین راه‌حل آن کدام است.
سیاست‌پژوهی تجربی
بسیاری از تحلیل‌گران خط‌مشی بر این عقیده‌اند که بررسی تجربی خط‌مشی‌ها بهترین شیوه شناسایی اثرات خط‌مشی‌های عمومی است. این جمع‌بندی ناشی از این ویژگی اصل تحقیقات تجربی است: انتخاب نظام‌مند گروه‌های آزمون و کنترل و به کار بردن خط‌مشی در گروه آزمون و مقایسه دقیق تفاوت‌های گروه آزمون کنترل پس از اجرای خط‌مشی.
مشکلات بررسی تجربی خط‌مشی
مهم‌ترین مشکلات اجرای ارزیابی تجربی اثرات خط‌مشی توسط دولت و به پشتوانه دولت عبارتند از:
پروژه‌های تحقیقاتی دولتی به دنبال کسب نتایج تأییدکننده اقدامات هستند.
آیا می‌توان به بهانه ایجاد گروه کنترل، مانع از ارائه خدمات به گروهی از شهروندان شد؟
تحقیقاتی که منجر به نتایج مثبت و تأییدکننده می‌شوند موجب ارتقای پژوهشگر و مسئولین اجرایی می‌شوند.
مردم هنگامی که می‌دانند رفتار آنها مورد مشاهده قرار می‌گیرد، متفاوت رفتار می‌کنند (اثر هاوثورن).
نتایج حاصل از آزمون‌های با مقیاس کوچک ممکن است هنگام تعمیم به جامعه بزرگ‌تر دستخوش تغییر شوند.
علیرغم وجود این محدودیت‌ها و مشکلات، هنوز هم فواید و مزایای این شیوه در ارزیابی برآیند و اثرات خط‌مشی‌های عمومی قابل ملاحظه است و بدون انجام چنین تجارب واقعی، هزینه‌های اجرای برنامه‌های آموزشی، بهداشتی و ... در سطح وسیع، بسیار زیاد تمام می‌شود.
محدودیت‌های خط‌مشی‌های عمومی
امروزه انتظارات ملت‌ها از دولت‌ها بسیار زیاد شده است و تصور بر آن است که در صورت اتخاذ خط‌مشی‌های صحیح، دولت‌ها قادر به انجام هر کاری از ریشه‌کنی فقر تا تضمین صلح و تصفیه آب و هوا و ... هستند. این اثربخشی بالقوه خط‌مشی‌های عمومی بسیار مطلوب است اما مطالعات جدی خط‌مشی‌های عمومی باید محدودیت‌های این خط‌مشی‌ها را نیز در نظر بگیرند. این محدودیت‌ها عبارتند از:
برخی مسائل اجتماعی به دلیل تعریفشان قابلیت حل را ندارند. مثلاً اگر خط فقر را معادل درآمد یک چهارم پایین جامعه بدانیم، هیچگاه نمی‌توان این خط نسبی (و نه مطلق) را از میان برد.
در برخی مواقع، انتظارات بسیار فراتر از قابلیت‌های دولت است. به عنوان مثال، هیچگاه دولت نمی‌تواند به طور مطلق همه را از دبیرستان فارغ‌التحصیل کند و مشکل ترک تحصیل همیشه وجود دارد.
خط‌مشی‌هایی که مشکل یک گروه در جامعه را حل می‌کنند ممکن است مشکلاتی را برای سایر گروه‌ها پدید آورند. هیچ خط‌مشی عمومی نمی‌تواند برای همه مردم اثرات یکسان داشته باشد.
ممکن است برخی از نیروهای اجتماعی تحت کنترل دولت نباشند. مثلاً علیرغم سیاست اتحاد سفیدها و سیاه‌ها، این دو دسته در الگوهای مهاجرت از هم فاصله می‌گیرند. گاهی دولت‌ها نمی‌توانند برخی تغییرات اجتماعی را ایجاد کنند.
معمولاً مردم به گونه‌ای خود را با خط‌مشی‌های عمومی انطباق می‌دهند که این خط‌مشی‌ها بی‌فایده می‌شوند.
مشکلات اجتماعی، ریشه‌های متعددی دارند و یک خط‌مشی به تنهایی نمی‌تواند همه این ریشه‌ها را درمان کند.
راه‌حل برخی مشکلات مستلزم خط‌مشی‌هایی است که هزینه اجرای آنها از هزینه‌های خود مسأله بیشتر است. به عنوان مثال، بدون اتخاذ رویکرد تهاجمی نمی‌توان با برخی بی‌نظمی‌های عمومی مقابله کرد.
سیستم سیاسی متناسب با تصمیم‌گیری کاملاً عقلائی ساختار نیافته است. راه‌حل مشکلات اجتماعی عموماً از مدل‌های عقلائی تبعیت می‌کند اما دولت‌ها ممکن است قادر به تدوین خط‌مشی به شیوه عقلائی نباشند.
