コラム
プログラム評価とインパクト・マネジメント・サイクル
「プログラム評価」は聞き慣れない言葉かもしれません。これは、評価学で体系化されているものです。
まず、ここで言う「プログラム」とは 、
- ある社会目的を達成するための一連の活動群をさし、それらの活動を実施に導くルール、制度、組織体制や人材を含む取組み全体をさす
- 単一の組織が主体となって実施する場合もあれば、複数の組織・関係者が協働で実施する取り組みもある
- 事業、プロジェクト、政策などと呼ばれたりする
ものです。
次に、これを評価する「プログラム評価」とは、社会調査の方法を活用し、社会的介入プログラムの有効性を体系的に調査し、評価を行うものとされます。その評価は、プログラムを取り巻く政策的・組織的な文脈を考慮して行われるもので、社会状況を改善するための活動の情報源となるものと定義されています 。「プログラム評価」は大別して以下の5種類の評価から構成されます。
- プログラムのニーズ評価 [生み出そうとしている変化(=事業目的)の妥当性を問う評価]
どのような社会課題を解決しようとしているのか、その課題にはどのような切迫性があるのか、社会のニーズに対応しているかといった点を確認するもの。
- プログラムのデザインとセオリーの評価、またはプログラム理論評価 [事業目的と手段(=事業の設計・計画)の関係性の妥当性を問う評価]
ニーズと現状の把握、達成しようとしている成果(アウトカム)を明確化した上で、 変化をもたらすための手段は適切か、ほかに効果的な手段はないかなどを確認するもの。
- プログラムのプロセスと実施の評価(プロセス評価)[実施過程(事業の実施中に何が起きているか)の評価]
事業は計画どおり実施されたか、事業による結果(アウトプット)は出ているか、実施体制は適切か、事業実施や結果を出すことに影響を与えた貢献・阻害要因は何かなどを確認するもの。
- プログラムのアウトカム/インパクト評価 [事業実施によりどのような変化が生じたかに関する評価]
事業実施により何が達成されたか。どんな成果が出たか。もたらされた変化は、事業実施によるものか、あるいはほかの要因が関係しているかなどを問うもの。
- プログラムのコストと効率性の評価 [事業実施のために投入した資源が変化の生成にどれほど寄与したかを問う評価]
事業実施のための投入に比して、成果の大きさを問うもの。
以上の5種類のプログラム評価は、下図に示したように、インパクト・マネジメント・サイクルの4つのステージと対応させることができます。すなわち、第1ステージの「計画 (Plan)」では、事業目的の妥当性の評価(ニーズ評価)や事業設計・計画の妥当性の評価(セオリー評価)を、第2ステージの「実行 (Do)」では、事業の実施過程の評価(プロセス評価)、そして第3ステージの「効果の把握(Assess)」では、事業を通じて生み出された変化の評価(アウトカム/インパクト評価)やそのために投入した資源に関する評価(効率性の評価)を実施します。最後に、第4ステージの「報告・活用 (Report & Utilize)」では、これらの評価を通じて得られた情報に基づき意思決定や報告を行います。
図表: インパクト・マネジメント・サイクルとプログラム評価
本ガイドラインにおける「社会的インパクト評価」とプログラム評価の枠組みにおける「インパクト評価」は異なるものですので注意が必要です。「インパクト評価」については別コラムをご参照ください。