6章 社会的インパクト・マネジメントの実践ステップ
Step 4: 事業計画と評価計画の策定(第1ステージ:計画)
このステップでは、Step3で策定した事業戦略を事業計画に落とすとともに、事業や取り組みによる結果・成果を把握するための評価計画を策定します。
評価計画のうち、大切なものは「評価デザイン」を決定することです。まず重要になるのは、比較群を用いた評価デザインを採用するのか、それ以外の評価デザインを採用するのか、を決定することです。
Step2のエビデンスレベルの説明で示したように、事業実施群(介入群)と事業未実施群(比較群)を無作為に割り付けた上で(ランダム・アサイメント)、事業成果(アウトカム)の達成状況を比較する評価デザインは厳格で妥当なインパクトの可視化を可能にします。
一方で、このような評価デザインは「事業実施(介入)の効果を測定するための十分な時間や資源を確保できない」「(倫理的な要因などもあり)そもそも比較群を設けることができない」など様々な制約のなかで実施が困難な場合も生じます。その場合は、事業実施(介入)前に測定したベースラインデータと事業実施(介入)後のデータを比較する「前後比較の評価デザイン」を採用することなどが想定されるでしょう。前後比較を検討する場合は、事業実施前に、アウトプットやアウトカムについての調査・分析方法をまとめた評価計画を策定し、アウトプット指標とアウトカム指標の測定方法および測定時期を計画に織り込んでおきます。加えて、それぞれの指標ごとの介入対象における介入前の状況(ベースライン)を取っておき、介入後の目標値・目標状態(エンドライン)について評価計画に記載します。
なお、指標は他団体や他事業でも共通して使用しているものがあればそれらを活用し、比較検証が行えるようにすることも必要に応じて検討します。
意思決定の視点 | 評価の視点 |
【目的】 ・事業の結果(プロセス)及び成果(アウトカム)を評価するための方法を決定する。 【作業例】 ①評価目的は何かを決定する(例えば、説明責任の確保、事業の改善、学びの促進、などがある)。 ②どのような評価デザインを採用するかを決定する(どの程度のエビデンスを得たいか、誰にとって重要な情報を生み出すか、を検討するなど)。 ③右側(評価の視点)から得た情報をもとに評価デザインを決定する(どのような戦略をとるかを意思決定する)。 ④上記をもとに「事業計画書」を作成する。 特にここでは、比較群を用いた評価デザインを採用するか、それ以外の評価デザインを採用するかの判断を行うことが重要。 | 【目的】 ・評価デザインを決定し、それが事業の性格等から見て妥当といえるかを検証する。 【作業例】 ①先行研究や評価報告書を参照し、これまでに類似した事業戦略でどのような評価デザインが採用されたかをレビューする。 ②ワークショップ等を実施し、事業戦略に位置付けられたアウトカムあるいは事業実施状況を測定するための指標と達成目標を検討する。 ③既存のデータベース等を参照し、事業戦略に位置付けられたアウトカムあるいは事業実施状況を測定するための指標と達成目標を検討する。 ④いつ、誰が、どのような方法で情報を収集すべきかを検討する。 ⑤効率性評価を実施する場合は、費用として何を計上すべきか、比較対象としてどのような事業を設定すべきかなどを検討しておく(主には費用便益分析もしくは費用効果分析が想定される)。 ⑥上記の内容を評価専門家に確認してもらう工程(あるいは評価専門家の助力を得て取り組むこと)を検討することも重要。 |
図表17:実践 Step4 事業計画と評価計画の策定のポイント
社会的インパクト・マネジメント原則の留意点
a. ステークホルダーの 参加・協働 | 【意思決定の視点】事業計画や評価計画策定の要所要所でステークホルダーを適度に巻き込み、 適度な参加が確保できる計画になっているかを確認する。 |
【評価の視点】事業計画や評価計画策定において協働したステークホルダーと、 データ収集や分析においていかに協働関係を維持するか、検討する。 | |
b. 重要性 (マテリアリティ) | 【評価の視点】評価すべき重要項目を優先的に評価すべき計画になっていることを確認する。 |
c. 信頼性 | 【評価の視点】事業のアウトプットやアウトカム、指標、使用する尺度、評価デザインなどを 選択する際には、信頼できるデータ収集・分析が可能なものか検討する。必要があれば専門家の 助言も仰ぎながらその妥当性や有用性の検討を行う。 |
d. 透明性 | 【意思決定の視点】事業計画や評価計画策定について、適切な範囲での情報開示を検討する。 |
e. 比例性 | 【評価の視点】事業のアウトプットやアウトカム、指標、使用する尺度、評価デザインなどは、 評価の目的、評価に活用可能な資源の程度に応じて選択する(事業者自身や関係者に余計な負荷を与える評価計画になっていないことを確認する)。 |
f. 状況適応性 | 【意思決定の視点】外的状況や組織・人員等の内的状況の変化など、必要に応じて事業計画、 評価計画に変更を施せるよう用意があり、そのような体制や外部者の理解になっていることを確認する。 |
【評価の視点】外的状況や組織・人員等の内的状況の変化など、 必要に応じて評価計画に変更を施せるよう用意があり、そのような体制や外部者の理解になっていることを確認する。 | |
「+2原則」(以下は、社会的インパクト・マネジメントの目的に応じて適用させる) | |
f. 一般化可能性 | 【評価の視点】事業のアウトプットやアウトカムの設定、指標、使用する尺度、 評価デザインなどを検討する際には、できれば、既存の研究や類似事業の評価結果を参照し、 当該事業の評価結果からどの程度の一般化が可能かを検討する。 |
【評価の視点】事業結果の開示により、自組織の事業改善に役立つだけでなく、 知見やエビデンスとして、当該分野や社会全体が活用できるものを提供できるかを検討する。 | |
g. 経時的比較可能性 | 【評価の視点】同一や類似事業の実施時期による比較が可能であることが望ましいことに鑑み、 事業のアウトプットやアウトカム、指標、使用する尺度等を変更する場合は、 その必要性について吟味する。 |
【評価の視点】既存事業であれば、それまでの事業サイクルで得られたデータ分析結果を活用し、 それとの比較ができるような評価計画にするかを検討する。 |
関連コラム