6章 社会的インパクト・マネジメントの実践ステップ
Step 6: データ分析（第3ステージ：効果の把握）
収集したデータの検証・分析を行い、事業実施により実際にどのような変化が生じたかを確認します。その際、ロジックモデル等（セオリー）や介入（事業）の実施状況（アウトプット等）との関係でアウトカムの状況を分析することが重要です。
また、必要に応じて、投入されたインプットとアウトカムとを比較することで事業の効率性を検証します。
| 意思決定の視点 | 評価の視点 |
| 【目的】 ・最終的な事業 ・取り組みの成果を明らかにする。 【作業例】 ①評価の視点から得た事業成果（アウトカム）の達成状況を組織内で共有する。 ②評価の視点から得た事業の効率性に関する情報を組織内で共有する。 ★効率性評価のためには何か比較すべき別事業等が必要かもしれない。 | 【目的】 ・最終的な事業 ・取り組みの成果を明らかにし、それが十分なものといえるかを検証する。 【作業例】 ①評価デザイン 1. 比較群を設けた評価デザインの場合は、比較群と事業実施群（介入群）とのアウトカムデータの差を分析する（十分な水準であったかを判断する）。 2. 比較群を設けていない評価デザイン（例えば事前-事後デザイン）の場合はベースラインのアウトカムデータと事業終了時のアウトカムデータの差を分析する（十分な水準であったかを判断する）。 ②事業成果（アウトカム）の分析結果を詳細に説明するために、改めて事業実施状況（プロセス）のデータを分析する（十分な水準であったかを判断する）。 ③上記の分析を通して、事業成果（アウトカム）の達成は十分なものであったかを検証する（この基準はStep4で設定済み）。 ④さらに事業に要した費用を計算し、効率性評価を行う（十分な水準であったかを判断する）（デザインはStep4で設定済み）。 なお、統計を用いた分析等は専門家に依頼し、実施するということも想定できる（この場合は、Step4の段階から統計の専門家と協働することが望ましい） |
図表20：実践 Step6 データ分析のポイント
社会的インパクト・マネジメント原則の留意点
| b. 重要性 （マテリアリティ） | 【評価の視点】事業の効果の検証において、事前にその重要性について合意されたアウトカムを中心に検討する。 |
| c. 信頼性 | 【評価の視点】収集されたデータに異常値（通常は出現することが想定されないようなデータ）がないかなどを確認し、データの信頼性を検証する。 |
| 【評価の視点】収集したデータを分析するにあたっては、分析結果の妥当性を高めるように事前に計画された手法を用いて分析を実施する。 | |
| d. 透明性 | 【評価の視点】分析が正確かつ誠実になされたことを事後的に検証したり報告したりできるようにするため、分析のプロセスを記録し、他者による分析の再現可能性を確保する。 |
| e. 比例性 | 【評価の視点】データ分析においては、その難易度が、評価の目的、評価に活用可能な資源の程度に比して適切なものであることを確認する。 |
| 「＋２原則」（以下は、インパクト・マネジメントの目的に応じて適用させる） | |
| f. 一般化可能性 | 【評価の視点】分析による知見を、同一分野の他事業、その他の地域、対象分野などに応用可能なものとするため、分析にあたっては、同様の介入の効果に関する先行事例や科学的知見を参照して、同様の介入の効果に関する知見の積み上げに寄与する。 |
| g. 経時的比較可能性 | 【評価の視点】同じ事業や取り組みについて過去に分析を行ったことがある、あるいは、今後も分析を行うことが期待される場合には、比較が可能となるよう、期間、対象、活動、評価方法などを一貫させることが望ましい。ただし、一貫性を尊重するあまり、評価手法の改善を妨げてはならない。 |
関連コラム
