もっとも一般的なデータの収集の手法である、アンケート（調査票）の作成と収集について解説します。

定量評価と定性評価

　社会的インパクト評価においては、特にその変化を数量で表現する定量評価が注目されがちですが、実際にはインタビューや自由記述のアンケート等を元に行う、質的な評価である定性評価も同じく重要です。

定性評価においては、評価を通じて得られた情報に基づいて、評価対象となる事業がどのような社会的変化をもたらしているか、質的な評価を行います。例えば、インタビューにおける受益者や関連するステークホルダーの発言や、アンケートの自由記述欄における記載事項等において、社会的変化の文脈についての重要な情報を収集し、評価の判断基準とすることが可能です。

社会的インパクトの発生を数量で測る定量評価は、こうした定性評価で得られた情報を、いわば数字で裏付けするものとも言えるでしょう。

評価対象とサンプリング

定量・定性のデータ収集を考えるのと同時に、評価対象を特定することも重要なプロセスです。一般的には、評価対象となる受益者やステークホルダーについて、なるべく多くのサンプル数を確保することが望ましいですが、評価のために割けるリソースがどのようなものかによっては制約を受けることもあるでしょう。また、長期的に追跡調査を実施したい場合には、小さいグループを測定したほうが良いこともあるかもしれません。

こうした状況下で、評価の対象をグループ全体から抽出した小さなグループに絞り込むことをサンプリングと言います。サンプルを絞り込む際には、男女比、出身地域、年齢等、グループ全体の構成と同じ構成での構成員を選択することが重要です。

ベースラインデータの考え方

　評価デザインによっては、事業が始まる前、すなわち介入以前の状態（ベースライン）を測定し、それと介入後の状態を比較することを考えます。事前・事後の比較により事業効果を測定する考え方です。コントロール群を設定しない１群のみにおけるベースライン比較（これを「単一事例研究法」や「シングルシステム・デザイン」といったりします）は、「インパクト評価」（コラム「インパクト評価について」参照）と比べると、評価手法の厳密さにおいて劣ると考えられます。とはいえ、比較的簡便なため、事業者としては検討したい手法です。アンケートによるデータ収集を試みる際、単に事業後のアンケートを考えるのではなく、事前・事後の変化を測定するために、事前アンケートの実施についても検討してください。

アンケートの作成

アンケート作成を含め、データの収集方法については、以下の文献が参考になります。

• 佐藤郁哉（2015）『社会調査の考え方 上・下』東京大学出版会
• 鈴木淳子（2016）『質問紙デザインの技法（第2版）』ナカニシヤ出版
• 宮本聡介・宇井美代子編（2014）『質問紙調査と心理測定尺度―計画から実施・解析まで』サイエンス社

調査票作成のポイント

• 簡潔・シンプルに作成しましょう。
• 調査に不必要な単語は入れないようにします。また、難しい単語もなるべく選ばないようにしましょう。
• 具体的な言葉を使用しましょう。
• 頻度を聞く場合、「しばしば」「大抵」というような抽象的な言葉は使わず、「毎週」「毎月」等、具体的な言葉を使用しましょう。
• 誘導質問は避けましょう。
• 質問について、言葉の定義が常識的か確認をしましょう。
• 作成したアンケートを2~3人を対象に試験をし、完成させます。

出所：Inspiring Impact (2014) “The JET Pack: A guide to measuring and improving your impact based on the Journey to EmploymenT (JET) Framework”https://www.thinknpc.org/resource-hub/the-journey-to-employment-jet-framework/（2020年4月1日閲覧）

アンケートの留意点

アンケートの作成・回収においては、以下の諸点に注意することが必要です。

• 受益者の年齢や理解力に応じた言葉遣いを用いて、評価の目的や期待する結果について丁寧に説明をする
• 本人の意思に反して参加する必要はないこと、答えたくない質問には答える必要がないことを伝える
• 質問事項にすべて答えてほしい理由を伝える(例：プロジェクトをよりよくするため)
• 収集されたデータがどのように利用されるのか伝える
• 全ての回答は匿名で処理をされ、評価以外の目的でデータが使われないことを伝える

また、もし単に配布・回収を行うことが難しいようであれば、会場を設定し、そこに参加者に集まってもらい、調査票に回答するような場を設定することもできるでしょう。