【コラム】 回収率と調査結果の偏り 横浜市立大学データサイエンス学部 教授 土屋隆裕 「日常生活の中での活動に関する調査」は無作為に抽出した18歳以上の市民5000人を対象として行われ、有効調査票は2060票であった。有効回収率は41.2%と必ずしも高くないが、調査結果は信頼に足るものと考えてよいのだろうか。あるいは何らかの偏りを疑う必要があるのだろうか。 実は、回収率が高いほど調査結果の信頼性も高いということは一概には言えない。結果の偏りの大きさは、回答者と未匝収者との間で意見にどの程度の違いがあるかによって決まるものだからである。 例えば、回答者も未匝収者も、ある事柄への「賛成」の割合は30%で同じであるとしよう。このときは回収率が10%であっても調査結果に偏りはない。回答者だけを集計しても「賛成」の割合は正しく30%となるからである。 しかし、回答者の「賛成」の割合は50%、未回収者は10%であるとしよう。回収率が80%と高く、回答者から50%という「賛成」の割合が得られても、この結果は偏っている。未回収者も含めた「賛成」の割合は、50%X0.8+10%X0.2=42%が正しい結果だからである。 このように、結果の偏りの有無を判断するには、回答者と未匝収者の間での違いの有無やその程度を探る必要がある。 ◆未回収者の意見を探る しかし、未回収者の意見は知りようがない。そこで回答者の中から未回収者に似た人を見つけ、それらの人々の結果は未回収者の結果に似ていると考えてはどうだろうか。 ただし、「似ている」かどうかの判断基準となるのは、性別や年齢といった屡性ではなく、調査に対する態度である。未回収者は、概して調査に対して消極的であり、結局協力しなかった人々である。つまり、回答者の中から調査に対して消極的な人々を見つければよい。 調査に対する態度を見る一つの基準は、調査票の返送日である。調査開始後直ぐの返送者は、未匝収者とは調査に対する態度が明らかに異なる。一方、調査終了間際の返送者は、未回収者と調査に対する態度は似ていると考えられる。そこで調査票の返送日によって回答者を早期、中期、後期の3群に分割し、後期に返送した者ほど未回収者と似ていると考えるのである。 例えば、返送時期別に生活満足感を集計すると(図1)、後期返送者ほど満足な人が少ない。また、返送時期別に生活における時間の余裕を見ると(図2)、後期返送者ほど時間に余裕がないと回答している。未回答者が後期返送者と似ているのであれば、未回収者は生活に満足していないと考えられ、回答者だけの集計結果は満足感が高い方に偏っているおそれがある。また、未返送者は時間に余裕がなく、だからこそ調査に回答しなかったのかもしれない。回答者だけの結果では、時間に余裕がある人の割合が実際よりも大きくなっている可能性がある。 一方で、図3に示す「何らかの形で、積極的に社会に役に立つことをしたい」では、返送時期の間で大きな違いは見られず、集計結果に何らかの偏りがあると考える理由はない。必ずしもすべての設問において未回収による影響があるとは限らないのである。 ◆結果の偏りを考慮した解釈を 調査の実施に当たっては可能な範囲で未回収を減らすエ夫をすることが大事である。しかし、回収率が100%ではないときには、このようにして、未回収による偏りがある可能性や、あるとすればどのような偏リがあるのかも考えつつ、調査結果の解釈を行うことが望ましい。