インターネットを利用したアンケートは信用できるか? 104
≠ランダムサンプリング 部門より
basidium 曰く、 "INTERNET Watch の記事および asahi.com の記事より.独立行政法人 労働政策研究・研修機構が, 『インターネット調査は社会調査に利用できるか』 (pdf)という報告書を公開しています(概要(pdf),プレスリリース).
近年,無作為抽出した対象者に面接を行うという,従来からの社会調査の実施が難しくなっており,モニターを利用したインターネット調査がマーケティングなどで盛んに行われるようになっています./.J でも時折そのような調査結果がタレコまれていますが,調査対象集団の代表性に疑問がある,というのはここでも指摘されてきた通りです.
労働政策研究・研修機構では,従来型の面接調査と,5件のモニター調査(インターネットでの調査4件,郵送による調査1件)とを比較し,モニター調査,とくにインターネットを通じたものの特性を明らかにしようと試みています.
結果は,面接調査とモニター調査とでは「調査結果の大半が有意に異なっ」ており,「インターネット調査は、現段階では従来型調査の代用として何の留保もなくそのまま用いることは不適切」というものでした.今後多くのデータが蓄積される必要がありますが,これまで予想されてきたことを実証して見せたという点で意義ある研究だと思います." (つづく…)
"この調査では労働に関する意識を尋ねていますが,労働意識面に関する結果は INTERNET Watch などの記事に譲ります.タレコミ人にとって興味深かったのは,以下の結果です.
- 全国を対象地域としたインターネット調査3種では,「調査に答えるのが楽しいから、自分の意見や主張を書けるから、調査に協力するという層が比較的多い」
- モニター型調査の回答者がインターネット調査に協力する理由の上位3位は、「謝礼・景品がもらえる」、「時間の余裕がある」、「調査の主題に関心がある」であった
- インターネット調査のモニター回答者は、複数の調査会社にモニター登録し、毎週のように調査に解答しているものが多い
特に1,2番目からは,「モニター調査では,調査の主題について世の中に言いたいことがある人の回答が多くなる」という傾向が想像されます.実際には,面接調査でもある程度そういう傾向は出るはずですが,それがさらに強くなっているとすると,モニター調査は,とくに世論調査と相性が悪いのではないかと思われます."
こういう調査も (スコア:4, 参考になる)
「ここ数年急増するインターネットでの調査は、従来の訪問調査に比べ世の中への不満が強く、将来に不安を感じる傾向が強めに出ることが、厚生労働省の外郭団体「労働政策研究・研修機構」の調べで分かった。手軽さから政府の調査でもよく使われるが、同機構は「結果を公表する時は、偏りがあることに留意する必要がある」としている。」
Re:こういう調査も (スコア:2, 興味深い)
訪問調査の欠陥をインターネットでの調査で補う事が出来るのではと思います。
Re:こういう調査も (スコア:1)
アンケートの仕方がまずかったのか、あるいは名簿に偏りがあったのか。
#朝日購読者の名簿を基にした調査なら間違いなく後者なんだろうな
インターネットによるアンケートの例 (スコア:4, おもしろおかしい)
うわぁ、偏りまくりだ……(当たり前
しもべは投稿を求める →スッポン放送局がくいつく →バンブラの新作が発売される
Re:インターネットによるアンケートの例 (スコア:2, すばらしい洞察)
調査対象がスラド住人というのを考えると
なかなか妥当な結果になってると思うんだけど
まぁ スラドの国民投票に関して言うなら
結果を役に立てる気がないことがわかってるから
妥当な結果の理由なんじゃないかなんて思ってみたり
ポイント型アンケート (スコア:3, 興味深い)
こっちの方はポイントのためにアンケート主が望む方向に
回答する傾向がありますね。
最大10ポイントとかいうので真面目に回答すると2ポイントで終了とか。
これじゃ正確性ないだろうと思いましたよ。
最近は事前アンケート形式もあるので本アンケートに進むために
回答を有利に変えたりしますね。
全く興味なくても、多少興味があるとかね。
Re:ポイント型アンケート (スコア:1)
ケチで有名なGMOの名に違わず、アンケートの量と貰えるポイントが釣り合って折らず、予定だけでキャッシュバックがいまだに実行されないこともあり、真面目に答えず適当な答えで書けばいいやという流れが起きているのですが、安いからと飛びつく役所が多いようで。
調査員の仕事ぶりは (スコア:2, 興味深い)
文面をひねり出して、調査票の束に記入しているのを目撃しました。数が多いと疲れます。
Re:調査員の仕事ぶりは (スコア:1, 興味深い)
そういう人はまわりに人がいればその人の意見を書くのだろうなと思い、
特に悪いとも思わず素直に自分の意見を書いていました。
10年以上前の話なのでもう時効ですよね。
従来型のアンケートは信用できるか? (スコア:1, すばらしい洞察)
問題なのは有意差の有無ではなく、どちらがより真の値に近いかの方。
Re:従来型のアンケートは信用できるか? (スコア:5, 参考になる)
また投票所出口調査なども、普通に頼むとバイト君は質問に答えてくれそうな大人しい主婦層を選んでしまうので、しっかりした所は20人目づつ調査するとか指示が出ているはずです。また、NHKの腕章を着けた調査員には本音を伝えるが、朝日の調査員にはごまかしを言うとも聞きます。
ちなみに電話調査の場合、母集団には深夜帰宅&休日出勤の少なくないスラド技術者は入っているのでしょうかねぇ。。
Re:従来型のアンケートは信用できるか? (スコア:4, すばらしい洞察)
現時点で適用されている手法では,これまでの蓄積分とその後の実態から,測定値と
真の値とのずれをある程度見積もる経験則が出来ている(と信じて調査をやっている.
実際に見積もれているかは当然謎)わけで,そこを基点にさらにどちらにどの程度ずれる
かが判れば真の値からのズレの存在自体は(例えばマーケティングなどでは)それほど
問題ではないかなあと.
#もちろんずれが無い方が良いですし,ズレの見積もりが本当に出来ているのか,
#という点に問題があるのは判りますが,ズレを知る方法が無い以上,ズレの大きさ
#そのものはなかなか議論できないですよね.
Re:従来型のアンケートは信用できるか? (スコア:3, すばらしい洞察)
もちろん真の値が定量的に評価できる調査も沢山あるでしょうが,人の意見なんて状況依存でころころ変わるものだと思うし.
Re:従来型のアンケートは信用できるか? (スコア:3, すばらしい洞察)
アンケートの結果はあくまでアンケートの結果であり、
それ自体が信用できるとかできないとか、そんな話にはなりません。
そもそも、「信用できる」という言葉自体アプリオリには定義できません。
結局、アンケートの結果というのは他のパラメーターとの相関や推移をみるために
利用するのであって、今回の調査で指摘しているのもそこですね。
簡単な例でいうと、同じ項目のアンケートの収集方法を街頭から
インターネットに切り替えたとき、単純に前回と比較できないであろうと。
それを補正するパラメーターを求められればいいよねと。
Re:従来型のアンケートは信用できるか? (スコア:2, 参考になる)
正しいデータ (スコア:2, 参考になる)
「インターネット調査は、現段階では従来型調査の代用として何の留保もなくそのまま用いることは不適切」
なので、「真の値」とのずれを問題にしたわけではありません。「代用」の妥当性を検討しただけです。
普通は、目的に応じて調査法を組み合わせ、補完することで、「使えるデータ」を算出します。ただ、「使えるデータ」は「都合の良いデータ」でも、あるわけで、「真の値」と近いかどうかは問題ではありません。
そして、多くの人が、「納得できるデータ」を「真の値」に近いと信じます。
Re:従来型のアンケートは信用できるか? (スコア:1)
全国一般の平均値からは遠いのではないでしょうか。
大昔電話がまだ一般的ではなかった頃に選挙の支持調査をしたら、
電話での調査は実際の結果を異なったという話を見たことがあります。
インターネットが一般的になったといっても、所詮国民の2割以上は
利用していないわけですから、結局はインターネットでの
アンケートが向く物と向かない物があるだけだと思います。
Re:従来型のアンケートは信用できるか? (スコア:1, すばらしい洞察)
非常識なことを言わないように気をつけたりしてしまうので
真の値からずれる、という報告もあった気がします。
郵送や電話の場合は知りませんが、匿名で無ければやはりずれるでしょうね。
ネットとそれ以外の場合でどちらがずれるかは一概には言えないと思いますが、
ネットの場合は回答したい人が参加する傾向が他よりも高そうなので、ずれが大きそうですね。
特に両極端な回答の率が高くなりそうな気がします。
Re:従来型のアンケートは信用できるか? (スコア:1)
#大学入試の英語の過去問でも見た記憶が…
杜撰だ (スコア:1)
この調査はむしろ世の中のアンケートが適当に調査されているっていう事をアピールしているだけの気がする。
Re:杜撰だ (スコア:1)
>をアピールしているだけの気がする。
ええと,報告書ちゃんと読みました?
ネット利用の調査(p83)からの結果に対し,p213からの分析と考察でそれなりに
述べられてると思いますが.
Re:杜撰だ(オフトピ) (スコア:1)
に関する調査とかって面白いですね.
日頃扱ってる研究内容より(たまに見る分には)面白いかも.
#ただなんかこう決定打(バシッと正否を決める手段)が無いあたりが
#自分には向いてないわけですが.
驚くべき結果 (スコア:1, おもしろおかしい)
Re:驚くべき結果 (スコア:2, おもしろおかしい)
大丈夫です.
Re:驚くべき結果 (スコア:1)
見つけたものが何であるかで,未来の姿が変わる.
騙されてはいけません (スコア:1, おもしろおかしい)
色々な意見が出ているようですが、これらは『インターネットを利用したアンケートは信用できるか?』というアンケートに対するインターネットでの回答です。決して信用してはいけません。
というアンケートの回答
勝手に国民投票 (スコア:1)
・面接調査
・街頭調査
・電話調査
・Web調査
・Eメール調査
・T.Sawamotoのテレパシー調査
独立行政法人 労働政策研究・研修機構?? (スコア:0, 余計なもの)
Re:独立行政法人 労働政策研究・研修機構?? (スコア:3, すばらしい洞察)
そして、それは何をもってそう言える?
実態がわからなければ何の問題が優先順位が高いのか、ということそのものが
把握できないわけで、精度の高い調査無しには適切な政策の実行は不可能。
今回の研究は、これまで指摘されてきたインターネット上でのサンプルバイアス
の存在を実証したわけで、それなりに意義があると思う。
こういう研究は必要だけども、カネにならないから民間だとまずできないからね。
#調査って、直接に何かをするわけじゃないし、利害関係者がいないから(役所でも
#民間でも)予算が削られやすいんだよね、とちょっと愚痴ってみる。
Re:独立行政法人 労働政策研究・研修機構?? (スコア:1)
まず同法人の平成16年度事業計画書 [jil.go.jp]を読んだ上で、 現状の調査、特に労働者に対する聞き取り調査が多くなるという特色を持つ機関がこうした研究をする必要性が低いと思うのは何故か、またその「優先順位の高いもの」というのが何なのか、明確に述べてくださいな。
Re:独立行政法人 労働政策研究・研修機構?? (スコア:1)
「優先順位の高いもの」が何なのかをアンケートで調査する前に,調査法の信頼度を調査しているのです……
Re:独立行政法人 労働政策研究・研修機構?? (スコア:1)
>高いものがあると思いますが
できれば、「もっと優先順位の高いもの」の具体例を出して
もらえると、面白いと思いますが、いかがでしょう?
私は、今回の調査、興味深いと思いましたけどね!
興味深いし、重要 (スコア:4, 興味深い)
他の人も書いてますが、一般に標本調査の結果は真の分布とは異なります。どう異なるかは標本の選び方によるわけで、調査結果の解釈の腕の見せ所でもあり、議論対象でもあるはずなのに、よく新聞、TVで見聞きする「世論調査」では、その標本抽出の方法や妥当性がちゃんと説明されることは、まずありません(たとえば簡単に「成人男女2000人を無作為抽出」とだけしか記されてなかったり。「誰が持ってる名簿から」選んだのか、が大きな影響を持つはず)。
だから「調査方法によって結果がバラつくんだよ」という事を広く知らしめるためには、こういった研究とその成果の宣伝は重要なのです。
しかしいわゆる調査会社は、そんなことはあまり言いません。だまっておけば、ほしい結論を任意に得るような解釈がしやすいからです。おまんまの心配しなくていい独法での税金による研究が向いている、と言えないこともないと思います。
Re:興味深いし、重要 (スコア:1)
必要な情報が揃っていれば読者自信が考察できますが、重要な情報に欠損があれば、それは困難。
調査の内容を明かさなければ、考察は調査結果とは無関係に言いたいことを好き放題言ってるのと大差ないかも。ならば、その考察は不要な情報。
Re:独立行政法人 労働政策研究・研修機構?? (スコア:0)
日本中の元・国立大学でやっている研究にだって、そうとうくだらない(もしくは、くだらなく見える)ものはあるでしょうし。
逆に、くだらない=利益に直結しないからこそ、国が税金でやらなくてはいけないという側面も
Re:独立行政法人 労働政策研究・研修機構?? (スコア:2, 参考になる)
その割には『……』(三点リーダー2つ)を使うことにはあまり良い感情を持っていないようなので(苦笑)
少々横から補足を。
結局ところ、この辺の話は昔からの日本語組版の話でして、
印刷時に『・・・』(中黒3つ)より『……』のほうが
印刷時の見栄えが良いという理由があります。
# 「印刷時の見栄え」は「読みやすさ」に直結するので。
今でも、『・・・』を使うような場合、基本的には『……』に直されます。
直されていないものは、著者もしくは編集者に明らかな編集意図があると考えるべきでしょう。
# 章への応募なんかでは、直される以前に落とされるとか。
まぁ、どちらにせよ、Web 上ではあまりこだわることは無いと思いますが、
何を使おうともというのなら、『……』を使うことについても、同じように見て頂けませんか? と。
# 『...』(半角ピリオド3つ)は……
# 縦書きにしてみれば判ると思いますよ?(苦笑)
# 雑学知識レベルで書いてます。
# 識者の方、いたらフォロー願います。
Re:独立行政法人 労働政策研究・研修機構?? (スコア:1, おもしろおかしい)
「……」
講談社風
「‥‥」
!?
母集団が違うんだから結果も違って当たり前ですね (スコア:0)
一方,従来型の調査と同じやり方で標本抽出して協力依頼したら回収率が著しく低くなるでしょうから,信頼性が乏しくなりそうです。
……ということくらいは,わざわざ実験しなくても定性的にはみえているんじゃないかと思いますが。
報告書pdfを読まずに書いているのでAC
Re:母集団が違うんだから結果も違って当たり前ですね (スコア:3, 参考になる)
ま、読んでから言おうや。
Re:母集団が違うんだから結果も違って当たり前ですね (スコア:2, すばらしい洞察)
イメージでネットアンケートは偏ってるとか決めつけてはいけないんで。
例えるなら (スコア:1)
Re:母集団が違うんだから結果も違って当たり前ですね (スコア:1)
アンケートページを作成していろんなところにリンクを貼ってもらう形式であれば、refererによって回答者の性質や傾向をある程度絞り込む事はできるんじゃなかろーか、と思ったりします。
「新橋のサラリーマン100人に聞きました」とか「巣鴨のおばあちゃん100人に聞きました」ぐらいの絞込みね。
もっとも、refererを遮断するsymantec製FWみたいな例もあるんで、その他にあたるものが多くなるとは思いますが。
あと、モニター型には別の手法をとらなきゃならんでしょうね。
---- 何ぃ!ザシャー
Re:母集団が違うんだから結果も違って当たり前ですね (スコア:0)
Re:母集団が違うんだから結果も違って当たり前ですね (スコア:1)
-- 星を目指さない理由は何もない -- 「MISSING GATE」by 米村孝一郎
Re:母集団が違うんだから結果も違って当たり前ですね (スコア:1)
それは最低限のワクであり暗黙の了解でしかなくて
(例えば街頭アンケートなら「街頭アンケートに答えてくれた人」が前提になるのは言うまでもない)
その上でどんな偏りがあるのか(若い人が多いとか政府に批判的な人が多いとかウソを書く人が多いとか)が不明、ということですね。
というわけで、次は「あなたはうそつきですか?」というアンケートを……
Re:母集団が違うんだから結果も違って当たり前ですね (スコア:1)
意見が偏るのは必然かと。
1を聞いて0を知れ!
Re:この件はもう証明済みではないのか… (スコア:1)
・自由筆記投票ができる
・リアルタイム集計ができる
・livedoor ID 1つにつき1投票(ID取得は無料だから、実質上無制限投票)
こんなシステム、荒らしてくれといわんばかりではないですか。
だからといって荒らしちゃいかんのですが...そのへんの理性がぶっ壊れてるのがニュース速報板のようなところに巣食う連中なんですかねぇ。
Re:結果は正しいかも (スコア:1)
と上のほうで何度も書かれていることをまた書いてみる.
Re:アンケートの種類にもよるが (スコア:1)
考えられる問題
平日昼間に出歩ける前提
ここで既に抽出が選択されています。
....
と、かようにアンケートなんて参考にしかならんものです。
--- de FTNS.
Re:発見は? (スコア:1)
今更な調査に金をドブに注いだのは頂けないですね。
参考
http://www.h7.dion.ne.jp/~yuasa/survey/INT_ref9907.htm [dion.ne.jp]