この予測が他社とだいぶん違う、みたいな話でざわついています。
自民が単独過半数確保の勢い、立憲はほぼ横ばい https://t.co/TRpYkWlcfj
— bokemontaro (@hichachu) 2021年10月25日
選挙戦中盤の情勢を探った。現時点では、(1)自民党は公示前の276議席より減る公算が大きいものの、単独で過半数(233議席)を大きく上回る勢い(2)立憲民主党は比例区で勢いがなく、公示前の109議席からほぼ横ばい―
情勢調査は、すごく各社金かかるから、共同で数字を購入する方が主流になってる。これまでの手法でやってきた実績だけ見れば、国営テレビが圧勝し、次に築地新聞グループ。要するに、金をどれだけかけられるかだ。
— 閑居 (@doatease2313) 2021年10月26日
全く出てこないが、このメディア規模に勝るとも劣らないレベルで、与野党第一党もやってる。党勢とともに、選挙公約の立て方も左右してる。
— 閑居 (@doatease2313) 2021年10月26日
これが、業界標準みたいな調査手法は、デジタル化の流れで百家争鳴状態になってて、やり方は表に出て見えてる以上に変化。いずれも、絶対的に正しいとは言い切れないものの、従来手法と大差でてない。コストは圧倒的に下がる。
— 閑居 (@doatease2313) 2021年10月26日
世論調査をきちんと請け負える会社は限られてきた。最近は、ネット調査を背景に調査会社は乱立。こういう別の会社が上げてくる数字を評価し、記事化するのがメディアの仕事になってる。
— 閑居 (@doatease2313) 2021年10月26日
メディア側がぼっとしてた結果が、大手町右新聞とお台場テレビ。いまだに立ち直ってない。合掌するしかないなぁ。
— 閑居 (@doatease2313) 2021年10月26日
予測精度の問題は、政党支持の流動性(支持なしの増加)の影響がまず大きく、人々のライフスタイル(固定電話離れ、架電率、回答率の影響)、選挙期間の短さなども大きく影響しており、コストはあくまでそれをカバーするためのもの。言い換えると、コストを掛けても予測精度は上がりにくくなっている。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
莫大なコストをかけて、たとえば各選挙区5倍の回答者を集めたとしても、固定電話RDDによる予測精度の低さは誤差の問題ではなくバイアスの問題なので、予測精度は大して上がらない。これを解決するためには予測法(後工程)を磨くか、バイアスを補正しうるデータの集め方を導入するか(前工程)。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
従来型の固定RDDでは、バイアスを生む部分(中年以下の中関心以下の層、無党派層)のサンプルが少なく、補正したらかえって誤差を大きくする可能性が高い。サンプルを増やすことで誤差の問題は解決しうるが、サンプルが数倍となればコストも数倍。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
それだったら携帯電話SMSなりネットなりで弱い部分を補えばより低コストで済む。データの集め方を変えたことによる別の歪みは後工程で何とかすればよいというのは自然な発想。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
ただそれが上手くいくかどうかはわからない、ということはすでに朝毎読の情勢のズレで明らかに。ただこれは、最初に述べたように現在の日本の有権者・政党間関係の弱さによる部分が大きい。報道機関だけを責めるべき問題ではない。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
朝日の情勢調査、選挙区をネットのみで行っていますが、毎日の都議選情勢調査の失敗を見ていますし、「予習」も行い、他紙の情勢調査も確認したうえで出しているので、大きくは外れないという自信はあるのだと思いますよ。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
他紙と傾向が異なることは当然訝しがられるのですが、今回、日経・読売も毎日・共同も、自動音声+SMSで行っています(日経は調査員架電も含む模様)。実はいずれの陣営も前例の無い方法で選挙情勢調査を行っているのです。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
予測が当たるかどうかは、新しい調査手法を受けての予測部分の洗練度の勝負になってくると思いますが、前例がないことに加えて難しい選挙区が増えているので、読売新聞のように緩く予測して接戦扱いを増やすのが適切のように思いますね。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
ちなみに、朝日新聞はRDD法の電話調査を導入する際、3年ほど裏で試し、00年衆院選で選挙区を半分に分けて、片方を(選挙人名簿から対象者を抽出して電話帳で電話番号を調べる)従来型の電話調査、片方をRDDで行うかたちでテストし、01年4月から定期調査に導入しています。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
インターネット調査による衆院選の情勢予測の難しさはサンプルを集めるところにあって、登録モニターの数の少なさと回収率の低さから、特に田舎のほうでは1選挙区300人集めるのも大変だと聞いたことがあります。「調査会社4社に委託」はその辺をカバーするためだと思います。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
予測精度が如実に出る比例区は、今回選挙の情勢報道の混沌をよく示していると思います。従来型調査の朝日は読売に近く与党強め、選挙区で読売よりも与党強めに出している毎日はかなり自民弱めです。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
朝日https://t.co/pXVaVCAzJy
毎日https://t.co/YP4fc4pWW2
読売https://t.co/XFOCNJhxFB
毎日の自民63-64という狭い幅の予測は、本当に予測する気があるのかと問いたいところですが。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
毎日新聞の都議選情勢の失敗については以前に書いていますので、興味のある方は会員登録してお読みいただければ。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
大外れした「都民ファースト惨敗」予想で露呈したマス・メディア調査の限界 「告示直後の世論調査」は偏りだらけ #プレジデントオンライン https://t.co/225XEGoYTm
自動応答電話調査は高齢者、政党支持層が厚く共産党支持層などが強めに出るし、ネット調査は無党派の行動を読めずで、情勢報道はなかなか大変ですね。支持層を固定できない政党の頼りなさが根本にあるので、メディアだけを叩く問題ではない。
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
オートコールもネット調査も遥か昔から行われています。JXの調査の信頼性はJXにより築かれたもので、工程の異なる他社の調査を保証するものではありません。 https://t.co/Mk9grRKzLr
— 菅原 琢(SUGAWARA, Taku) (@sugawarataku) 2021年10月25日
「世論の曲解」は今思えば「一番重要なのは、共産党の候補林立で反与党票の分散があるのをどう整理するかだ」ということに最重点を置いて指摘した重要な本だった。
いちおうわがブログは創設当時から世論調査、情勢調査の科学的なトピックには関心を持っていて、正確性、バイアス、設問による結果のコントロールなどなど、主要なトピックをその時々のニュースに合わせて書いているから辿ってくれるとさいわい。リンクは面倒だから張らない…いや、ごく一部だけ下に張るけど、むしろ「世論調査」で検索してみて(余計な記事が多く引っかかるが、それは飛ばしてください)
自分の見立てではオバマ時代より少し前から「調査が正確になり過ぎて、選挙前に結果が分かってしまう。どうする?」みたいなテーマだったのに、トランプvs世論調査で後者が2連敗を喫し、日本でも予想はずれが増えて(この前の都議会選など)、おやおやな状況…。
m-dojo.hatenadiary.com
しかしなんにせよ、重要なのは、普段の世論調査は結局のところ、その数字が「正しい」かどうか証明できないのだが、選挙情勢調査は「正解」がいやおうなく投開票日に明らかになるところだ。
今回の勝者はどこか?
m-dojo.hatenadiary.com