仮説検定法の見直しの必要性 （Facebook過去記事の再掲）

帰無仮説が点仮説になっている単純検定はもうやめた方がよいかも。
仮説検定は、あまたある統計的決定理論の一つの方法に過ぎない。
たいていの仮説検定は、赤池・竹内の情報量基準(AIC,TIC）によるモデル選択の一つとして解釈できる。 放射線の健康影響や原子炉の事故のように、複雑な対象を研究している人は、こういった方法論のレベルまできちっと踏みこんでほしい。

詳しくは、下記を参照されたい。

TAKENAKA's Web Page「有意性検定の無意味さ」
takenaka-akio.cool.ne.jp

【原論文】Johnson, Douglas H. 1999. The Insignificance of Statistical Significance Testing. Journal of Wildlife Management 63(3):763-772.

懐中電灯のパラドックス

「スイッチを入れれば電球が点灯する」は必ずしも真ではない。なぜなら、電池が切れているかもしれないから。
「電池が切れていなくて、スイッチを入れれば電球が点灯する」も必ずしも真ではない。なぜなら、配線が切れているかもしれないから。
このように、いくら条件を増やしていっても、真なる命題には到達しない。
（懐中電灯の代わりに、もっと複雑な装置や自然現象を想像してください。）

したがって、「スイッチを入れれば電球が点灯する」が真になるためには、
「他の条件に妨げられることがなければ」という留保条件が常に必要である。

要するに、すべての命題は本質的に条件付き命題（仮言命題）である。
「電池が切れていないくて」といった当然の条件や「他の条件に妨げられることがなければ」といった留保は明示しない。

科学社会学や科学技術社会論では、科学知識の「文脈依存性」を重視するが、
社会論的な議論以前に、すでに論理学の段階で「文脈依存性」の問題は存在する。

同様に、命題の「確率」も本質的には常に「条件付き確率」である。

参考文献：『ハイデガーと認知科学』の状況論理についての節、および
　　　　　『知識と推測』（渡辺慧著、東京図書）。

読書感想メモ：Salsburg著『統計学を拓いた異才たち』および宗像・藤垣論文(2004)

最近、統計的手法の妥当性がよく分からなくなってしまったので、統計学の礎を築いた学者たち（フィッシャー、ピアソン父子、ネイマン、コルモゴロフ、ケインズ、・・・）がそもそもどのように考えていたのか、にたいへん興味がある。
そこで、Salsburg著『統計学を拓いた異才たち』（日経ビジネス文庫）を読んでみた。

研究者によって、検定のp値の解釈、確率分布の実在性、標本空間と日常との関係、といった根本問題について、見解がかなり違う。
それよりも愕然としたのは、理論家達が挌闘した問題そのものが、今では忘れ去られてしまっていることだ。
統計学があまりに科学に深く根ざしてしまったため、これらの根本問題は未解決のまま、至る所に潜んでいる。
事態はかなり深刻なようだ。

「これは科学史やSTSの格好の問題だ」と思った矢先、先行研究に戒めが書かれていた：

宗像・藤垣「専門家の主観的判断の妥当性検証と正当化に関するベイズ統計的研究」（『科学技術社会論研究』第3号、2004年）の注９：

「（ツヴァネンベルクらの）対象分野に関する徹底的な訓練を経て十分な専門知識を得て専門家と対等に議論する」とする立場は、レビューアーの意見それ自体が新たなエキスパート・ジャッジメントになる」

つまり、科学史家やSTS研究者が、統計的方法の根本問題がどのように科学を蝕んでいるかを探るべく、理論統計学の専門家と同じくらいの能力を身につけて、批判的吟味を行ったとしても、それは専門家の争いに加わっただけのことになってしまう危険がある。

それに比べると、宗像・藤垣両氏の、専門家を公共空間に引っ張り出すための統計的ツールをつくってしまおう、という戦略は大人である。
しかもここでいう公共空間には、（統計学という）expertiseを備えた非専門家がいる。
「専門家が駄目なら、市民に問おう」というのとは違う。

中道であり、王道である。

問題は、専門家が使用した論文やデータを充分に入手できるかという点だ。

それがクリアできれば、今回の原子炉事故においても、専門家の主観バイアスを定量的に表示して、オープンな場での議論に一定の基礎を与えることが可能となるであろう。

ちょっと楽観的過ぎるか？


(以上、Facebook過去記事から再掲した。）


【捕捉１】　フィッシャーのp値は、帰無仮説（間違っていて欲しい仮説）が正しいと仮定した場合について計算され、フィッシャーのもともとの使い方では、p値が充分小さければよし、大き過ぎれば実験計画をやり直せ、という意味合いで用いられた。
このｐ値を、対立仮説（正しくあって欲しい仮説）が正しい場合について計算したものは「検出力（検定力）」と呼ばれ、
1－第2種誤り確率
に等しい。（この値は、大きくて１に近い方がよい）。
帰無仮説に関するp値だけで検定の有効性を議論するのでは不十分で、対立仮説に関する検出力とセットで議論されなければならないというのが、イェジー・ネイマンとエゴン・ピアソンの基本的な考え方である。
「帰無仮説というのは架空の敵であり、比較検討の結果から棄却されるべきものなのである。だからネイマンによれば、得られたデータから架空の敵を倒・・・すためには、データの検出力が最大となるような比較検討をすべきだ、となるのである」（p.171）。

【捕捉２】
仮説検定に関する事態の深刻さが、第11章の174頁以降に書かれている：
「現在教えられている仮説検定の方法では・・・、ネイマンの重要な洞察 ― 架空の敵である帰無仮説を検定するためにはうまく定義された対立仮説が必要であるという洞察 ― を認識できなくなっている」。

【捕捉３】エゴン・ピアソンはイェジー・ネイマンの仮説検定理論の発端は、
分布が正規分布に従っているかどうかのχ二乗適合検定に関するものであった：
「一組のデータに対する適合度検定において、有意な結果が得られなかった場合、データが正規分布に従っていることをどうやって確信したらいいのだろうか？」
この問いが、
「検定で有意でない結果が得られたとき何が言えるのか」「ある仮説が間違いだと言えなかったとき、その仮説が正しいと結論付けることができるのか」
という問いへと一般化され、上述の検出力の理論の構築が始まるのである。

専門家は本当に「第1種誤り」を恐れているか？

枝野官房長官の「ただちに問題があるというわけではない」という答弁の仕方について、ある方と議論した際に、
「弁護士出身なら第1種誤りを恐れるのは正当ではないか」と指摘してみたのですが、自分でも違和感があったのでその後考え直してみました。
その結果、「第1種／第2種誤り」という切り口自体に問題があったことに気付きました。

以下に、少し詳しく述べます。

一般に、
「問題がない」のに「問題がある」と言明するのは第1種誤り、
「問題がある」のに「問題がない」と言明するのは第2種誤りで、
科学者などの専門家は、第2種誤りよりも第1種誤りを犯すことを恐れる、
ということがよく言われます。

ここで気がついたのは、
「問題がない」は「問題がある」の単なる論理上の否定ではないということです。
もし、単なる論理上の否定なら、
「問題がない」を立証するためには「問題がある」を部分的に反証すれば充分で、
「問題がある」ことの立証に比べてずいぶんと楽な作業になります。
ところが、実際には、「問題がない」も「問題がある」と同様に、証拠による裏付けと社会的信用を賭けることが必要な「積極的言明」です。

このように否定言明が肯定言明と同じくらい努力が必要な積極的言明である場合は、否定言明も肯定言明は対等であり、第1種誤りと第2種誤りはどちらも等しく恐れるべきものとなります。
これは弁護士や科学者に限ったことではなく、言明者が誰でであっても言えることです。

ということは、証拠が十分でない場合は、
「問題がある」とも「問題がない」とも言明しないか、あるいは、「「問題がない」とは言えないが「問題がある」とも言えない」という言い方が妥当だ、という結論になります。
枝野官房長官もこの原則に従っています。

しかし、だから枝野長官の言明は妥当だ、ということになってしまうようでは、言明の評価方法としては不充分と言わざるを得ません。

そこで、評価の仕方を変えてみます。
「「問題がある」とも「問題がない」とも言えない」、すなわち「積極的言明ができない」という言明を考えれば、これに対して第1種／第2種誤りを考えることができます。
このとき、
第1種誤りは「積極的言明ができないのに言い切ってしまう」、
第2種誤りは「積極的言明ができるのに言わない」
となります。

このような追加的な精緻化を一段階経ることで、晴れて、
「専門家は第2種誤りよりも第1種誤りを犯すことを恐れて積極的判断を控える傾向がある」
という言うことができ、さらに、
「あまりに第１種誤りを犯すことを恐れて積極的言明を控え過ぎる場合、不作為となっている可能性がある」
とスキーマティックに結論することができるようになります。

これをさらにスキーマティックに言い換えて、
「専門家は、たとえ証拠が少ない場合でも、それまでの誠実かつ注意深い考察に基づいて形成した自分の信念に従って、主体を賭けて積極的言明を行わなければいけない時がある」
ということが結論できます。

いつもこういった細かいことばかり考えていますが、
反応してくださる方がいると、たいへんうれしいです。

（2011年12月14日に大幅修正。）