効果がなくても「有意差」を作り出す方法
2023年に、とある食品臨床試験受託会社が「ヒト臨床試験有意差保証プラン」という、ヒト臨床試験において統計的有意差が出ることを「完全保証」するかのような広告を出し、専門家から強い批判を受けました*1。有意差なしという結果が出ても、無償で繰り返して臨床試験を実施することを想定していたようです。介入にまったく効果がなくても、試験を何度も繰り返して行えば、偶然によって統計学的に有意な差が観察されることが期待できます。効果の有無を誠実に確かめるためではなく、有意差が出たという事実をビジネスに利用することが目的となっています。
ただ、有意差が出るまで何度も試験を繰り返すのはコストがかかります。もっと安価に「有意差を出す」方法はいくつか知られています。たとえば、一回の試験で多くの項目について有意差検定を行い、たまたま有意差が出たものだけを発表する方法があります。仮に20項目を測定すれば、効果がなくても、そのうち1項目程度は有意水準5％で有意差が出ることが期待できます。実例として、■裁判事例から学ぶ健康情報の読み方では、微生物由来の飲料水が「Tリンパ球年齢およびCD8+CD28+T細胞数」を有意に改善させたとする論文の欺瞞について論じました。実際には、「Tリンパ球年齢およびCD8+CD28+T細胞数」のほか、B細胞、T細胞、NK細胞など、多くの項目が測定されましたが、有意差が認められた項目のみが強調されていました。多くの項目を調べたのであれば、一項目ぐらいの有意差は、飲料水にまったく効果がなくても、偶然によって生じ得るものです。
評価項目を増やすだけではなく解析対象を細分化する方法もあります。たとえば年齢や性別、症状の重さごとに分けて解析するやり方です。解析対象を細分化したサブグループ解析を何度も行うと、介入に効果がなくても、偶然に有意差が出る可能性が高まります。実例を挙げましょう。大手食品会社が、トウモロコシ由来の乳酸菌株に毛髪密度を高め抜け毛を減らす効果があることを発表しましたが、そこには欺瞞がありました。試験全体では有意差が認められなかったものの、「毛乳頭細胞が少ないと思われる被験者を除いて追加解析」したところ、有意差が認められたというものです。問題は、結果を見た後に有意差が得られるよう解析対象が選び直されたのではないかという疑念が拭えない点にあります。尾崎隆さんによる解説が参考になるでしょう。以下のリンク先で読めます。
■シュートを外した後で、ゴールポストを動かして「入っていた」ということにしてはいけない - 渋谷駅前で働くデータサイエンティストのブログ
粉飾（Spin)とは、否定的な臨床試験結果を「効いたように見せる」表現操作
このように、研究の結果は否定的だったにもかかわらず表現や強調の仕方を工夫することであたかも効果があったかのように見せる行為のことを「粉飾（Spin)」と呼びます*2。いわば、的を外した弾痕の周りに後から的を書き足すような行為です。このような誤りは「テキサス狙撃者の誤謬（Texas sharpshooter fallacy）」として知られています。
粉飾は、データの捏造や他人の成果の剽窃ほど露骨な不正ではありません。しかし、結果の解釈を歪め、読者に誤った印象を与えるという点で、科学的判断を損なう深刻な問題です。だからこそ、注意深く見抜く必要があります。食品分野の事例が続きましたが、同様の粉飾は、かつて医薬品の分野でも多く見られました。しかし現在では、粉飾を防ぐための仕組みが整えられており、主要な医学雑誌では、この種の問題を含む論文は掲載されにくくなっています。
粉飾（Spin）を防ぐ鍵は臨床試験の事前登録
粉飾は、ランダム化でも、二重盲検化でも防ぐことはできません。粉飾を防ぐ仕組みの中心は、臨床試験の事前登録です。臨床試験を始める前に、どのような患者を対象に、どの介入を行い、何をもって効果を判定するのかを、公的なデータベースにあらかじめ登録しておく制度です。とくに重要なのが「主要評価項目（主要アウトカム）」で、これはその試験で最も重視する結果を指します。たとえば「一定期間内の死亡率」や「あらかじめ決めた評価尺度を用いて数値化した症状スコアの変化」など、試験の成否を左右する指標です。それに加えて、参考として測定されるのが「副次評価項目」です。これらは追加的な情報を得るための指標です。重要なのは、どれが主要で、どれが副次かを、結果が分かる前に明確にしておくことです。そうすることで、結果を見て後で都合の良い項目だけを選び出すといった操作を防ぐことができます。
臨床試験の結果を報告する論文にはたいてい、事前登録の登録番号が記載されており、主要評価項目などの試験計画は、登録情報を参照することで確認できます。事前登録の記載がない論文の質は低いとみなされ、評価の高い医学雑誌には掲載されにくくなります。また、論文の主張と事前登録の情報が微妙に異なっていることもあります。巧妙ではありますが、これも粉飾とみなされます。本気で論文を評価するのであれば、論文の本文だけでなく、事前に登録された臨床試験計画と照らし合わせて読む必要があります。
評価の高い学術雑誌では、専門家による査読という仕組みを通じて、研究内容や解釈に一定のチェックがかかります。一方で、プレスリリースや一般向けのウェブメディア、週刊誌といった媒体の記事は、こうした査読の仕組みを持ちません。そのため、しばしば粉飾が紛れ込みます。プレジデントオンラインに掲載された■残念ながら､栄養ドリンクでは治りません…疲労の最新研究でわかった｢寝ても取れない疲れの正体｣ ｢慢性疲労｣の原因はストレスでも加齢でもないも、この典型例と言えるでしょう。
否定的な臨床試験があるのに記事では「治療薬の発見に成功した」
当該記事では、慢性疲労の原因を、脳内で炎症を抑える仕組みの障害と説明し、その結果生じる脳内の炎症が症状の本態であるとしています。そして、この低下した神経伝達物質を補う薬剤として、認知症治療薬である「ドネペジル（商品名アリセプト）」について、あたかも治療薬を発見したかのように紹介されています。この記事を書いた「医療ジャーナリスト」の木原洋美氏のFacebookでは「病的疲労に劇的に効く！」とまで書かれています*3。
しかし、当該記事の掲載時には、二重盲検ランダム化比較試験により、効果が確認されなかったことを示す否定的な結果が、すでに論文として発表されていました。
COVID-19感染症後に慢性疲労を生じた成人において、介入群（ドネペジル投与群）と対照群の間で、主要評価項目も副次評価項目も有意差は認められませんでした。臨床試験の基本を理解している人同士であれば、ここで議論は終了です。COVID-19後の疲労感にドネペジルが効くとは言えません。改めて新規の臨床研究を計画・実行し、有効性が確認できない限り、「治療薬の発見に成功した」と書くのは誤りです。論文自体は問題はありませんが、プレジデントオンラインの当該記事の記述は間違っています。
「正規の論文」ではなく学会抄録なのでは？
ところが、です。当該記事を書いた木原氏は、「この後、正規の論文が発表されて」「ドネペジルは効果が証明されており、プレジデントの記事の通りとなって」いると主張したのです*4。正規の論文って、具体的にどの論文のことでしょう？具体的な書誌情報の提示と、その「正規の論文」とやらが査読のある医学雑誌に掲載されたかどうかをお尋ねしたのですが、現時点において木原氏からのお返事はありません。
木原氏のFacebookによると、その論文は「慈恵の電子論文集」に載っているそうです。木原氏のFacebookにはURLが提示され「（興味のある方はPDF中の18を参照）」ともありました。URL先を確認すると、PDF中の18は、『新型コロナウイルス感染症（COVID-19）後遺症のメカニズム解明および治療薬候補ドネペジルの効果検証 ―COVID-19後遺症に対するドネペジルの第II相臨床試験の成果』という学会発表の抄録でした。この抄録の本文は日本語のみで記載されており、医学論文の国際的な検索データベースであるPubMedでは確認できません。臨床試験の重要な結果は、英文の原著論文として国際誌に発表され、世界中の研究者が検索・検証できる形で公開されるのが通例です。
木原洋美氏は、原著論文と学会抄録の区別がついていない可能性があります。原著論文とは、研究の背景、方法、統計解析、結果、限界などを詳細に記載し、通常は専門家による査読を経て学術誌に掲載されるものです。一方、学会抄録は、学会発表用に研究の一部や途中経過を簡潔にまとめたものであり、分量も情報量も大きく制限されています。当該学会抄録は、主要な結果がすでに原著論文として発表された後に行われた事後解析への言及がありますが、治療効果の有無を断定することはできません。
粉飾のような、結果の解釈や提示の仕方に関わる問題は、たしかにやや専門的で、一般の読者には分かりにくい面があります。しかし、原著論文と学会抄録の違いは、医療ニュースをある程度読み慣れている一般の読者であれば理解していておかしくない事柄でしょう。「医療ジャーナリスト」を名乗る人物が原著論文と学会抄録の区別がついていないなんてことがあるとは考えにくいですが、もし「正規の論文」なるものが存在するならば、論文のタイトルや掲載誌といった具体的な書誌情報を木原氏は提示できるはずです。今後、木原氏の主張の根拠となる具体的な書誌情報についての提示を待っています。
そもそも当該学会抄録にも「被検者全体を解析した結果，ドネペジルは有意に倦怠感を軽減させることはできなかった…」と書いてあります。これが主要評価項目の結論です。「層別解析の結果，ドネペジルが有効なCOVID-19後遺症患者群を同定した」とありますが、これは事後解析の結果にすぎません。このことをもって「治療薬の発見に成功した」と書くと、典型的な粉飾です。「シュートを外した後で、ゴールポストを動かして入っていたことにする」あるいは「的を外した弾痕の周りに後から的を書き足す」ようなものです。学会抄録にもさすがにそこまで踏み込んだ表現は用いられておらず、「ドネペジルで治療できる可能性を見出す事が出来た」に留まっています*5。「治療薬の発見に成功した」と言えるのは、あらためて「ドネペジルが有効なCOVID-19後遺症患者群」を定義し、その集団を対象に、ドネペジルを投与する群と対照群を比較する臨床研究を実施する必要があります。現時点では、そのような臨床研究は、実施どころか、登録すら見当たりません。
*1:■ヒト臨床試験で「有意差を完全保証」 炎上の企業が謝罪「誤解を招く表現があった」サービス名変更: J-CAST ニュース
*2:■粉飾された臨床試験の判別法： 臨床試験のすべての関係者へ（PDF）ファイル
*3:URL:https://www.facebook.com/hiromi.kihara.775/posts/pfbid02yNjajhoMYZw8SfBG1SeLatqrwhwuhX3AdNLX4pAKy3Nfure8dNtqr14AnkAowPtl
*4:■「権威が勝手な都合で有望な科学を排除する事例」って何だろう？のコメント欄
*5:有意差が認められなくても傾向だけでも観察できれば「可能性を見出すことができた」と言える。新たに臨床研究を行う根拠にはなる
