そのMiddle-out approach、大丈夫ですか？(４)
2023-06-16
以下、下書き中です。
前回のブログで、試験結果に対するフィッテイングによるモデルの構築について議論しました。ここでは、フィッテイングしたモデル（適合モデル）の他の条件に対する予測性をどのように検証(validation)していくべきかを議論します。
まず初めに、Bottm-upモデルと適合モデルの違いから復習しましょう。ここでは、
y = ax + b
という、簡単な数理モデルを考えます。
例えば、
xは、臨床試験の試験条件
yは、臨床試験の試験結果
一般に、医薬品開発においてPBPKモデルを使用する場合、まずはじめに、前臨床研究段階でin vitroデータから係数a, bを予測します。
ここでは仮に、in vitroデータから
a = 5
b = 1
と予測されたとしましょう。すると、数理モデルは、
y = 5x + 1
になります。これは、Bottm-upモデルです。
次に、この式を用いて臨床試験結果を予測します。
x = 2の条件下において試験を行った際のyを”予測”すると、
y = 5 * 2 + 1 = 11
になりました。これは、Bottom-up予測です。
次に、実際に、試験を行います。x = 2の条件下で試験をした結果、y = 31になりました。
予測値 y = 11
試験結果 y = 31
ですので、約3倍外れています。
そこで、aの値を臨床試験結果から逆算することにしました。
（なぜ、bではなく、aを選ぶのか？は疑問ですよね。でも、実際のPBPKモデルでは、このような恣意的な選択が行われている場合が多いのが実情です。）
aを逆算すると、
a = 15
になりました。したがって、
y = 15x + 1
となります。ここで、aをそのままにして、bを逆算することもできます(b = 21)。
この式の中で、a =15は臨床試験の結果に合わせてtop-downで求めており、一方、b = 1はもともとのbottom-upです。両方のアプローチが１つのモデル式で使われているので、middle-outになります。
これを、Middle-out適合モデル（Middle-out fitted model）と呼ぶことにしましょう。
（Ｋ）検算は、予測性の検証ではない
次に、このMiddle-out適合モデルで、もう一度x = 2の条件下でのyを計算すると、
y = 15 * 2 + 1 = 31
になりました。臨床試験結果とピッタリ一致します。
さて、それでは、この計算は「予測」でしょうか？
もちろん、予測ではありません。臨床試験結果からaを逆算しているからです（＝臨床試験結果にfittingしている、臨床試験結果にあうようにoptimizeしている、などなどいろいろな言い回しがありますが。。。）。
なお、bを逆算で求めた場合でも同様に、y = 5 *2 + 21 = 31で、やはり臨床試験結果とピッタリ一致します。
それでは、middle-outモデルによる計算で、計算値が、逆算に用いた条件下での試験結果とピッタリと一致していることは、一体何を意味しているのでしょうか？
この計算は、aを逆算に選んで正しい、ということの証明にはなりません（bを逆算した場合でも、ピッタリ一致しますので）。したがって、この計算には何の意味もありません（あえて言うなら、検算、でしょうか？）。
なお、たまに、x = 2の条件で、もう一度、臨床試験をおこない、上記の計算との一致をもってmiddle-out適合モデルを”検証(validate)”した、としている論文があります。x = 2の条件で、もう一度、臨床試験を行った場合、臨床試験に再現性があれば、結果は、再びy = 31になるでしょう。しかし、その値と適合モデルによる予測が一致したからと言って、もちろん、これではモデルの予測性の検証にはなりません。(試験の再現性は確認できますが。。。)
（Ｌ）Middle-out適合モデルの予測性の検証
それでは、Middle-out適合モデルの予測性は、どのように検証したらよいのでしょうか？
a = 15を使用してもOKなのかは、パラメータ逆算に使用したのとは別の試験の結果を用いて、検証する必要があります。
例えば、x = 5の条件で予測を行い、次に、臨床試験を行います。
Middle-out適合モデルによる予測値は、
y = 15 * 5 + 1 = 76
ですね。
ちなみに、もし、bを逆算に選んでいたら
y = 5 * 5 + 21 = 46
と予測されます。
次に、x = 5の条件で、試験を行います。
結果、y = 70になりました。どうやら、aを逆算に選んでよかったようです。
それでは、この段階で、果たして、"予測"性が”検証”されたことになるのでしょうか？
もし、bは絶対に逆算しないと決めていたのであれば、そうなります。
しかし、そうでない場合は、話が違ってきます。２つの臨床試験データからa,bの両方が逆算可能であることを考えてみましょう。この場合、どちらかが計算結果と臨床結果とかならずピッタリになります。
つまり、この方法では、
aの逆算：y = 15x + 1
bの逆算: y = 5x + 21
のどちらかのmiddle-out適合式を選んでいます。この逆算パラメータ「選ぶ」という行為が、fittingと同じ役割を果たしているのです。
そうすると、予測精度を検証するには、更に、別の臨床結果が必要ですよね？
次に、今度はx = 10の条件でのyを予測しました。
y = 15 * 10 + 1 = 151
x = 10の条件で実際に試験すると、
y = 170になりました。
どうやら、y = 15x + 1という、middle-ou適合t式である程度、予測できているようです。
このようにして、middle-out適合モデルの予測性が検証されたのち、はじめて、検証時に変化させた同じ条件の変数（この場合x）を変化させた臨床条件下に対して、middle-out適合モデルを予測に用いることが可能になります。
(M)モデルの比較
ところで、middle-outによる PBPKモデルは、他の予測方法と比較してどれぐらい優れているのでしょうか？それを調べるには、多数の様々な薬物について、同じ手法で予測を行い、予測性を比較する必要があります。
このような比較は非常に重要です。なぜなら、非常に複雑なPBPKモデルを使用するのであれば、それに見合うだけでの利益が必要だからです。複雑なモデルは、過剰学習に陥る傾向にありますし、誤差の積み重ねも大きくなります。人類のこれまでの経験知としては、むしろ単純なモデルの方が予測性が高いことが多いことも分かっています。
たとえば、DDI予測の場合、mechamistic static model (MSM)(~CR/IR法)とdynamic PBPK modelとでは、どちらの予測性がどれほど高いのでしょうか？この検証がしっかりと行われ、dynamic PBPK modelの優位性が立証されるまでは、MSMを使うほうが良いのではないでしょうか？
先入観としては、複雑なモデル（＝高額なモデル？）の方が予測性が良さそうですよね？生体は複雑だから、複雑なモデルが必要だ、と言うのも、なんとなく、説得力がありますよね。
しかし、血中濃度推移の予測に、髪の毛の数は必要でしょうか？
モデルというのは、複雑な現実世界を、目的に応じて単純化した模型（モデル）です。たとえば、地球儀は、地球のモデルであり、国や地域の位置関係を把握するのに役立ちます。地球儀には、机の上のコップの情報は載っていません。不必要にモデルを複雑にする必要はありません。
前回のブログで、試験結果に対するフィッテイングによるモデルの構築について議論しました。ここでは、フィッテイングしたモデル（適合モデル）の他の条件に対する予測性をどのように検証(validation)していくべきかを議論します。
まず初めに、Bottm-upモデルと適合モデルの違いから復習しましょう。ここでは、
y = ax + b
という、簡単な数理モデルを考えます。
例えば、
xは、臨床試験の試験条件
yは、臨床試験の試験結果
一般に、医薬品開発においてPBPKモデルを使用する場合、まずはじめに、前臨床研究段階でin vitroデータから係数a, bを予測します。
ここでは仮に、in vitroデータから
a = 5
b = 1
と予測されたとしましょう。すると、数理モデルは、
y = 5x + 1
になります。これは、Bottm-upモデルです。
次に、この式を用いて臨床試験結果を予測します。
x = 2の条件下において試験を行った際のyを”予測”すると、
y = 5 * 2 + 1 = 11
になりました。これは、Bottom-up予測です。
次に、実際に、試験を行います。x = 2の条件下で試験をした結果、y = 31になりました。
予測値 y = 11
試験結果 y = 31
ですので、約3倍外れています。
そこで、aの値を臨床試験結果から逆算することにしました。
（なぜ、bではなく、aを選ぶのか？は疑問ですよね。でも、実際のPBPKモデルでは、このような恣意的な選択が行われている場合が多いのが実情です。）
aを逆算すると、
a = 15
になりました。したがって、
y = 15x + 1
となります。ここで、aをそのままにして、bを逆算することもできます(b = 21)。
この式の中で、a =15は臨床試験の結果に合わせてtop-downで求めており、一方、b = 1はもともとのbottom-upです。両方のアプローチが１つのモデル式で使われているので、middle-outになります。
これを、Middle-out適合モデル（Middle-out fitted model）と呼ぶことにしましょう。
（Ｋ）検算は、予測性の検証ではない
次に、このMiddle-out適合モデルで、もう一度x = 2の条件下でのyを計算すると、
y = 15 * 2 + 1 = 31
になりました。臨床試験結果とピッタリ一致します。
さて、それでは、この計算は「予測」でしょうか？
もちろん、予測ではありません。臨床試験結果からaを逆算しているからです（＝臨床試験結果にfittingしている、臨床試験結果にあうようにoptimizeしている、などなどいろいろな言い回しがありますが。。。）。
なお、bを逆算で求めた場合でも同様に、y = 5 *2 + 21 = 31で、やはり臨床試験結果とピッタリ一致します。
それでは、middle-outモデルによる計算で、計算値が、逆算に用いた条件下での試験結果とピッタリと一致していることは、一体何を意味しているのでしょうか？
この計算は、aを逆算に選んで正しい、ということの証明にはなりません（bを逆算した場合でも、ピッタリ一致しますので）。したがって、この計算には何の意味もありません（あえて言うなら、検算、でしょうか？）。
なお、たまに、x = 2の条件で、もう一度、臨床試験をおこない、上記の計算との一致をもってmiddle-out適合モデルを”検証(validate)”した、としている論文があります。x = 2の条件で、もう一度、臨床試験を行った場合、臨床試験に再現性があれば、結果は、再びy = 31になるでしょう。しかし、その値と適合モデルによる予測が一致したからと言って、もちろん、これではモデルの予測性の検証にはなりません。(試験の再現性は確認できますが。。。)
（Ｌ）Middle-out適合モデルの予測性の検証
それでは、Middle-out適合モデルの予測性は、どのように検証したらよいのでしょうか？
a = 15を使用してもOKなのかは、パラメータ逆算に使用したのとは別の試験の結果を用いて、検証する必要があります。
例えば、x = 5の条件で予測を行い、次に、臨床試験を行います。
Middle-out適合モデルによる予測値は、
y = 15 * 5 + 1 = 76
ですね。
ちなみに、もし、bを逆算に選んでいたら
y = 5 * 5 + 21 = 46
と予測されます。
次に、x = 5の条件で、試験を行います。
結果、y = 70になりました。どうやら、aを逆算に選んでよかったようです。
それでは、この段階で、果たして、"予測"性が”検証”されたことになるのでしょうか？
もし、bは絶対に逆算しないと決めていたのであれば、そうなります。
しかし、そうでない場合は、話が違ってきます。２つの臨床試験データからa,bの両方が逆算可能であることを考えてみましょう。この場合、どちらかが計算結果と臨床結果とかならずピッタリになります。
つまり、この方法では、
aの逆算：y = 15x + 1
bの逆算: y = 5x + 21
のどちらかのmiddle-out適合式を選んでいます。この逆算パラメータ「選ぶ」という行為が、fittingと同じ役割を果たしているのです。
そうすると、予測精度を検証するには、更に、別の臨床結果が必要ですよね？
次に、今度はx = 10の条件でのyを予測しました。
y = 15 * 10 + 1 = 151
x = 10の条件で実際に試験すると、
y = 170になりました。
どうやら、y = 15x + 1という、middle-ou適合t式である程度、予測できているようです。
このようにして、middle-out適合モデルの予測性が検証されたのち、はじめて、検証時に変化させた同じ条件の変数（この場合x）を変化させた臨床条件下に対して、middle-out適合モデルを予測に用いることが可能になります。
(M)モデルの比較
ところで、middle-outによる PBPKモデルは、他の予測方法と比較してどれぐらい優れているのでしょうか？それを調べるには、多数の様々な薬物について、同じ手法で予測を行い、予測性を比較する必要があります。
このような比較は非常に重要です。なぜなら、非常に複雑なPBPKモデルを使用するのであれば、それに見合うだけでの利益が必要だからです。複雑なモデルは、過剰学習に陥る傾向にありますし、誤差の積み重ねも大きくなります。人類のこれまでの経験知としては、むしろ単純なモデルの方が予測性が高いことが多いことも分かっています。
たとえば、DDI予測の場合、mechamistic static model (MSM)(~CR/IR法)とdynamic PBPK modelとでは、どちらの予測性がどれほど高いのでしょうか？この検証がしっかりと行われ、dynamic PBPK modelの優位性が立証されるまでは、MSMを使うほうが良いのではないでしょうか？
先入観としては、複雑なモデル（＝高額なモデル？）の方が予測性が良さそうですよね？生体は複雑だから、複雑なモデルが必要だ、と言うのも、なんとなく、説得力がありますよね。
しかし、血中濃度推移の予測に、髪の毛の数は必要でしょうか？
モデルというのは、複雑な現実世界を、目的に応じて単純化した模型（モデル）です。たとえば、地球儀は、地球のモデルであり、国や地域の位置関係を把握するのに役立ちます。地球儀には、机の上のコップの情報は載っていません。不必要にモデルを複雑にする必要はありません。