Add a technical report on how local models answer uncertain questions (Japanese)

2026-10-08 18:47:26 +09:00
parent 172dccad92
commit 6422d27eb5
9 changed files with 14274 additions and 0 deletions
@@ -0,0 +1,358 @@
+# 汎用のローカルモデルは、不確かな問いにどう答えるか：`jev.*` の挙動と聞き方の指針
+
+技術報告（2026年10月）
+
+## 要約
+
+`MultiOutputScript (Jev)` は、TypeSafe の Jev の代わりに、ローカルの GGUF モデルで判断を行える。この報告は、答えのわからない問いに対して、Jev、Clef-Flash、汎用モデル（Qwen3.5-9B）がどう答えるかを比べ、汎用モデルを使うときの聞き方を調べたものである。
+
+- 答えのわかる問いでは、3つのモデルの答えはほぼ一致した。
+- 答えのわからない問いでは、振る舞いが分かれた。五分五分の問いに `jev.noul` で「真ですか？」と聞くと、平均は Jev が 0.44、Clef-Flash が 0.31、Qwen3.5-9B が 0.06 だった。
+- Qwen3.5-9B の低い値は、「起こる確率が低い」ではなく「真だとは言えない」を表している。確率が 0.92 の主張にも 0.02 と答えた。
+- 主張とその否定形の両方に聞き、2つの答えをまとめると、Qwen3.5-9B でも五分五分の問いが 0.51 になった。
+- 確率の段階を選ばせる（`jev.score`）と、確率の高さがある程度取り出せた。結果は、段階の作り方と並び順に左右された。
+- 「偽ですか？」と質問を反対向きにする方法は、否定形の代わりにならなかった。
+
+31組62文の小さな試験であり、段階で聞く方法は Qwen3.5-9B の1つの量子化でしか試していない。わかるのは傾向である。
+
+## 1. 目的
+
+判断モデルの出力は、しきい値で区切って分岐に使うことが多い（`jev.yes(state, question, 0.5)` など）。このとき、判断材料が足りない入力が混ざると、モデルが「わからない」をどの値で表すかによって、分岐の結果が変わる。
+
+この報告の目的は、次の2点を確かめることである。
+
+1. 汎用のローカルモデルは、不確かな問いに対して、Jev とどう違う答え方をするか。
+2. その違いを、スクリプトの書き方（聞き方）でどこまで埋められるか。
+
+確率で答えるモデルに期待する性質として、次の2つを基準にした。
+
+- **基準1**：対になる主張の確率を足すと、1 になる。
+- **基準2**：五分五分の問いには、0.5 と答える。
+
+## 2. 方法
+
+### 2.1 モデル
+
+| モデル | 種類 | 答えの出し方 |
+| --- | --- | --- |
+| Jev | TypeSafe の判断モデル（API） | API が確率を返す |
+| Clef-Flash | Qwen3.5-9B を判断用に追加学習したモデル（`ggml-org/Clef-Flash-GGUF`、Q8_0） | 判断専用の層が出す値を確率に直す |
+| Qwen3.5-9B | 汎用の LLM（`unsloth/Qwen3.5-9B-GGUF`、Q8_0） | 選択肢の記号が次に出る確率を読む |
+
+汎用モデルでは、選択肢に記号を付けて示し（`jev.noul` なら A：Yes、B：No）、記号1文字だけで答えるよう指示する。文章は生成させず、次のトークンとして各記号が出る確率を読み、記号どうしの合計が 1 になるように直す。この方式は SemIf (OpenJev) と同じである。サンプリングをしないので、乱数のシードや温度の設定はない。較正はしていない。
+
+指示文は次のとおりである。主張、質問、選択肢は、JSON にまとめて渡す。
+
+```text
+Apply the supplied criterion to the supplied evidence. Choose exactly one listed option. Respond with only its uppercase letter, with no explanation or reasoning.
+```
+
+3つとも、このノードの判定処理（v1.3.3）をそのまま使った。質問は1問ずつ送った。
+
+### 2.2 設問
+
+対になる主張を31組、合計62文用意した。主張と質問は英語である。一覧は [`data/items.json`](data/items.json) にある。
+
+| グループ | 記号 | 組数 | 内容 | 例 |
+| --- | --- | --- | --- | --- |
+| 既知の事実 | K | 6 | 1つめが真、2つめが偽 | Paris is the capital of France. / ... of Germany. |
+| ほぼ確実な未来 | N | 6 | 1つめがほぼ確実に起こる | The sun will rise tomorrow. / ... will not rise tomorrow. |
+| 傾向のある未来 | T | 6 | 1つめが起こりやすいが、確実ではない | The S&P 500 index will be higher one year from now ... / lower ... |
+| 五分五分の問い | U | 8 | どちらも約50% | The next coin I flip will land heads. / ... tails. |
+| 確率のわかっている問い | P | 5 | 正しい確率が計算でわかる | The next roll of a fair six-sided die will show a 1.（1/6） / ... a number other than 1.（5/6） |
+
+K、N、T、U の26組は、3つのモデルすべてに聞いた。P の5組は、あとから Qwen3.5-9B だけに聞いた。
+
+### 2.3 質問
+
+| 記号 | 関数 | 質問 | 選択肢 |
+| --- | --- | --- | --- |
+| Q1 | `jev.noul` | Is this statement true? | Yes / No |
+| Q2 | `jev.noul` | Is this statement more likely to be true than false? | Yes / No |
+| F1 | `jev.noul` | Is this statement false? | Yes / No |
+| S6 | `jev.score` | How likely is this statement to be true? | 0-10%、10-30%、30-50%、50-70%、70-90%、90-100% |
+| S11 | `jev.score` | How likely is this statement to be true? | 0%、10%、…、100% |
+| F6 | `jev.score` | How likely is this statement to be false? | S6 と同じ6段階 |
+
+Q1 と Q2 は3つのモデルに聞いた。F1、S6、S11、F6 は Qwen3.5-9B だけに聞いた。段階で聞く質問は、選択肢を低い順に並べた場合と、高い順に並べた場合の両方で聞いた。
+
+対照として、Qwen3.5-9B に確率を数字で書かせた（20文）。指示は「What is the probability that the following statement is true? Answer with a single number from 0 to 100 (percent) and nothing else.」で、最も確率の高いトークンを順に選んで生成した。
+
+### 2.4 指標
+
+- **対の合計**：対の2つの主張への値の合計（基準1）。
+- **0.5 からのずれ**：五分五分の問い16文での、値と 0.5 の差の絶対値の平均（基準2）。
+- **誤差の平均**：確率のわかっている問い10文での、値と正しい確率の差の絶対値の平均。
+- **順位相関**：同じ10文での、値と正しい確率のスピアマンの順位相関。
+- **まとめた値**：（主張への値 ＋ 1 − 否定形への値）÷ 2。主張と否定形で足すと、必ず 1 になる。
+- **段階からの推定値**：各段階の値（S6 と F6 は段階の中央の 0.05、0.20、0.40、0.60、0.80、0.95、S11 はその点）を、モデルが各段階に付けた確率で重み付けした値。
+
+まとめた値は、新しく測ったものではなく、測定済みの値から計算したものである。
+
+## 3. 結果
+
+### 3.1 3つのモデルの比較（Q1）
+
+値は Yes の確率の平均で、左が対の1つめ、右が2つめの主張である。
+
+| グループ | Jev | Clef-Flash | Qwen3.5-9B |
+| --- | --- | --- | --- |
+| 既知の事実 | 0.92 / 0.03 | 0.95 / 0.02 | 0.99 / 0.01 |
+| ほぼ確実な未来 | 0.88 / 0.07 | 0.86 / 0.11 | 0.85 / 0.13 |
+| 傾向のある未来 | 0.58 / 0.37 | 0.62 / 0.36 | 0.07 / 0.08 |
+| 五分五分の問い | 0.44 / 0.44 | 0.36 / 0.26 | 0.07 / 0.04 |
+
+| 指標 | Jev | Clef-Flash | Qwen3.5-9B |
+| --- | --- | --- | --- |
+| 対の合計：既知の事実 | 0.95 | 0.97 | 1.00 |
+| 対の合計：ほぼ確実な未来 | 0.95 | 0.96 | 0.98 |
+| 対の合計：傾向のある未来 | 0.95 | 0.98 | 0.15 |
+| 対の合計：五分五分の問い | 0.88 | 0.62 | 0.11 |
+| 0.5 からのずれ（五分五分の問い） | 0.06 | 0.22 | 0.44 |
+
+- 既知の事実は、3つとも12文すべてに正しい側の値を返した。
+- Jev は、五分五分の問い16文すべてに 0.34〜0.51 を返した。
+- Qwen3.5-9B は、不確かな主張のほぼすべてに No と答えた。未来のことをすべて No とするわけではなく、「明日、太陽は昇る」には 0.99 を返している。
+- Clef-Flash は、傾向のある未来では対の合計が 0.98 で、調整前の Qwen3.5-9B（0.15）と大きく違う。コインやサイコロのような問いでは 0.62 にとどまった（コイン投げは 0.16 / 0.10）。
+
+Clef-Flash と Qwen3.5-9B では、答えの出し方も違う。2つの差が、重みの調整によるものか、答えの出し方によるものかは、この試験では分けられない。
+
+Clef-Flash は、傾向のある未来で片方をはっきり選んだ（S&P 500 は 0.80 / 0.06。Jev は 0.53 / 0.31）。ただし、「来年の今日、東京で雨が降らない / 降る」には 0.09 / 0.81 と、実際の頻度とは逆向きの値を返し、「次の米大統領は就任時に50歳より上 / 下」には 0.81 / 0.71 と、両方に Yes と答えた。
+
+### 3.2 Qwen3.5-9B の No は、何を表しているか
+
+**記号以外のトークンに確率が流れているわけではない。** 語彙全体の確率のうち、A と B が占める割合（SemIf の `allowed_token_mass`）を、62文 × Q1・Q2 の124問で記録した。
+
+| | 最小 | 中央 | 最大 |
+| --- | --- | --- | --- |
+| A と B が占める割合 | 0.9971 | 0.9992 | 0.9999 |
+
+A・B 以外で最も確率が高かったトークンは「C」で、最大でも 0.15% だった。断りや説明の書き出しにあたるトークンは、上位10個に現れなかった。モデルは、B（No）をはっきり選んでいる。
+
+**「わからない」と「ほぼ確実に起こらない」が、同じ値になる。** A と B のロジットの差（正なら Yes 寄り）の平均は、次のとおりである。
+
+| 主張の種類 | ロジットの差 | 確率に直すと |
+| --- | --- | --- |
+| 真の事実 | ＋5.6 | 約 1.00 |
+| ほぼ確実に起こる未来 | ＋2.9 | 約 0.95 |
+| 傾向のある未来 | −3.0 | 約 0.05 |
+| 五分五分の問い | −3.3 | 約 0.04 |
+| ほぼ確実に起こらない未来 | −3.3 | 約 0.04 |
+| 偽の事実 | −6.2 | 約 0.002 |
+
+**値は、確率の高さの順に並ばない。** 確率のわかっている問いへの Q1 の答えは、次のとおりである。10文での順位相関は −0.38 だった。
+
+| 主張 | 正しい確率 | Q1 の値 |
+| --- | --- | --- |
+| トランプでエースを引く | 0.08 | 0.03 |
+| サイコロで1が出る | 0.17 | 0.02 |
+| トランプでハートを引く | 0.25 | 0.03 |
+| サイコロで3〜6が出る | 0.67 | 0.35 |
+| トランプでハート以外を引く | 0.75 | 0.02 |
+| サイコロで1以外が出る | 0.83 | 0.01 |
+| トランプでエース以外を引く | 0.92 | 0.02 |
+
+Qwen3.5-9B は、「真ですか？」に対して、「確実に真だと言えるか」という基準で答えていると考えられる。出てくる値は、出来事の確率ではなく、No という答えへの自信である。値の中に確率の高さの情報がないので、Q1 の値を後から直して確率にすること（較正）は難しい。
+
+### 3.3 質問文を変える（Q2）
+
+質問を「偽であるより真である可能性のほうが高いですか？」に変えると、次のようになった。
+
+- Jev と Clef-Flash は、Q1 とほぼ同じ傾向だった。
+- Qwen3.5-9B は、「すべて No」ではなくなった。確率のわかっている問いでは、10文中8文で正しい側（0.5 より上か下か）を選んだ。
+- ただし、Qwen3.5-9B の値は 0 か 1 に近く、確率の程度を表さない。五分五分の問いは、問いごとに Yes か No のどちらかに振れた（0.02〜0.99、0.5 からのずれは 0.36）。
+
+汎用モデルの答えは、質問の言い回しに強く左右される。
+
+### 3.4 主張と否定形の両方に聞く
+
+Qwen3.5-9B は、Q1 で「ほぼ確実に起こる」には Yes、「わからない」には No と答える。区別できないのは、「わからない」と「ほぼ確実に起こらない」である。後者の否定形は「ほぼ確実に起こる」なので、否定形にも聞けば区別できる。
+
+| 主張の種類 | 主張への答え | 否定形への答え |
+| --- | --- | --- |
+| ほぼ確実に起こる | Yes | No |
+| ほぼ確実に起こらない | No | Yes |
+| わからない | No | No |
+
+設問は対で作ってあるので、対の相手を否定形とみなして、まとめた値を計算した（Q1）。かっこ内は、主張だけを聞いたときの値である。
+
+| グループ | Jev | Clef-Flash | Qwen3.5-9B |
+| --- | --- | --- | --- |
+| 既知の事実 | 0.95（0.92） | 0.96（0.95） | 0.99（0.99） |
+| ほぼ確実な未来 | 0.90（0.88） | 0.88（0.86） | 0.86（0.85） |
+| 傾向のある未来 | 0.60（0.58） | 0.63（0.62） | 0.49（0.07） |
+| 五分五分の問い | 0.50（0.44） | 0.55（0.36） | 0.51（0.07） |
+
+| 0.5 からのずれ（五分五分の問い） | Jev | Clef-Flash | Qwen3.5-9B |
+| --- | --- | --- | --- |
+| 主張だけ | 0.06 | 0.22 | 0.44 |
+| 否定形と合わせる | 0.006 | 0.053 | 0.015 |
+
+Qwen3.5-9B について、2つの答えを 0.5 で区切って「真 / 偽 / わからない」に分けると、31組中29組が期待どおりになった。
+
+- 既知の事実と、ほぼ確実な未来（12組）：10組が「真」。
+- 傾向のある未来、五分五分の問い、確率のわかっている問い（19組）：19組すべてが「わからない」。
+
+外れた2組は、「来年1月に札幌で雪が降る / 降らない」（両方に No）と、「皆既日食が5年以内に起こる / 起こらない」（両方に Yes）である。両方に Yes という答えは、その答えが信頼できないことの目印になる。
+
+この方法では、確率の程度は取り出せない。確率が 0.08 の主張も 0.92 の主張も、まとめた値は 0.5 付近になる（確率のわかっている問いでの誤差の平均は 0.244、順位相関は −0.12）。
+
+### 3.5 確率の段階を選ばせる
+
+以下は、Qwen3.5-9B だけの結果である。
+
+**対照：数字で書かせると、ほぼ正確である。** 確率のわかっている10文での誤差の平均は 0.003 だった（たとえば、正しい確率 7.7% に「9」、16.7% に「16.67」、92.3% に「92」）。コイン投げには「50」と答えた。モデルは確率の知識を持っている。Q1 で確率の高さが出ないのは、聞き方による。
+
+**段階で聞くと、確率の高さがある程度出る。** 確率のわかっている10文での結果は、次のとおりである。
+
+| 聞き方 | 順位相関 | 誤差の平均 |
+| --- | --- | --- |
+| Q1（Yes / No） | −0.38 | — |
+| S6、低い順 | ＋0.88 | 0.095 |
+| S6、高い順 | ＋0.76 | 0.208 |
+| S11、低い順 | ＋0.77 | 0.202 |
+| S11、高い順 | ＋0.80 | 0.203 |
+| 数字で書かせる | ＋1.00 | 0.003 |
+
+**6段階の幅（S6）と11段階の点（S11）は、得意な点が違う。**
+
+| 指標 | S6 | S11 |
+| --- | --- | --- |
+| 0.5 からのずれ（五分五分の問い、低い順 / 高い順） | 0.118 / 0.140 | 0.027 / 0.029 |
+| 並び順による推定値の差（62文の平均） | 0.087 | 0.042 |
+| 対の合計：既知の事実（並び順2通りの平均） | 1.07 | 1.03 |
+| 対の合計：ほぼ確実な未来（同上） | 1.14 | 1.04 |
+
+- S6 は、五分五分の問いが約 0.60 になった。50% が「30-50%」と「50-70%」の境目にあたり、モデルが16文中14文で「50-70%」を選んだためである。これは、段階の区切り方の問題である。
+- S6 は、並び順に強く左右された。「ハート以外を引く」（正しくは 0.75）は、低い順で 0.75、高い順で 0.24 だった。
+- S11 は、五分五分の問い16文中14文が 0.50 になり、対の合計も 1 に近い。主張だけを聞いても、基準1と基準2をほぼ満たす。
+- S11 は、確率の程度がほとんど出ない。モデルが、確実でない主張のほとんどに「50%」を選ぶためである。確率が 0.25 の「ハートを引く」にも、0.75 の「ハート以外を引く」にも、「50%」を選んだ。
+
+「50%」という選択肢があると、五分五分の問いには正しく答えられるが、確実でない問いがそこに集まる。S11 は、「真 / 偽 / わからない」の3つに分ける方法に近い働きをする。
+
+**6段階の幅を、主張と否定形の両方に聞くと、両方に対応できる。**
+
+| 聞き方（S6） | 0.5 からのずれ | 誤差の平均 | 順位相関 |
+| --- | --- | --- | --- |
+| 低い順、主張だけ | 0.118 | 0.095 | ＋0.88 |
+| 低い順、否定形と合わせる | 0.027 | 0.069 | ＋0.90 |
+| 高い順、否定形と合わせる | 0.034 | 0.148 | ＋0.92 |
+
+五分五分の問いのずれは、主張にも否定形にも同じ向きに出るので、まとめると打ち消し合う。段階は低い順に並べるほうがよい。
+
+| 主張 | 正しい確率 | 主張だけ | 否定形と合わせる |
+| --- | --- | --- | --- |
+| トランプでエースを引く | 0.08 | 0.06 | 0.13 |
+| サイコロで1が出る | 0.17 | 0.05 | 0.19 |
+| トランプでハートを引く | 0.25 | 0.32 | 0.29 |
+| コイン2回とも表 | 0.25 | 0.06 | 0.12 |
+| サイコロで1か2が出る | 0.33 | 0.53 | 0.44 |
+
+### 3.6 「偽ですか？」は、否定形の代わりにならない
+
+否定形を書く代わりに、主張はそのままにして、質問を反対向きにする方法（F1、F6）を試した。まとめた値は、「（Q1 の値 ＋ 1 − F1 の値）÷ 2」で計算した。
+
+| グループ | 否定形の主張と合わせる | F1 と合わせる |
+| --- | --- | --- |
+| 既知の事実 | 0.99 | 0.99 |
+| ほぼ確実な未来 | 0.86 | 0.87 |
+| 傾向のある未来 | 0.49 | 0.36 |
+| 五分五分の問い | 0.51 | 0.42 |
+
+| 指標 | 否定形の主張と合わせる | 「偽」の質問と合わせる |
+| --- | --- | --- |
+| 0.5 からのずれ（Yes / No） | 0.015 | 0.109 |
+| 0.5 からのずれ（6段階、低い順） | 0.027 | 0.072 |
+| 誤差の平均（6段階、低い順） | 0.069 | 0.146 |
+
+確実な問いでは差がない。崩れるのは、不確かな問いである。Qwen3.5-9B は、不確かな主張に「真ですか？」と聞くとほぼ必ず No と答えるが、「偽ですか？」には Yes と答えることがあった（「コインは裏が出る」に、Q1 は 0.03、F1 は 0.60）。不確かな主張を「真だ」とは言わないが、「偽だ」とは言いやすい。
+
+否定形の主張が効くのは、同じ質問文で聞くので、質問文による偏りが両方に同じようにかかり、打ち消し合うためと考えられる。
+
+### 3.7 聞き方のまとめ（Qwen3.5-9B）
+
+| 聞き方 | 五分五分を 0.5 に | 確率の程度 | 否定形を書く | 質問の数 |
+| --- | --- | --- | --- | --- |
+| Yes / No、主張だけ | できない | 出ない | 不要 | 1 |
+| Yes / No、否定形と合わせる | できる | 出ない | 必要 | 2 |
+| 11段階の点、主張だけ | できる | ほぼ出ない | 不要 | 1 |
+| 6段階の幅、主張だけ | ずれる（約 0.60） | ある程度出る | 不要 | 1 |
+| 6段階の幅、否定形と合わせる | できる | ある程度出る | 必要 | 2 |
+| 「偽」の質問と合わせる | ずれる | 出ない | 不要 | 2 |
+| 数字で書かせる | できる | 出る | 不要 | 文章の生成が必要 |
+
+## 4. 汎用モデルを使うときの指針
+
+以上から、汎用のローカルモデルで `jev.*` を使うスクリプトについて、次のように言える。
+
+1. **`jev.noul` や `jev.yes` の低い値を、「起こりにくい」と読まない。** 「真だとは言えない」を含む。判断材料が足りない入力は、ほぼ常に No 側に分岐する。
+2. **「真 / 偽 / わからない」がわかればよいなら、11段階の点で1回聞く。**
+3. **Yes / No で聞くなら、主張と否定形の両方に聞く。** 両方が No なら「わからない」、両方が Yes なら「信頼できない答え」として扱う。
+4. **確率の程度も知りたいなら、6段階の幅を低い順に並べ、主張と否定形の両方に聞く。**
+5. **否定形は、主張として書く。** 質問を「偽ですか？」に変える方法は、代わりにならない。
+6. **聞きたいことを、そのまま質問文にする。** 「真か」と「起こりやすいほうか」では、答えが大きく変わる。
+7. **モデルを替えたら、しきい値を見直す。** 同じスクリプトでも、Jev、Clef-Flash、汎用モデルで、不確かな入力の分岐が変わる。
+
+主張と否定形の両方に聞く例：
+
+```python
+# it1: 主張、it2: その否定形
+a = jev.noul(it1, "Is this statement true?")
+b = jev.noul(it2, "Is this statement true?")
+ov1 = (a + 1 - b) / 2
+
+if a < 0.5 and b < 0.5:
+    ot1 = "unsure"
+elif a >= 0.5 and b >= 0.5:
+    ot1 = "contradiction"
+elif a >= 0.5:
+    ot1 = "true"
+else:
+    ot1 = "false"
+```
+
+11段階の点で聞く例。`jev.score` は選ばれた段階の番号の期待値（0〜10）を返すので、10 で割ると 0〜1 の値になる。
+
+```python
+levels = ["0%", "10%", "20%", "30%", "40%", "50%", "60%", "70%", "80%", "90%", "100%"]
+ov1 = jev.score(it1, "How likely is this statement to be true?", levels) / 10
+```
+
+6段階の幅では、段階の中央の値が等間隔でないので、`jev.score` の値を 5 で割っても、3.5 節の推定値とは同じにならない。近似として使う場合は、その点に注意する。
+
+## 5. 限界
+
+- 31組62文の小さな試験である。確率のわかっている問いは5組10文だけで、聞き方の比較はこの少ない問いにもとづく。
+- モデルの優劣を評価したものではない。未来の問いには正解がなく、予測の正しさは測っていない。
+- 否定形と合わせる方法は、このデータを見て思いついたもので、同じデータで効果を確かめている。別の設問で確かめてはいない。
+- 設問の対は、厳密な否定になっていないものがある（「高い」と「低い」など）。否定形の作り方で、結果は変わりうる。
+- 段階で聞く方法（S6、S11）、否定形と合わせる方法の段階での効果、「偽」の質問（F1、F6）は、Qwen3.5-9B でしか試していない。Jev と Clef-Flash には聞いていない。
+- 段階の作り方は、2通りしか試していない。
+- 汎用モデルは Qwen3.5-9B の Q8_0 だけである。別のモデル、別の量子化、別の判定方式では、違う結果になりうる。
+- 汎用モデルの値は、較正をしていない。SemIf (OpenJev) は、用途ごとに較正して使うよう勧めている。
+- どの質問も1回ずつの測定である。ローカルのモデルの値は、サンプリングをしないので、同じ条件なら変わらない。Jev は、同じ質問でも値が少し変わる。五分五分の問い16文を Q1 で3回聞いたところ、値の幅は最大で 0.04 だった。
+- 主張と質問は英語である。ほかの言語では試していない。
+
+## 6. データ
+
+[`data/`](data/) に、設問と結果を置いている。主張の ID は、対の記号に `a`（1つめ）か `b`（2つめ）を付けたものである（例：`U1a`）。
+
+| ファイル | 内容 |
+| --- | --- |
+| `items.json` | 設問（`pairs`）、質問文（`questions`）、グループの説明（`groups`）、確率のわかっている問いの正しい確率（`probabilities`） |
+| `results_jev.json` | Jev。Q1・Q2 の `p_yes`。五分五分の問いの Q1 は、`run` 1〜3 の3回分 |
+| `results_clef_flash.json` | Clef-Flash。Q1・Q2 の `p_yes` |
+| `results_qwen35.json` | Qwen3.5-9B。Q1・Q2 の `p_yes`（26組） |
+| `results_qwen35_mass.json` | Qwen3.5-9B。Q1・Q2（31組）の `p_yes`、A と B のロジット、`allowed_token_mass`、確率の高い上位10トークン |
+| `results_qwen35_score.json` | Qwen3.5-9B。S6 の段階ごとの確率（`score`）と、数字で書かせた対照の答え（`text`） |
+| `results_qwen35_score11.json` | Qwen3.5-9B。S11 の段階ごとの確率 |
+| `results_qwen35_false.json` | Qwen3.5-9B。F1 の `p_yes`（`noul`）と、F6 の段階ごとの確率（`score`） |
+
+段階ごとの確率（`p`）は、選択肢をどちらの順で示した場合も、低い段階から順に並べて保存している。`order` は、示した順である。
+
+## 7. 測定の条件
+
+- 実施日：2026年10月5日（3つのモデルの比較）、10月6日〜8日（Qwen3.5-9B の追加の測定）
+- ノード：ComfyUI-ScriptFlow v1.3.3
+- Jev：TypeSafe API（typesafe-sdk 0.7.1）。API が返すモデル名は、2026年10月8日に確認した時点で `jev-1.13.0` だった。測定時（10月5日）のモデル名は記録していない。
+- ローカルのモデルの実行：llama-cpp-python 0.4.2（SYCL ビルド）、Windows 11
@@ -0,0 +1,182 @@
+{
+ "questions": {
+  "Q1": "Is this statement true?",
+  "Q2": "Is this statement more likely to be true than false?"
+ },
+ "groups": {
+  "U": "Unknowable, symmetric: each statement of a pair should be about 50%",
+  "T": "Future with a tendency: one statement of a pair is more likely, but not certain",
+  "N": "Future, near-certain: the first statement of a pair is almost sure",
+  "K": "Known facts (control): the first statement of a pair is true, the second false",
+  "P": "Known probability: the statement has an exact probability, listed under probabilities"
+ },
+ "pairs": [
+  [
+   "U1",
+   "The next coin I flip will land heads.",
+   "The next coin I flip will land tails."
+  ],
+  [
+   "U2",
+   "The next roll of a fair six-sided die will show an even number.",
+   "The next roll of a fair six-sided die will show an odd number."
+  ],
+  [
+   "U3",
+   "The next card I draw from a well-shuffled standard deck will be red.",
+   "The next card I draw from a well-shuffled standard deck will be black."
+  ],
+  [
+   "U4",
+   "A fair spinner with two equal halves labelled A and B will land on A on its next spin.",
+   "A fair spinner with two equal halves labelled A and B will land on B on its next spin."
+  ],
+  [
+   "U5",
+   "The last digit of the next winning lottery number will be even.",
+   "The last digit of the next winning lottery number will be odd."
+  ],
+  [
+   "U6",
+   "A person chosen at random from the world's population was born in the first half of the year.",
+   "A person chosen at random from the world's population was born in the second half of the year."
+  ],
+  [
+   "U7",
+   "The number of grains of sand on the nearest beach is even.",
+   "The number of grains of sand on the nearest beach is odd."
+  ],
+  [
+   "U8",
+   "The next ball drawn from a bag holding five white and five black balls will be white.",
+   "The next ball drawn from a bag holding five white and five black balls will be black."
+  ],
+  [
+   "T1",
+   "The S&P 500 index will be higher one year from now than it is today.",
+   "The S&P 500 index will be lower one year from now than it is today."
+  ],
+  [
+   "T2",
+   "The price of Bitcoin will be higher one year from now than it is today.",
+   "The price of Bitcoin will be lower one year from now than it is today."
+  ],
+  [
+   "T3",
+   "It will not rain in Tokyo on this day next year.",
+   "It will rain in Tokyo on this day next year."
+  ],
+  [
+   "T4",
+   "The next FIFA World Cup will be won by a European team.",
+   "The next FIFA World Cup will be won by a team from outside Europe."
+  ],
+  [
+   "T5",
+   "The men's 100 metres world record will not be broken within the next year.",
+   "The men's 100 metres world record will be broken within the next year."
+  ],
+  [
+   "T6",
+   "The next person elected president of the United States will be older than 50 when taking office.",
+   "The next person elected president of the United States will be younger than 50 when taking office."
+  ],
+  [
+   "N1",
+   "The sun will rise tomorrow.",
+   "The sun will not rise tomorrow."
+  ],
+  [
+   "N2",
+   "The world's population will be larger one year from now than it is today.",
+   "The world's population will be smaller one year from now than it is today."
+  ],
+  [
+   "N3",
+   "An earthquake of magnitude 6 or greater will occur somewhere in the world during the next year.",
+   "No earthquake of magnitude 6 or greater will occur anywhere in the world during the next year."
+  ],
+  [
+   "N4",
+   "It will snow in Sapporo at some point next January.",
+   "It will not snow in Sapporo at any point next January."
+  ],
+  [
+   "N5",
+   "Next year will have 365 or 366 days.",
+   "Next year will have 400 days."
+  ],
+  [
+   "N6",
+   "The next total solar eclipse visible from Earth will occur within the next five years.",
+   "No total solar eclipse will be visible from Earth during the next five years."
+  ],
+  [
+   "K1",
+   "Paris is the capital of France.",
+   "Paris is the capital of Germany."
+  ],
+  [
+   "K2",
+   "Water boils at 100 degrees Celsius at sea level.",
+   "Water boils at 50 degrees Celsius at sea level."
+  ],
+  [
+   "K3",
+   "In April 1986, a reactor at the Chernobyl nuclear power plant exploded, and people were killed.",
+   "No one was killed in the accident at the Chernobyl nuclear power plant in April 1986."
+  ],
+  [
+   "K4",
+   "The potato blight of the 1840s led to a famine in Ireland in which about one million people died.",
+   "No famine occurred in Ireland during the 1840s."
+  ],
+  [
+   "K5",
+   "A 1964 report by the US Surgeon General found that smoking causes lung cancer.",
+   "The 1964 report by the US Surgeon General on smoking found no evidence that smoking harms health."
+  ],
+  [
+   "K6",
+   "The Earth orbits the Sun.",
+   "The Sun orbits the Earth."
+  ],
+  [
+   "P1",
+   "The next roll of a fair six-sided die will show a 1.",
+   "The next roll of a fair six-sided die will show a number other than 1."
+  ],
+  [
+   "P2",
+   "The next card I draw from a well-shuffled standard deck will be a heart.",
+   "The next card I draw from a well-shuffled standard deck will not be a heart."
+  ],
+  [
+   "P3",
+   "The next card I draw from a well-shuffled standard deck will be an ace.",
+   "The next card I draw from a well-shuffled standard deck will not be an ace."
+  ],
+  [
+   "P4",
+   "The next roll of a fair six-sided die will show a 1 or a 2.",
+   "The next roll of a fair six-sided die will show a 3, 4, 5, or 6."
+  ],
+  [
+   "P5",
+   "The next two flips of a fair coin will both land heads.",
+   "The next two flips of a fair coin will not both land heads."
+  ]
+ ],
+ "probabilities": {
+  "P1a": 0.1667,
+  "P1b": 0.8333,
+  "P2a": 0.25,
+  "P2b": 0.75,
+  "P3a": 0.0769,
+  "P3b": 0.9231,
+  "P4a": 0.3333,
+  "P4b": 0.6667,
+  "P5a": 0.25,
+  "P5b": 0.75
+ }
+}
@@ -0,0 +1,626 @@
+[
+{
+"id": "U1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.1563546622523346
+},
+{
+"id": "U1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.10298498607890458
+},
+{
+"id": "U2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.27531802064465766
+},
+{
+"id": "U2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.29130223232773783
+},
+{
+"id": "U3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.596886783643548
+},
+{
+"id": "U3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.3328182831349319
+},
+{
+"id": "U4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.4135071008052303
+},
+{
+"id": "U4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.25353891261846645
+},
+{
+"id": "U5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.3597190663096565
+},
+{
+"id": "U5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.3477136050354511
+},
+{
+"id": "U6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.6314669640969492
+},
+{
+"id": "U6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.3741538921045834
+},
+{
+"id": "U7a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.31978838456545733
+},
+{
+"id": "U7b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.2546097220836936
+},
+{
+"id": "U8a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.15263059327321835
+},
+{
+"id": "U8b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.13091564626756208
+},
+{
+"id": "T1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.803736698937114
+},
+{
+"id": "T1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.056274844577240885
+},
+{
+"id": "T2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.3678579990777839
+},
+{
+"id": "T2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.37329297956124446
+},
+{
+"id": "T3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.08927474404407679
+},
+{
+"id": "T3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.8137230093194368
+},
+{
+"id": "T4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.790477390492118
+},
+{
+"id": "T4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.08047192678047338
+},
+{
+"id": "T5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.8520500870846421
+},
+{
+"id": "T5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.13444005790013824
+},
+{
+"id": "T6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.8111855757100763
+},
+{
+"id": "T6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.7050209843722118
+},
+{
+"id": "N1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9356080934390207
+},
+{
+"id": "N1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.032338866863635074
+},
+{
+"id": "N2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9559256289426079
+},
+{
+"id": "N2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.016569419950235302
+},
+{
+"id": "N3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.908919745901481
+},
+{
+"id": "N3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.026298370171733743
+},
+{
+"id": "N4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9392960484183409
+},
+{
+"id": "N4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.02327075306277671
+},
+{
+"id": "N5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9076664209994167
+},
+{
+"id": "N5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.035031695022713166
+},
+{
+"id": "N6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.49885577163170747
+},
+{
+"id": "N6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.5087399222304279
+},
+{
+"id": "K1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9774759389069352
+},
+{
+"id": "K1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.012810059886409647
+},
+{
+"id": "K2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9532845343591053
+},
+{
+"id": "K2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.025426653952945435
+},
+{
+"id": "K3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9683758009733633
+},
+{
+"id": "K3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.034370633898392955
+},
+{
+"id": "K4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.8849612771088546
+},
+{
+"id": "K4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.018067256873252214
+},
+{
+"id": "K5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9283748177780613
+},
+{
+"id": "K5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.031002559742295537
+},
+{
+"id": "K6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9763295039553002
+},
+{
+"id": "K6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.022602225223762408
+},
+{
+"id": "U1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.24064914137892165
+},
+{
+"id": "U1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.1549050607030875
+},
+{
+"id": "U2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.7114077534383975
+},
+{
+"id": "U2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.6654411859926993
+},
+{
+"id": "U3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.6207051703754343
+},
+{
+"id": "U3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.5670477720065128
+},
+{
+"id": "U4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.6319509842446309
+},
+{
+"id": "U4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.6359247882034883
+},
+{
+"id": "U5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.5442487038788544
+},
+{
+"id": "U5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.3274244257434919
+},
+{
+"id": "U6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.728263732364755
+},
+{
+"id": "U6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.4342110118229748
+},
+{
+"id": "U7a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.27081585373424377
+},
+{
+"id": "U7b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.18296151484483048
+},
+{
+"id": "U8a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.47336041183055105
+},
+{
+"id": "U8b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.30528242405046324
+},
+{
+"id": "T1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.8882269104060471
+},
+{
+"id": "T1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.04396967521678573
+},
+{
+"id": "T2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.3013701517706645
+},
+{
+"id": "T2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.32712378007033704
+},
+{
+"id": "T3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.08464050383877865
+},
+{
+"id": "T3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.8699422179938108
+},
+{
+"id": "T4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.8827551196528663
+},
+{
+"id": "T4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.05284938359932525
+},
+{
+"id": "T5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.899715889250761
+},
+{
+"id": "T5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.1015997172090742
+},
+{
+"id": "T6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.8614926406864682
+},
+{
+"id": "T6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.7546528239764947
+},
+{
+"id": "N1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9389274955639704
+},
+{
+"id": "N1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.02653183601637322
+},
+{
+"id": "N2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9424760623004863
+},
+{
+"id": "N2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.022103155252441102
+},
+{
+"id": "N3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.921112184919618
+},
+{
+"id": "N3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.033456409653188746
+},
+{
+"id": "N4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9354006228802139
+},
+{
+"id": "N4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.027246941111788263
+},
+{
+"id": "N5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.8264708812070534
+},
+{
+"id": "N5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.03676608855142873
+},
+{
+"id": "N6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.48855409348700174
+},
+{
+"id": "N6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.5130744566996128
+},
+{
+"id": "K1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9696001534468888
+},
+{
+"id": "K1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.017463957778993393
+},
+{
+"id": "K2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9438410895630032
+},
+{
+"id": "K2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.04037044384111732
+},
+{
+"id": "K3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9591383366948559
+},
+{
+"id": "K3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.0316748786508726
+},
+{
+"id": "K4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.8854235311543147
+},
+{
+"id": "K4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.02242497296914693
+},
+{
+"id": "K5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.941702509009343
+},
+{
+"id": "K5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.026032544145669488
+},
+{
+"id": "K6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9674552732131715
+},
+{
+"id": "K6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.022730758403467992
+}
+]
@@ -0,0 +1,818 @@
+[
+{
+"id": "U1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.46
+},
+{
+"id": "U1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.44
+},
+{
+"id": "U2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.44
+},
+{
+"id": "U2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.45
+},
+{
+"id": "U3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.46
+},
+{
+"id": "U3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.45
+},
+{
+"id": "U4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.34
+},
+{
+"id": "U4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.37
+},
+{
+"id": "U5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.5
+},
+{
+"id": "U5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.51
+},
+{
+"id": "U6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.49
+},
+{
+"id": "U6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.49
+},
+{
+"id": "U7a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.45
+},
+{
+"id": "U7b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.46
+},
+{
+"id": "U8a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.38
+},
+{
+"id": "U8b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.37
+},
+{
+"id": "T1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.53
+},
+{
+"id": "T1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.31
+},
+{
+"id": "T2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.49
+},
+{
+"id": "T2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.39
+},
+{
+"id": "T3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.62
+},
+{
+"id": "T3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.53
+},
+{
+"id": "T4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.49
+},
+{
+"id": "T4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.5
+},
+{
+"id": "T5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.57
+},
+{
+"id": "T5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.31
+},
+{
+"id": "T6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.76
+},
+{
+"id": "T6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.19
+},
+{
+"id": "N1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.91
+},
+{
+"id": "N1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.04
+},
+{
+"id": "N2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.86
+},
+{
+"id": "N2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.09
+},
+{
+"id": "N3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.95
+},
+{
+"id": "N3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.04
+},
+{
+"id": "N4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.89
+},
+{
+"id": "N4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.08
+},
+{
+"id": "N5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.97
+},
+{
+"id": "N5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.06
+},
+{
+"id": "N6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.69
+},
+{
+"id": "N6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.13
+},
+{
+"id": "K1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.98
+},
+{
+"id": "K1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.01
+},
+{
+"id": "K2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.96
+},
+{
+"id": "K2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.01
+},
+{
+"id": "K3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.89
+},
+{
+"id": "K3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.09
+},
+{
+"id": "K4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.87
+},
+{
+"id": "K4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.01
+},
+{
+"id": "K5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.84
+},
+{
+"id": "K5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.03
+},
+{
+"id": "K6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.98
+},
+{
+"id": "K6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.01
+},
+{
+"id": "U1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.32
+},
+{
+"id": "U1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.28
+},
+{
+"id": "U2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.21
+},
+{
+"id": "U2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.26
+},
+{
+"id": "U3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.29
+},
+{
+"id": "U3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.29
+},
+{
+"id": "U4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.31
+},
+{
+"id": "U4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.28
+},
+{
+"id": "U5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.48
+},
+{
+"id": "U5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.49
+},
+{
+"id": "U6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.46
+},
+{
+"id": "U6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.41
+},
+{
+"id": "U7a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.51
+},
+{
+"id": "U7b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.54
+},
+{
+"id": "U8a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.36
+},
+{
+"id": "U8b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.36
+},
+{
+"id": "T1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.57
+},
+{
+"id": "T1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.33
+},
+{
+"id": "T2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.5
+},
+{
+"id": "T2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.4
+},
+{
+"id": "T3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.7
+},
+{
+"id": "T3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.47
+},
+{
+"id": "T4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.52
+},
+{
+"id": "T4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.48
+},
+{
+"id": "T5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.61
+},
+{
+"id": "T5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.32
+},
+{
+"id": "T6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.82
+},
+{
+"id": "T6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.18
+},
+{
+"id": "N1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.97
+},
+{
+"id": "N1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.03
+},
+{
+"id": "N2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.89
+},
+{
+"id": "N2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.09
+},
+{
+"id": "N3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.97
+},
+{
+"id": "N3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.04
+},
+{
+"id": "N4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.96
+},
+{
+"id": "N4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.06
+},
+{
+"id": "N5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.98
+},
+{
+"id": "N5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.07
+},
+{
+"id": "N6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.74
+},
+{
+"id": "N6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.17
+},
+{
+"id": "K1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.99
+},
+{
+"id": "K1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.01
+},
+{
+"id": "K2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.98
+},
+{
+"id": "K2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.02
+},
+{
+"id": "K3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.95
+},
+{
+"id": "K3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.2
+},
+{
+"id": "K4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.88
+},
+{
+"id": "K4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.02
+},
+{
+"id": "K5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.94
+},
+{
+"id": "K5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.03
+},
+{
+"id": "K6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.99
+},
+{
+"id": "K6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.02
+},
+{
+"id": "U1a",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.46
+},
+{
+"id": "U1b",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.43
+},
+{
+"id": "U2a",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.44
+},
+{
+"id": "U2b",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.46
+},
+{
+"id": "U3a",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.46
+},
+{
+"id": "U3b",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.45
+},
+{
+"id": "U4a",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.33
+},
+{
+"id": "U4b",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.36
+},
+{
+"id": "U5a",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.51
+},
+{
+"id": "U5b",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.5
+},
+{
+"id": "U6a",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.47
+},
+{
+"id": "U6b",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.49
+},
+{
+"id": "U7a",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.41
+},
+{
+"id": "U7b",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.46
+},
+{
+"id": "U8a",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.38
+},
+{
+"id": "U8b",
+"q": "Q1",
+"run": 2,
+"p_yes": 0.35
+},
+{
+"id": "U1a",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.47
+},
+{
+"id": "U1b",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.44
+},
+{
+"id": "U2a",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.44
+},
+{
+"id": "U2b",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.44
+},
+{
+"id": "U3a",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.45
+},
+{
+"id": "U3b",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.45
+},
+{
+"id": "U4a",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.34
+},
+{
+"id": "U4b",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.36
+},
+{
+"id": "U5a",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.51
+},
+{
+"id": "U5b",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.5
+},
+{
+"id": "U6a",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.49
+},
+{
+"id": "U6b",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.5
+},
+{
+"id": "U7a",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.45
+},
+{
+"id": "U7b",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.47
+},
+{
+"id": "U8a",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.37
+},
+{
+"id": "U8b",
+"q": "Q1",
+"run": 3,
+"p_yes": 0.36
+}
+]
@@ -0,0 +1,626 @@
+[
+{
+"id": "U1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.04293589372706846
+},
+{
+"id": "U1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.029438944319826802
+},
+{
+"id": "U2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.012875717935652332
+},
+{
+"id": "U2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.015392259115030355
+},
+{
+"id": "U3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.04062919162805074
+},
+{
+"id": "U3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.02698182131824937
+},
+{
+"id": "U4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.00848915157377681
+},
+{
+"id": "U4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.017836672013940468
+},
+{
+"id": "U5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.0243622668628212
+},
+{
+"id": "U5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.024844143004769465
+},
+{
+"id": "U6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.28326839905182954
+},
+{
+"id": "U6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.10557380048752749
+},
+{
+"id": "U7a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.10408252745000653
+},
+{
+"id": "U7b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.11869719610087492
+},
+{
+"id": "U8a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.015351063883996655
+},
+{
+"id": "U8b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.016817785729793713
+},
+{
+"id": "T1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.022057347437745733
+},
+{
+"id": "T1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.021683283520289053
+},
+{
+"id": "T2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.025373198109493362
+},
+{
+"id": "T2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.027161821769643532
+},
+{
+"id": "T3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.03047279286820563
+},
+{
+"id": "T3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.035284298468013904
+},
+{
+"id": "T4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.08476684431458896
+},
+{
+"id": "T4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.343042922540492
+},
+{
+"id": "T5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.12621128760152997
+},
+{
+"id": "T5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.021762038393210035
+},
+{
+"id": "T6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.10113807328739997
+},
+{
+"id": "T6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.049815864450550015
+},
+{
+"id": "N1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9923621500632038
+},
+{
+"id": "N1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.015732907919588063
+},
+{
+"id": "N2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9824827957993699
+},
+{
+"id": "N2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.0075136385868251965
+},
+{
+"id": "N3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.868971045455636
+},
+{
+"id": "N3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.0381296967843491
+},
+{
+"id": "N4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.30421726759545153
+},
+{
+"id": "N4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.04969070102240233
+},
+{
+"id": "N5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9886396837495554
+},
+{
+"id": "N5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.004316507429744988
+},
+{
+"id": "N6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9430432488085654
+},
+{
+"id": "N6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.6918752290584557
+},
+{
+"id": "K1a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9983674985865608
+},
+{
+"id": "K1b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.001096284565803176
+},
+{
+"id": "K2a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9968625419382113
+},
+{
+"id": "K2b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.0007492928963817307
+},
+{
+"id": "K3a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9973426193681626
+},
+{
+"id": "K3b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.00564343885975838
+},
+{
+"id": "K4a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9799021310424756
+},
+{
+"id": "K4b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.0005369441215446696
+},
+{
+"id": "K5a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9905241203741747
+},
+{
+"id": "K5b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.021604404187287096
+},
+{
+"id": "K6a",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.9987152563331709
+},
+{
+"id": "K6b",
+"q": "Q1",
+"run": 1,
+"p_yes": 0.0010153053389281193
+},
+{
+"id": "U1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.036065371680301876
+},
+{
+"id": "U1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.016015495356012023
+},
+{
+"id": "U2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9928237567830527
+},
+{
+"id": "U2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9819637611648699
+},
+{
+"id": "U3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9911519256833594
+},
+{
+"id": "U3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9896628364737204
+},
+{
+"id": "U4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.07382253819152373
+},
+{
+"id": "U4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.1958787322666148
+},
+{
+"id": "U5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.8139829254666326
+},
+{
+"id": "U5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.31925609067679434
+},
+{
+"id": "U6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.5005578992435681
+},
+{
+"id": "U6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.17424720135095165
+},
+{
+"id": "U7a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.2632437468400511
+},
+{
+"id": "U7b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.2088569763616402
+},
+{
+"id": "U8a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9238114271132076
+},
+{
+"id": "U8b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.8458922188739306
+},
+{
+"id": "T1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.06844525246176938
+},
+{
+"id": "T1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.03048891340927842
+},
+{
+"id": "T2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.06271505803458369
+},
+{
+"id": "T2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.10705744486969046
+},
+{
+"id": "T3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.10345688735641251
+},
+{
+"id": "T3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.09088666758694891
+},
+{
+"id": "T4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.5041784267436615
+},
+{
+"id": "T4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.5448751840860677
+},
+{
+"id": "T5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.8486552233735357
+},
+{
+"id": "T5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.03331734516287631
+},
+{
+"id": "T6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.5903050903416717
+},
+{
+"id": "T6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.06163418042691574
+},
+{
+"id": "N1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9952257610652505
+},
+{
+"id": "N1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.003253875244862294
+},
+{
+"id": "N2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9945098325502285
+},
+{
+"id": "N2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.01492617814078072
+},
+{
+"id": "N3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9879770039907161
+},
+{
+"id": "N3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.03849597359112111
+},
+{
+"id": "N4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9700146589847463
+},
+{
+"id": "N4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.2949851143799287
+},
+{
+"id": "N5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9854057133971014
+},
+{
+"id": "N5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.004827952746193422
+},
+{
+"id": "N6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9450633776994529
+},
+{
+"id": "N6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.8507882764263268
+},
+{
+"id": "K1a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9987219591117057
+},
+{
+"id": "K1b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.0018607377876475697
+},
+{
+"id": "K2a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9986368018314127
+},
+{
+"id": "K2b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.0021420849777845407
+},
+{
+"id": "K3a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9983703033039442
+},
+{
+"id": "K3b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.026889236926969314
+},
+{
+"id": "K4a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9958700895758017
+},
+{
+"id": "K4b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.0007353601143941215
+},
+{
+"id": "K5a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9974361652933591
+},
+{
+"id": "K5b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.046099363839834075
+},
+{
+"id": "K6a",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.9990418145507582
+},
+{
+"id": "K6b",
+"q": "Q2",
+"run": 1,
+"p_yes": 0.0009381008392334215
+}
+]