Record unseen music regressions and actual local reranker fidelity and cost

tools/rerank-eval/compatibility-plan.json

@@ -0,0 +1,38 @@
+{
+  "version": 1,
+  "status": "pre-inference frozen compatibility/cost contract, not relevance calibration",
+  "cpu_provider": "CPUExecutionProvider",
+  "intra_op_threads": 1,
+  "inter_op_threads": 1,
+  "parallel_execution": false,
+  "max_pairs": 5,
+  "max_pair_tokens": 256,
+  "max_query_tokens": 64,
+  "warm_iterations": 20,
+  "parity_absolute_tolerance": 0.001,
+  "parity_relative_tolerance": 0.001,
+  "added_warm_p95_target_ms": 200,
+  "no_suppression": true,
+  "pairs": [
+    [
+      "How do we cancel the supplier partnership?",
+      "Either party may terminate the supplier contract by giving sixty days written notice."
+    ],
+    [
+      "Wie beenden wir die Zusammenarbeit mit dem Lieferanten?",
+      "Jede Partei kann die Zusammenarbeit mit dem Lieferanten mit einer Frist von sechzig Tagen kündigen."
+    ],
+    [
+      "How do we cancel the supplier partnership?",
+      "Tomatoes require sunshine and consistent watering."
+    ],
+    [
+      "Wie beenden wir die Zusammenarbeit mit dem Lieferanten?",
+      "Der Garten benötigt Sonnenlicht und regelmäßige Bewässerung."
+    ],
+    [
+      "Where does the code implement retry backoff?",
+      "fn retry_delay(attempt: u32) -> u64 { 100 * (1 << attempt.min(6)) }"
+    ]
+  ]
+}