Assignment Tree Attention / results.json
Mechanism confirmed, baseline not beaten
1{
2 "seed": 1234,
3 "shape": [
4 16,
5 15
6 ],
7 "tau": 1.7,
8 "prediction_1_rmse_slope_predicted": -0.5,
9 "prediction_1_rmse_slope_observed": -0.5128401861442223,
10 "prediction_1_rmse": {
11 "4": 0.08894980287366022,
12 "8": 0.06475713090794837,
13 "16": 0.04525815738781359,
14 "32": 0.032189292490169705,
15 "64": 0.023434716633416237,
16 "128": 0.01619140822689972,
17 "256": 0.010684269862530049,
18 "512": 0.007354503964662157
19 },
20 "prediction_2_union_edges": [
21 {
22 "K": 4,
23 "observed": 32.56666666666667,
24 "predicted": 32.83327922652816
25 },
26 {
27 "K": 8,
28 "observed": 43.36666666666667,
29 "predicted": 43.62207711183069
30 },
31 {
32 "K": 16,
33 "observed": 55.233333333333334,
34 "predicted": 54.6143874351763
35 },
36 {
37 "K": 32,
38 "observed": 64.4,
39 "predicted": 64.68275297985329
40 },
41 {
42 "K": 64,
43 "observed": 72.26666666666667,
44 "predicted": 73.65438141267629
45 },
46 {
47 "K": 128,
48 "observed": 82.56666666666666,
49 "predicted": 82.4587804560984
50 },
51 {
52 "K": 256,
53 "observed": 92.26666666666667,
54 "predicted": 91.42747909567211
55 },
56 {
57 "K": 512,
58 "observed": 100.53333333333333,
59 "predicted": 100.24093144499415
60 }
61 ],
62 "prediction_3_frequency_corr_alpha0": 0.6709399643766387,
63 "prediction_3_frequency_corr_alpha1": 0.783399394559388,
64 "transport_max_row_marginal_error": 0.021484375,
65 "transport_max_key_marginal_error": 0.004166666666666666,
66 "tree_edges_expected": 30,
67 "tree_edges_observed": 30,
68 "dense_retrieval_mse": 0.584946282654475,
69 "tree_sparse_retrieval_mse": 0.4657710727605391,
70 "tree_edges_K16_mean": 30.0,
71 "raw_union_edges_K16_mean": 55.233333333333334
72}