Assignment Tree Attention / results.json

Mechanism confirmed, baseline not beaten

Raw ⬇ ZIP
 1{
 2  "seed": 1234,
 3  "shape": [
 4    16,
 5    15
 6  ],
 7  "tau": 1.7,
 8  "prediction_1_rmse_slope_predicted": -0.5,
 9  "prediction_1_rmse_slope_observed": -0.5128401861442223,
10  "prediction_1_rmse": {
11    "4": 0.08894980287366022,
12    "8": 0.06475713090794837,
13    "16": 0.04525815738781359,
14    "32": 0.032189292490169705,
15    "64": 0.023434716633416237,
16    "128": 0.01619140822689972,
17    "256": 0.010684269862530049,
18    "512": 0.007354503964662157
19  },
20  "prediction_2_union_edges": [
21    {
22      "K": 4,
23      "observed": 32.56666666666667,
24      "predicted": 32.83327922652816
25    },
26    {
27      "K": 8,
28      "observed": 43.36666666666667,
29      "predicted": 43.62207711183069
30    },
31    {
32      "K": 16,
33      "observed": 55.233333333333334,
34      "predicted": 54.6143874351763
35    },
36    {
37      "K": 32,
38      "observed": 64.4,
39      "predicted": 64.68275297985329
40    },
41    {
42      "K": 64,
43      "observed": 72.26666666666667,
44      "predicted": 73.65438141267629
45    },
46    {
47      "K": 128,
48      "observed": 82.56666666666666,
49      "predicted": 82.4587804560984
50    },
51    {
52      "K": 256,
53      "observed": 92.26666666666667,
54      "predicted": 91.42747909567211
55    },
56    {
57      "K": 512,
58      "observed": 100.53333333333333,
59      "predicted": 100.24093144499415
60    }
61  ],
62  "prediction_3_frequency_corr_alpha0": 0.6709399643766387,
63  "prediction_3_frequency_corr_alpha1": 0.783399394559388,
64  "transport_max_row_marginal_error": 0.021484375,
65  "transport_max_key_marginal_error": 0.004166666666666666,
66  "tree_edges_expected": 30,
67  "tree_edges_observed": 30,
68  "dense_retrieval_mse": 0.584946282654475,
69  "tree_sparse_retrieval_mse": 0.4657710727605391,
70  "tree_edges_K16_mean": 30.0,
71  "raw_union_edges_K16_mean": 55.233333333333334
72}