Two-sided conditioned DFA / results.json
Failed on benchmark
1{
2 "checks": {
3 "factorization_abs_err": 1.2212453270876722e-15,
4 "anisotropy_sweep": [
5 {
6 "lambda": 0.0,
7 "observed_ratio": 1000.0,
8 "predicted_ratio": 1000.0,
9 "raw_ratio": 1000.0
10 },
11 {
12 "lambda": 0.001,
13 "observed_ratio": 826.6115785123967,
14 "predicted_ratio": 826.6115785123967,
15 "raw_ratio": 1000.0
16 },
17 {
18 "lambda": 0.01,
19 "observed_ratio": 250.50024999999997,
20 "predicted_ratio": 250.50024999999997,
21 "raw_ratio": 1000.0
22 },
23 {
24 "lambda": 0.1,
25 "observed_ratio": 25.502499999999994,
26 "predicted_ratio": 25.502499999999994,
27 "raw_ratio": 1000.0
28 },
29 {
30 "lambda": 1.0,
31 "observed_ratio": 25.5025,
32 "predicted_ratio": 25.5025,
33 "raw_ratio": 1000.0
34 }
35 ],
36 "damping_gain_sweep": [
37 {
38 "lambda_E": 0.001,
39 "lambda_A": 0.001,
40 "observed_gain": 1.2462596631858633,
41 "predicted_gain": 1.2462596631858633
42 },
43 {
44 "lambda_E": 0.001,
45 "lambda_A": 0.01,
46 "observed_gain": 1.24067939603727,
47 "predicted_gain": 1.24067939603727
48 },
49 {
50 "lambda_E": 0.001,
51 "lambda_A": 0.1,
52 "observed_gain": 1.1875074219213868,
53 "predicted_gain": 1.1875074219213868
54 },
55 {
56 "lambda_E": 0.01,
57 "lambda_A": 0.001,
58 "observed_gain": 1.2189027437500761,
59 "predicted_gain": 1.2189027437500761
60 },
61 {
62 "lambda_E": 0.01,
63 "lambda_A": 0.01,
64 "observed_gain": 1.2134449702705983,
65 "predicted_gain": 1.2134449702705983
66 },
67 {
68 "lambda_E": 0.01,
69 "lambda_A": 0.1,
70 "observed_gain": 1.1614401858304297,
71 "predicted_gain": 1.1614401858304295
72 },
73 {
74 "lambda_E": 0.1,
75 "lambda_A": 0.001,
76 "observed_gain": 0.9995002498750625,
77 "predicted_gain": 0.9995002498750625
78 },
79 {
80 "lambda_E": 0.1,
81 "lambda_A": 0.01,
82 "observed_gain": 0.9950248756218907,
83 "predicted_gain": 0.9950248756218907
84 },
85 {
86 "lambda_E": 0.1,
87 "lambda_A": 0.1,
88 "observed_gain": 0.9523809523809523,
89 "predicted_gain": 0.9523809523809523
90 },
91 {
92 "lambda_E": 1.0,
93 "lambda_A": 0.001,
94 "observed_gain": 0.35696437495537947,
95 "predicted_gain": 0.35696437495537947
96 },
97 {
98 "lambda_E": 1.0,
99 "lambda_A": 0.01,
100 "observed_gain": 0.3553660270078181,
101 "predicted_gain": 0.3553660270078181
102 },
103 {
104 "lambda_E": 1.0,
105 "lambda_A": 0.1,
106 "observed_gain": 0.3401360544217687,
107 "predicted_gain": 0.3401360544217687
108 }
109 ],
110 "empirical_cov_max_abs_err": 0.006763826006170137,
111 "empirical_cov_pass": true,
112 "factorization_pass": true,
113 "anisotropy_pass": true,
114 "gain_pass": true
115 },
116 "training": {
117 "raw": {
118 "accuracy_mean": 0.7853333333333334,
119 "accuracy_std": 0.03421933609763585,
120 "loss_mean": 0.6338770631135581,
121 "seconds_mean": 0.489324410756429,
122 "divergences": 0,
123 "curves": [
124 {
125 "loss": 0.6499919780586308,
126 "accuracy": 0.7666666666666667,
127 "curve_loss": [
128 1.1068583427169785,
129 1.0851569086008759,
130 1.0815122198581333,
131 1.0764209209877156,
132 1.0643343784062362,
133 1.0446462692564442,
134 1.0248122269964275,
135 0.9908940761989531,
136 0.9403025409190718,
137 0.8618028493707894,
138 0.8251029659981746,
139 0.7479762603938016,
140 0.6845194311401783,
141 0.6499919780586308
142 ],
143 "curve_accuracy": [
144 0.32266666666666666,
145 0.402,
146 0.41,
147 0.416,
148 0.4146666666666667,
149 0.456,
150 0.47333333333333333,
151 0.5306666666666666,
152 0.574,
153 0.682,
154 0.6446666666666667,
155 0.728,
156 0.7546666666666667,
157 0.7666666666666667
158 ],
159 "seconds": 0.4966697692871094,
160 "diverged": false
161 },
162 {
163 "loss": 0.6970013283525253,
164 "accuracy": 0.756,
165 "curve_loss": [
166 1.0918404751768958,
167 1.102402687321171,
168 1.1009127009248052,
169 1.0647340206461267,
170 1.0548259001022036,
171 1.048732040321711,
172 1.0411123649142673,
173 1.0328625741282467,
174 1.0090752638583707,
175 0.9765033340351923,
176 0.9157625743111627,
177 0.8574054837133366,
178 0.7663649314489227,
179 0.6970013283525253
180 ],
181 "curve_accuracy": [
182 0.386,
183 0.3426666666666667,
184 0.3466666666666667,
185 0.43066666666666664,
186 0.43066666666666664,
187 0.43933333333333335,
188 0.4553333333333333,
189 0.458,
190 0.494,
191 0.5286666666666666,
192 0.58,
193 0.6353333333333333,
194 0.7133333333333334,
195 0.756
196 ],
197 "seconds": 0.5016217231750488,
198 "diverged": false
199 },
200 {
201 "loss": 0.5546378829295183,
202 "accuracy": 0.8333333333333334,
203 "curve_loss": [
204 1.0838607697363603,
205 1.0829925867155252,
206 1.075143204475171,
207 1.062211895557629,
208 1.0471869962642801,
209 1.030706204665107,
210 1.0095107363647424,
211 0.9732856599879939,
212 0.9151143851231115,
213 0.8333671185607939,
214 0.7539933414760102,
215 0.6815507658853761,
216 0.6114350455186081,
217 0.5546378829295183
218 ],
219 "curve_accuracy": [
220 0.3993333333333333,
221 0.404,
222 0.4106666666666667,
223 0.45066666666666666,
224 0.46,
225 0.49466666666666664,
226 0.48933333333333334,
227 0.534,
228 0.6126666666666667,
229 0.6913333333333334,
230 0.7646666666666667,
231 0.796,
232 0.816,
233 0.8333333333333334
234 ],
235 "seconds": 0.4696817398071289,
236 "diverged": false
237 }
238 ]
239 },
240 "activity": {
241 "accuracy_mean": 0.8686666666666666,
242 "accuracy_std": 0.008502722875426198,
243 "loss_mean": 0.3271744294388114,
244 "seconds_mean": 27.578476587931316,
245 "divergences": 0,
246 "curves": [
247 {
248 "loss": 0.3450070428360107,
249 "accuracy": 0.8566666666666667,
250 "curve_loss": [
251 1.0965928954550845,
252 0.47374705875911194,
253 0.41370210633360543,
254 0.39604973194324505,
255 0.38139696446065696,
256 0.3710422064718094,
257 0.36756968829138087,
258 0.3598237931256393,
259 0.3523207951707875,
260 0.34720137608991386,
261 0.3455682743461317,
262 0.34447971530977173,
263 0.3441869354380308,
264 0.3450070428360107
265 ],
266 "curve_accuracy": [
267 0.368,
268 0.8433333333333334,
269 0.8486666666666667,
270 0.8493333333333334,
271 0.852,
272 0.8566666666666667,
273 0.8506666666666667,
274 0.8493333333333334,
275 0.854,
276 0.86,
277 0.8573333333333333,
278 0.8546666666666667,
279 0.8553333333333333,
280 0.8566666666666667
281 ],
282 "seconds": 24.805869340896606,
283 "diverged": false
284 },
285 {
286 "loss": 0.31463188793505287,
287 "accuracy": 0.8753333333333333,
288 "curve_loss": [
289 1.0972892502829676,
290 0.48775842701685945,
291 0.41614000950148744,
292 0.3875689884026647,
293 0.36585475186245714,
294 0.3528897724618611,
295 0.34380570346407563,
296 0.33570542093624745,
297 0.3299983883392598,
298 0.3261015714264084,
299 0.32104578684818685,
300 0.31787272569737796,
301 0.31584503127370006,
302 0.31463188793505287
303 ],
304 "curve_accuracy": [
305 0.37066666666666664,
306 0.828,
307 0.848,
308 0.854,
309 0.8686666666666667,
310 0.8673333333333333,
311 0.866,
312 0.8733333333333333,
313 0.872,
314 0.87,
315 0.8726666666666667,
316 0.8706666666666667,
317 0.872,
318 0.8753333333333333
319 ],
320 "seconds": 27.38080620765686,
321 "diverged": false
322 },
323 {
324 "loss": 0.32188435754537065,
325 "accuracy": 0.874,
326 "curve_loss": [
327 1.0811433325347761,
328 0.46370120947519505,
329 0.4069011748230133,
330 0.38142344418743324,
331 0.3675225954068104,
332 0.3544278702805714,
333 0.3467291656214029,
334 0.34281595433789125,
335 0.33666469512518216,
336 0.3360120638431834,
337 0.33108266295201905,
338 0.32918842318866837,
339 0.32376409186667127,
340 0.32188435754537065
341 ],
342 "curve_accuracy": [
343 0.39666666666666667,
344 0.8513333333333334,
345 0.862,
346 0.866,
347 0.8686666666666667,
348 0.868,
349 0.8713333333333333,
350 0.8706666666666667,
351 0.876,
352 0.8673333333333333,
353 0.8713333333333333,
354 0.8693333333333333,
355 0.876,
356 0.874
357 ],
358 "seconds": 30.54875421524048,
359 "diverged": false
360 }
361 ]
362 },
363 "error": {
364 "accuracy_mean": 0.5355555555555555,
365 "accuracy_std": 0.04342497432424949,
366 "loss_mean": 0.962625172308745,
367 "seconds_mean": 19.22075645128886,
368 "divergences": 0,
369 "curves": [
370 {
371 "loss": 0.9938431919650914,
372 "accuracy": 0.5226666666666666,
373 "curve_loss": [
374 1.1084125496947663,
375 1.1124009411285645,
376 1.0881820463006415,
377 1.090312410239154,
378 1.087009324833161,
379 1.0323765707389254,
380 1.0758381359391784,
381 0.9241458726161875,
382 1.0087625374584064,
383 1.069785689769749,
384 0.9800219109814294,
385 1.0739009050270127,
386 0.9282637403720888,
387 0.9938431919650914
388 ],
389 "curve_accuracy": [
390 0.3466666666666667,
391 0.412,
392 0.41933333333333334,
393 0.4066666666666667,
394 0.39666666666666667,
395 0.514,
396 0.45466666666666666,
397 0.5713333333333334,
398 0.472,
399 0.43333333333333335,
400 0.528,
401 0.414,
402 0.5586666666666666,
403 0.5226666666666666
404 ],
405 "seconds": 23.356934070587158,
406 "diverged": false
407 },
408 {
409 "loss": 1.0538129587833795,
410 "accuracy": 0.49,
411 "curve_loss": [
412 1.1035108068786397,
413 1.0742842580824614,
414 1.0752893917779722,
415 1.0893063114041799,
416 1.0777803533676298,
417 1.0684826484933299,
418 1.0606554222809117,
419 1.0556875864558704,
420 1.0115737853534383,
421 1.041625086020332,
422 1.0465706452846293,
423 0.9697540370098533,
424 1.0348062415363848,
425 1.0538129587833795
426 ],
427 "curve_accuracy": [
428 0.374,
429 0.414,
430 0.39466666666666667,
431 0.4026666666666667,
432 0.4033333333333333,
433 0.4246666666666667,
434 0.42933333333333334,
435 0.44,
436 0.504,
437 0.44733333333333336,
438 0.45866666666666667,
439 0.5386666666666666,
440 0.434,
441 0.49
442 ],
443 "seconds": 19.68747591972351,
444 "diverged": false
445 },
446 {
447 "loss": 0.840219366177764,
448 "accuracy": 0.594,
449 "curve_loss": [
450 1.0921911852649138,
451 1.0963448890808891,
452 1.0847308386849823,
453 1.0861460257203193,
454 1.0701028780313426,
455 1.0505096424161848,
456 1.0235450745518335,
457 1.0635731929060226,
458 0.9861794920105297,
459 0.9635590917747653,
460 0.9461906552249748,
461 0.9689603665218692,
462 0.8107427316527291,
463 0.840219366177764
464 ],
465 "curve_accuracy": [
466 0.36333333333333334,
467 0.35933333333333334,
468 0.39866666666666667,
469 0.414,
470 0.416,
471 0.46,
472 0.4706666666666667,
473 0.4646666666666667,
474 0.5193333333333333,
475 0.53,
476 0.5153333333333333,
477 0.5113333333333333,
478 0.654,
479 0.594
480 ],
481 "seconds": 14.617859363555908,
482 "diverged": false
483 }
484 ]
485 },
486 "two-sided": {
487 "accuracy_mean": 0.8355555555555556,
488 "accuracy_std": 0.017319082460798867,
489 "loss_mean": 0.43182506305654084,
490 "seconds_mean": 49.71529118220011,
491 "divergences": 0,
492 "curves": [
493 {
494 "loss": 0.4832993026030433,
495 "accuracy": 0.822,
496 "curve_loss": [
497 6.419760286667641,
498 1.1067050006209112,
499 0.7258020014487278,
500 0.6573013864916185,
501 0.6345147401004028,
502 0.5527810908272155,
503 0.547993928987409,
504 0.6046836762897868,
505 0.5484485689125281,
506 0.5915086807942975,
507 0.5213959002680729,
508 0.5331593699657895,
509 0.5332759175228337,
510 0.4832993026030433
511 ],
512 "curve_accuracy": [
513 0.37866666666666665,
514 0.6893333333333334,
515 0.7686666666666667,
516 0.77,
517 0.776,
518 0.8073333333333333,
519 0.8026666666666666,
520 0.772,
521 0.7946666666666666,
522 0.7873333333333333,
523 0.8086666666666666,
524 0.796,
525 0.7833333333333333,
526 0.822
527 ],
528 "seconds": 42.415873289108276,
529 "diverged": false
530 },
531 {
532 "loss": 0.3747778158666054,
533 "accuracy": 0.86,
534 "curve_loss": [
535 3.909534044427812,
536 0.8270427669422238,
537 0.5513306756816408,
538 0.47047871146861664,
539 0.4395231488866815,
540 0.4487089606171817,
541 0.45613557100916946,
542 0.4354950302236806,
543 0.45424979011981365,
544 0.4353239151267459,
545 0.4232111758294893,
546 0.44043785323670925,
547 0.40642538300658493,
548 0.3747778158666054
549 ],
550 "curve_accuracy": [
551 0.3273333333333333,
552 0.7086666666666667,
553 0.7813333333333333,
554 0.814,
555 0.8253333333333334,
556 0.8186666666666667,
557 0.8146666666666667,
558 0.814,
559 0.8206666666666667,
560 0.834,
561 0.836,
562 0.8173333333333334,
563 0.8326666666666667,
564 0.86
565 ],
566 "seconds": 54.99701976776123,
567 "diverged": false
568 },
569 {
570 "loss": 0.4373980706999738,
571 "accuracy": 0.8246666666666667,
572 "curve_loss": [
573 7.191471533855973,
574 0.7906095425290688,
575 0.5897973763348634,
576 0.5213352950871629,
577 0.5150756327374115,
578 0.5206657161654796,
579 0.4994485186001031,
580 0.514195400901441,
581 0.4727684365250737,
582 0.4594028674555904,
583 0.49819889464054534,
584 0.46127506921645267,
585 0.43688694491353697,
586 0.4373980706999738
587 ],
588 "curve_accuracy": [
589 0.24866666666666667,
590 0.716,
591 0.758,
592 0.796,
593 0.8006666666666666,
594 0.79,
595 0.8026666666666666,
596 0.8,
597 0.804,
598 0.8146666666666667,
599 0.794,
600 0.8106666666666666,
601 0.824,
602 0.8246666666666667
603 ],
604 "seconds": 51.732980489730835,
605 "diverged": false
606 }
607 ]
608 }
609 }
610}