Name: Stage-1 mechanism-check results — Lipschitz Finite-Newton–Schulz Muon
License: https://synthcore.org/about#license
Lipschitz Finite-Newton–Schulz Muon / results.json
✓ Mechanism works
Raw ⬇ ZIP
   1{
"duality_verification": {
  "nuclear_norm": 18.550911298619358,
  "polar_objective": 18.550911298619358,
  "absolute_gap": 0.0,
  "max_random_feasible_objective": 4.723722263285146,
  "random_excess_over_optimum": -13.82718903533421
},
"scalar_verification": {
  "values": [
    [
      0.0,
      0.0001,
      0.03,
      0.2,
      0.7,
      0.95
    ],
    [
      0.0,
      0.00014999999950000002,
      0.0449865,
      0.296,
      0.8785000000000001,
      0.9963125
    ],
    [
      0.0,
      0.00022499999756250006,
      0.06743422849394935,
      0.431032832,
      0.9787534316875001,
      0.9999796285863036
    ],
    [
      0.0,
      0.0003374999906484378,
      0.1009980183727065,
      0.606508603445366,
      0.9993276705299191,
      0.9999999993775126
    ],
    [
      0.0,
      0.0005062499667509786,
      0.15098190738033487,
      0.7982099957221579,
      0.9999993221115809,
      1.0
    ],
    [
      0.0,
      0.0007593748852533118,
      0.22475200429109357,
      0.9430295556192777,
      0.9999999999993108,
      1.0
    ],
    [
      0.0,
      0.0011390621089331218,
      0.3314515053615299,
      0.9952240052359583,
      1.0,
      1.0
    ]
  ],
  "small_sigma_response_t2": 0.00022499999756250006,
  "zero_response_all_t": [
    0.0,
    0.0,
    0.0,
    0.0,
    0.0,
    0.0,
    0.0
  ],
  "largest_direction_errors": [
    0.0036874999999999547,
    2.0371413696373963e-05,
    6.224873949634002e-10,
    0.0,
    0.0,
    0.0
  ],
  "successive_error_ratios": [
    0.005524451171898092,
    3.055690705815869e-05,
    0.0,
    0.0,
    0.0
  ],
  "t7_small_sigma_error": 0.9988609378910669
},
"summary_mean_over_3_seeds": {
  "exact": {
    "final_loss": 0.0005780779914778543,
    "best_loss": 0.0005780779914778543,
    "loss_at_60": 0.005868047984777754,
    "loss_at_120": 0.0013966341671748626,
    "mean_update_smoothness": 39.538233115313794,
    "median_update_smoothness": 31.50386948825256,
    "mean_reported_residual": 0.0,
    "wall_seconds": 0.06394455833409059,
    "ns_matrix_multiplications": 0.0
  },
  "t5": {
    "final_loss": 6.527692438684845e-06,
    "best_loss": 6.527692438684845e-06,
    "loss_at_60": 0.0020817100667371246,
    "loss_at_120": 0.00013179013869708977,
    "mean_update_smoothness": 2.2469088371094252,
    "median_update_smoothness": 2.106656715030234,
    "mean_reported_residual": 0.8572061183620803,
    "wall_seconds": 0.11473698166810209,
    "ns_matrix_multiplications": 900.0
  },
  "t2": {
    "final_loss": 1.7808909463431542e-06,
    "best_loss": 1.7808909463431542e-06,
    "loss_at_60": 0.0009594075246879766,
    "loss_at_120": 3.3915015621001884e-05,
    "mean_update_smoothness": 1.222568116824305,
    "median_update_smoothness": 1.2032606960959766,
    "mean_reported_residual": 0.9033095991453495,
    "wall_seconds": 0.09920736233470961,
    "ns_matrix_multiplications": 360.0
  },
  "adaptive": {
    "final_loss": 2.0726399688776638e-06,
    "best_loss": 2.0726399688776638e-06,
    "loss_at_60": 0.0009594075246879766,
    "loss_at_120": 3.3915015621001884e-05,
    "mean_update_smoothness": 1.5374113460886425,
    "median_update_smoothness": 1.3561114175189868,
    "mean_reported_residual": 0.901352062868222,
    "wall_seconds": 0.1006841346679721,
    "ns_matrix_multiplications": 470.0
  }
},
"runs": {
  "exact": [
    {
      "final_loss": 0.0005778197765625631,
      "best_loss": 0.0005778197765625631,
      "loss_at_60": 0.005162626610063388,
      "loss_at_120": 0.0013398443543390477,
      "mean_update_smoothness": 39.198689727316236,
      "median_update_smoothness": 29.018492741472272,
      "mean_reported_residual": 0.0,
      "wall_seconds": 0.06492859299760312,
      "ns_matrix_multiplications": 0,
      "loss_curve": [
        0.2256924592387544,
        0.21921374870236732,
        0.2102852309476209,
        0.1994756133137621,
        0.1873460654231792,
        0.17442615503192496,
        0.16119494612761473,
        0.14806519368631946,
        0.13536760963350766,
        0.12335352569936942,
        0.11220699151978375,
        0.1019670514786032,
        0.09268885017549082,
        0.08427514106884698,
        0.07675832955648171,
        0.07014578081103448,
        0.0642718710028798,
        0.0590411810950632,
        0.05445889904407613,
        0.050445979308307964,
        0.04679192640644817,
        0.043407837174387266,
        0.04033132016137756,
        0.03754268679342077,
        0.034944377054653634,
        0.03261005436950807,
        0.030386191735816137,
        0.02831810944572029,
        0.026401822467212673,
        0.024655981597604112,
        0.023089769504973694,
        0.021670076068633536,
        0.020308459675283237,
        0.019031248535515792,
        0.017834969985133318,
        0.016755747147272442,
        0.015774832430384616,
        0.01484808859089693,
        0.013954132278645151,
        0.013124963302226721,
        0.012357789078360557,
        0.01165336329563989,
        0.011005905992501073,
        0.010414265775164343,
        0.009868852778597163,
        0.009348862894207157,
        0.00888523429151331,
        0.008484422401729691,
        0.008126766292317721,
        0.0077683656943320625,
        0.007420163080667441,
        0.007098654554099117,
        0.0067952776623237164,
        0.006513919807376086,
        0.006246228398418822,
        0.005994659702138041,
        0.0057640855549579255,
        0.005546196175781203,
        0.005345018220027643,
        0.005162626610063388,
        0.004985971852471612,
        0.004823000659121204,
        0.004672259621773643,
        0.0045292140779015855,
        0.004390400921053873,
        0.0042560612865611275,
        0.0041280304694826155,
        0.004000871448784128,
        0.0038816535241016498,
        0.003771273762683191,
        0.003669783046596609,
        0.0035743130941757414,
        0.003481808374548978,
        0.003391186790130677,
        0.0033017128163872894,
        0.0032178040138672627,
        0.0031387357298067685,
        0.003062244206834656,
        0.002981737853294254,
        0.0029072045415618076,
        0.0028381475381967364,
        0.0027723231274087035,
        0.0027122338951255476,
        0.002654859442758247,
        0.002599096963485379,
        0.0025438112278697183,
        0.002486669657093533,
        0.00243086950692201,
        0.0023766423475166097,
        0.002324986152120024,
        0.0022780483828864777,
        0.0022321460605927417,
        0.002187807058480974,
        0.0021460119903269157,
        0.0021041399014859563,
        0.002062829709323524,
        0.0020220998778120555,
        0.0019829875970364496,
        0.0019461206299157428,
        0.0019094535304693026,
        0.0018733746332113396,
        0.0018388208758354488,
        0.001804857675913541,
        0.0017721263125006152,
        0.0017400329242538244,
        0.0017092039863208753,
        0.0016788390468995959,
        0.0016482580042028424,
        0.0016185783866967387,
        0.0015897557285316098,
        0.0015621574567900958,
        0.0015352441277264246,
        0.0015089406102459957,
        0.0014830024718013718,
        0.0014577204851585425,
        0.0014325294889744962,
        0.001408865092529568,
        0.0013849973820979028,
        0.0013627745752182242,
        0.0013398443543390477,
        0.0013182063001525909,
        0.0012970818412471827,
        0.00127561084876272,
        0.0012553932423762383,
        0.0012358351005587068,
        0.0012160970165296513,
        0.0011966161758754238,
        0.0011777439175562174,
        0.001159563204554407,
        0.0011412220973764755,
        0.0011238947655637036,
        0.001106465895252056,
        0.0010897537522979734,
        0.001073239210761859,
        0.0010571279550928856,
        0.0010413910811401838,
        0.0010258049450569899,
        0.0010105167648641075,
        0.0009957791024340292,
        0.0009811326560355878,
        0.000966861418448275,
        0.0009528179621372738,
        0.0009387936376922456,
        0.0009257300287936728,
        0.0009125658255442224,
        0.0008996264191735823,
        0.0008867777567939365,
        0.0008742837554392395,
        0.0008621247202410215,
        0.0008501125087295868,
        0.0008384507748100146,
        0.0008268168227112675,
        0.0008155540502537104,
        0.0008044871708245082,
        0.0007935508437680534,
        0.0007827558142049631,
        0.0007723394512779742,
        0.0007622289425168201,
        0.0007522010306350409,
        0.0007419717973654805,
        0.0007325168820877473,
        0.0007230587296844422,
        0.0007136355400698736,
        0.0007043482488040322,
        0.0006954731494184756,
        0.0006865421169006754,
        0.0006777617347454261,
        0.0006692739527428349,
        0.0006609845631707585,
        0.0006526206981920061,
        0.0006444471448880409,
        0.0006367287737393711,
        0.000628710322687221,
        0.0006210934164938217,
        0.0006135035070142151,
        0.0006061356205639749,
        0.0005988885961484073,
        0.0005916821630811242,
        0.0005846684582024619,
        0.0005778197765625631
      ]
    },
    {
      "final_loss": 0.0007857699931496847,
      "best_loss": 0.0007857699931496847,
      "loss_at_60": 0.007336958940120056,
      "loss_at_120": 0.0019119306493788097,
      "mean_update_smoothness": 42.12880029962609,
      "median_update_smoothness": 36.83938406871554,
      "mean_reported_residual": 0.0,
      "wall_seconds": 0.06213140000181738,
      "ns_matrix_multiplications": 0,
      "loss_curve": [
        0.22521462037538117,
        0.2189788447270218,
        0.2103965762598131,
        0.20002560008980708,
        0.18841674505789682,
        0.17608916778380213,
        0.16350856625381238,
        0.1510564733367473,
        0.13903626460441426,
        0.12775380283151883,
        0.117370845934656,
        0.10787861034010471,
        0.09926347543929957,
        0.09143106991647774,
        0.08438096196972067,
        0.07810540830681585,
        0.0724799915141008,
        0.06741084823079042,
        0.06267769395891487,
        0.05826826346891245,
        0.05420500659492741,
        0.05040790376960216,
        0.046866120140944045,
        0.04358191397766681,
        0.04053920719071951,
        0.03768689599555537,
        0.03500344954951259,
        0.03253670003815928,
        0.030320078195246885,
        0.028302374474511435,
        0.026491883427506305,
        0.024886149496555873,
        0.023414638035228887,
        0.022098389485198416,
        0.02090098005922389,
        0.01985653955425975,
        0.01888812831525577,
        0.018000692081072762,
        0.017148798501544677,
        0.01632866471165845,
        0.015517341789873166,
        0.014769358136125654,
        0.014102878286936576,
        0.013489850110628879,
        0.012922935085219356,
        0.012399343032896576,
        0.011904034346090248,
        0.011422626548432959,
        0.010962492120211942,
        0.010527606117798613,
        0.010113921467028704,
        0.009727755479738415,
        0.009358655229544164,
        0.009016079723307051,
        0.00868493628225649,
        0.008378108817451135,
        0.008091229245804042,
        0.007816951794672658,
        0.007568543260092633,
        0.007336958940120056,
        0.007105545463639027,
        0.006880062452569088,
        0.006655671791037126,
        0.006439552889725541,
        0.006239834595349465,
        0.006057279682920105,
        0.005887811880788796,
        0.005729247979963905,
        0.005578459228897169,
        0.005429546158973123,
        0.005280400175844517,
        0.005134367213281887,
        0.005001193176379841,
        0.004873307238174516,
        0.004745604787349859,
        0.0046251648356912785,
        0.004513201130425253,
        0.004405152723457306,
        0.004299283338647659,
        0.004199272451060784,
        0.004099884659684506,
        0.004004996598261235,
        0.003911850951435501,
        0.003825809173939093,
        0.003742256040878512,
        0.003660389826182608,
        0.003579161850791901,
        0.0035008194154687263,
        0.003427115268848254,
        0.003356911964010556,
        0.0032860035396417684,
        0.0032171250505460183,
        0.0031506596114687334,
        0.0030893262386903248,
        0.0030278818530377334,
        0.0029668278797223904,
        0.002908519212817397,
        0.002854466881816611,
        0.002800274735944581,
        0.0027463863846771967,
        0.002693783721417141,
        0.0026439997407396334,
        0.0025949451009358642,
        0.002547123804953797,
        0.0025013973199861034,
        0.0024555705187893047,
        0.0024087582100394567,
        0.0023657065081515286,
        0.002323141270928409,
        0.002280730474994268,
        0.0022395400428482167,
        0.002200595137493659,
        0.0021608322280019035,
        0.00212308044005327,
        0.0020858055771254404,
        0.002048936935082492,
        0.0020135806094868196,
        0.001979388480032033,
        0.001946135693852766,
        0.0019119306493788097,
        0.0018800160364119084,
        0.0018481627721929985,
        0.0018168104349540204,
        0.0017866475979336864,
        0.0017574747545890156,
        0.0017284275828568934,
        0.00170011581203795,
        0.0016725198252254703,
        0.0016452664777479135,
        0.0016190215529288331,
        0.0015923070751379569,
        0.0015668880524484484,
        0.001541924447171758,
        0.0015176178896336757,
        0.0014935989254631365,
        0.0014697269047052916,
        0.0014470696386347437,
        0.0014246883228055832,
        0.0014027914038226054,
        0.0013809271159025388,
        0.0013594321619897233,
        0.0013392239770613048,
        0.0013186124041070352,
        0.0012984158624975274,
        0.0012793931781547193,
        0.0012598491685295898,
        0.0012409945878373906,
        0.0012231221889890578,
        0.001204529822467442,
        0.001186861937548303,
        0.0011697682155738553,
        0.0011526206576082027,
        0.0011356394682936167,
        0.0011196737815024947,
        0.001103492994615722,
        0.0010873390174060743,
        0.0010723879040493171,
        0.0010571887778498767,
        0.0010419707231584055,
        0.0010276892738897705,
        0.0010132965100792702,
        0.0009991584788688413,
        0.0009855049790538253,
        0.000971773102400491,
        0.0009584025005004347,
        0.0009453058152411581,
        0.0009325875266071979,
        0.000920182483091413,
        0.0009074839052609034,
        0.0008953670282659006,
        0.000884071042983969,
        0.0008717863109168056,
        0.0008604380933144507,
        0.0008493395981968743,
        0.0008381920087765253,
        0.0008273579488199232,
        0.0008165574172735958,
        0.0008062344365662127,
        0.0007959916732910035,
        0.0007857699931496847
      ]
    },
    {
      "final_loss": 0.000370644204721315,
      "best_loss": 0.000370644204721315,
      "loss_at_60": 0.0051045584041498155,
      "loss_at_120": 0.0009381274978067311,
      "mean_update_smoothness": 37.28720931899904,
      "median_update_smoothness": 28.653731654569867,
      "mean_reported_residual": 0.0,
      "wall_seconds": 0.06477368200285127,
      "ns_matrix_multiplications": 0,
      "loss_curve": [
        0.22436999243637637,
        0.2181423250630874,
        0.20956578589235045,
        0.19919289527822692,
        0.18756983739926167,
        0.17521304381968794,
        0.16259015778896035,
        0.15009871210765816,
        0.1380189957156012,
        0.12658644507418526,
        0.11596342831160183,
        0.10620358416385066,
        0.0973663711505073,
        0.08935181873458199,
        0.08224232400811098,
        0.07601316512628523,
        0.07062086648591669,
        0.06589531941659255,
        0.06136867615818505,
        0.05719490084420872,
        0.05327526526941512,
        0.04954957549004809,
        0.04621633331812144,
        0.043178646336871795,
        0.04030178372354653,
        0.037522849435550946,
        0.03491198306918572,
        0.03249429626941405,
        0.03026771429053217,
        0.02824437242922889,
        0.026391686402718967,
        0.024607329709144934,
        0.022976878716604605,
        0.02145439310320016,
        0.020047190939063278,
        0.01873371100559398,
        0.017503868200294186,
        0.01635216738420267,
        0.015321089348306305,
        0.014380184211022546,
        0.013525568785757553,
        0.012723055501061722,
        0.011973876260359602,
        0.011272062540444189,
        0.010657994338261928,
        0.010096910934670853,
        0.009553475322714241,
        0.009045933658034239,
        0.008563645671200966,
        0.008117806614330625,
        0.007709149456329653,
        0.007322483888456154,
        0.006985019028487495,
        0.006679437670538537,
        0.006402339926273335,
        0.006132054807314276,
        0.005861445637024169,
        0.005594610284339242,
        0.005339659574806872,
        0.0051045584041498155,
        0.004891889034674386,
        0.004694533441238015,
        0.004496721264770371,
        0.004306174466698023,
        0.004137564456965057,
        0.003977587258609711,
        0.003824185953929103,
        0.003678839112008888,
        0.003546294840976427,
        0.0034178353301557696,
        0.0032945466754911294,
        0.0031801739977963283,
        0.0030719775361919698,
        0.0029705595779440145,
        0.002871710431970126,
        0.0027765709507954275,
        0.0026881647712227647,
        0.002604763709705958,
        0.0025261705816560123,
        0.002450004812334021,
        0.0023724803781843,
        0.002299092897972761,
        0.002230456385993893,
        0.0021668239070979796,
        0.0021047934263047166,
        0.0020442828765234937,
        0.0019882103796917197,
        0.0019347928699597183,
        0.0018850566553993097,
        0.0018369009630778551,
        0.0017873648336252067,
        0.0017392346367817873,
        0.001695212221838497,
        0.0016530427927273878,
        0.001611404458798602,
        0.0015711205157853986,
        0.001533986211511796,
        0.0014983405027586092,
        0.0014633509712335688,
        0.0014299388402385718,
        0.0013970232138570658,
        0.001364932729707857,
        0.001334126434098917,
        0.0013049392018462547,
        0.0012776048119524138,
        0.001250235470269068,
        0.0012235819394478022,
        0.0011974870766402823,
        0.001172550385670844,
        0.001147722515355344,
        0.001124439042226787,
        0.0011017540127260324,
        0.0010789332602114839,
        0.0010566923774601963,
        0.0010353151884511256,
        0.001014830564992552,
        0.0009950779963753935,
        0.0009756460705377489,
        0.0009563404692072438,
        0.0009381274978067311,
        0.0009201072648534994,
        0.0009025629247204015,
        0.0008859968465706791,
        0.0008698760819277892,
        0.0008537135463627535,
        0.0008381630677393668,
        0.0008235605651789735,
        0.0008089787742980543,
        0.0007945072241579065,
        0.0007807303777758781,
        0.0007674096951221502,
        0.0007539743029804273,
        0.0007412050261284784,
        0.0007283570239887795,
        0.0007158560173740808,
        0.000704181370162538,
        0.0006923102945113708,
        0.0006810946548657667,
        0.0006699062957147387,
        0.000659183350812311,
        0.0006485592396400044,
        0.0006385399950630729,
        0.0006282339167878076,
        0.0006185474974658229,
        0.0006089819982616824,
        0.000599431149370483,
        0.0005901407275269313,
        0.0005815142243792889,
        0.0005726697943491635,
        0.0005638612327413252,
        0.0005558373133191601,
        0.0005476062329072494,
        0.0005395758885248094,
        0.0005316629348476883,
        0.0005240116649590829,
        0.0005165292939122493,
        0.0005093527768655423,
        0.0005020834683616787,
        0.0004950258172526982,
        0.0004883160060647849,
        0.0004814353461362439,
        0.0004746127362476278,
        0.0004682014832519668,
        0.00046177426661304666,
        0.00045524805705825076,
        0.0004489328235634197,
        0.0004426419548581712,
        0.0004364721191845865,
        0.0004304589517519519,
        0.0004244369163187316,
        0.0004186091633740893,
        0.0004128920979774153,
        0.0004072815608555747,
        0.00040174164054663787,
        0.00039624336682132403,
        0.00039099331383710075,
        0.00038572043456784106,
        0.0003806197878417198,
        0.0003754551973461987,
        0.000370644204721315
      ]
    }
  ],
  "t5": [
    {
      "final_loss": 1.0643869724433387e-05,
      "best_loss": 1.0643869724433387e-05,
      "loss_at_60": 0.002277829303482087,
      "loss_at_120": 0.00017378544516379776,
      "mean_update_smoothness": 2.2964533111798,
      "median_update_smoothness": 2.170772790423441,
      "mean_reported_residual": 0.8405834511481196,
      "wall_seconds": 0.12151952700514812,
      "ns_matrix_multiplications": 900,
      "loss_curve": [
        0.22517147892938386,
        0.21772984451472913,
        0.20748782032509916,
        0.19510948446830903,
        0.18124845110428214,
        0.16651860285554035,
        0.15147228616543565,
        0.13658540832078755,
        0.12224874062584129,
        0.10876467567275079,
        0.09634868521976052,
        0.08513472391518108,
        0.0751837379558196,
        0.066494204937861,
        0.05901332329682188,
        0.052647369318357486,
        0.047270271875620266,
        0.04273106006776791,
        0.03886368151588305,
        0.03550481228495608,
        0.03251993111703219,
        0.029822677691614008,
        0.027369407836325497,
        0.025136237963042197,
        0.023101853935949188,
        0.021243543649982044,
        0.019539141270252858,
        0.01796928656928819,
        0.016519082882514274,
        0.015178666817152422,
        0.013941992927777628,
        0.01280443255781997,
        0.011760917223790685,
        0.010805922545854838,
        0.009934777197776058,
        0.009144416104469531,
        0.008432584345089351,
        0.007796384136683169,
        0.00723139642514208,
        0.006731611683924703,
        0.006289755066468716,
        0.005897689564248069,
        0.005546896507397594,
        0.005229151549715598,
        0.004937326205152322,
        0.004665956293133172,
        0.00441127854617659,
        0.0041709043961546495,
        0.003943542606507404,
        0.003728863998377389,
        0.0035272601804716397,
        0.003339378965814706,
        0.003165636596255203,
        0.00300593191486866,
        0.0028595890944212877,
        0.0027254358847932938,
        0.002601936414534151,
        0.002487343029826037,
        0.0023798604661878133,
        0.002277829303482087,
        0.0021799242554227565,
        0.002085313852146375,
        0.001993694888483956,
        0.001905174330171731,
        0.0018200732378930269,
        0.0017387481031240967,
        0.0016614658822859795,
        0.001588322770741513,
        0.0015191974563508112,
        0.0014537476727349355,
        0.00139146514129732,
        0.0013317894672437213,
        0.0012742514628630369,
        0.001218589162597247,
        0.0011647814236085757,
        0.0011129843006297826,
        0.001063408753231376,
        0.001016203445420514,
        0.0009713896581317615,
        0.000928859463077818,
        0.0008884206436711715,
        0.0008498613452615193,
        0.0008130091534918462,
        0.0007777660667488453,
        0.0007441101263126215,
        0.0007120671933063963,
        0.0006816690136834977,
        0.0006529176596320232,
        0.0006257687538543465,
        0.0006001338441507276,
        0.0005758944087021651,
        0.0005529187901322798,
        0.0005310766977799528,
        0.000510249880903627,
        0.0004903391161249792,
        0.0004712670996996134,
        0.00045297695663902327,
        0.00043542781300202546,
        0.0004185899650551098,
        0.0004024408540405423,
        0.0003869609230309359,
        0.00037212820697516254,
        0.00035791233463498443,
        0.00034427026792760706,
        0.0003311460381359044,
        0.0003184753815256939,
        0.00030619442763540916,
        0.00029424977176637195,
        0.00028260589615336805,
        0.00027124636669860166,
        0.0002601683101960098,
        0.00024937365340673643,
        0.00023886239835895344,
        0.000228631652368062,
        0.0002186805981813303,
        0.00020901790156998534,
        0.00019966585967684167,
        0.00019065691736299043,
        0.00018202329591432623,
        0.00017378544516379776,
        0.0001659453751901835,
        0.00015848724652603116,
        0.00015138378241473415,
        0.00014460514306784524,
        0.00013812654471748672,
        0.0001319317412886083,
        0.00012601156979055302,
        0.00012035932156230467,
        0.00011496607128753295,
        0.00010981844985284769,
        0.0001048995299687585,
        0.00010019181649052949,
        9.568048028811488e-05,
        9.135511110902188e-05,
        8.720928195809801e-05,
        8.323855319943914e-05,
        7.943833031372859e-05,
        7.580277651783345e-05,
        7.232510493422951e-05,
        6.899870306287697e-05,
        6.581814829914567e-05,
        6.277939731678105e-05,
        5.987907896122632e-05,
        5.711342578704481e-05,
        5.4477534337256374e-05,
        5.196533325763034e-05,
        4.957017272844267e-05,
        4.7285634913323345e-05,
        4.510612515100758e-05,
        4.3026999363795125e-05,
        4.104427483803339e-05,
        3.915418163550562e-05,
        3.7352831142654196e-05,
        3.563613735020979e-05,
        3.3999949897627235e-05,
        3.2440256285195026e-05,
        3.0953317948561366e-05,
        2.9535685150656595e-05,
        2.818412308537493e-05,
        2.689552392822977e-05,
        2.566686488166987e-05,
        2.449522590766889e-05,
        2.3377839565563636e-05,
        2.2312131912403725e-05,
        2.1295727674278163e-05,
        2.032641888157854e-05,
        1.940211568473426e-05,
        1.8520801991323367e-05,
        1.7680509727078848e-05,
        1.6879313228622316e-05,
        1.6115337276648254e-05,
        1.5386770650424736e-05,
        1.4691879446742891e-05,
        1.4029017390375012e-05,
        1.3396632059435986e-05,
        1.2793266375881994e-05,
        1.2217554927305708e-05,
        1.1668215506047231e-05,
        1.1144037510130522e-05,
        1.0643869724433387e-05
      ]
    },
    {
      "final_loss": 5.803667608740441e-06,
      "best_loss": 5.803667608740441e-06,
      "loss_at_60": 0.0025423988015547405,
      "loss_at_120": 0.00014858885962209354,
      "mean_update_smoothness": 2.2206827070517576,
      "median_update_smoothness": 2.10889214451392,
      "mean_reported_residual": 0.872507007216779,
      "wall_seconds": 0.11088160600047559,
      "ns_matrix_multiplications": 900,
      "loss_curve": [
        0.22456411385695976,
        0.2171250698581765,
        0.20689913886518432,
        0.19456085324396177,
        0.18077369187747364,
        0.16615939154453738,
        0.1512750354279929,
        0.13659727166570976,
        0.12251284754564627,
        0.1093145749784893,
        0.09720188810504458,
        0.08628533166188886,
        0.07659463053799821,
        0.06809038461600202,
        0.06067969870942803,
        0.05423565546344839,
        0.0486187789734952,
        0.043696096986429726,
        0.03935340798078806,
        0.03550116305083525,
        0.03207799940389695,
        0.029050924001456823,
        0.02640574661273869,
        0.02412892256986168,
        0.022192283391222496,
        0.020548793165174176,
        0.01913796412449718,
        0.017896028752191085,
        0.016766864023478507,
        0.01571009423933471,
        0.014703249323299103,
        0.013737950617430612,
        0.01281381016480538,
        0.011933719759667333,
        0.01110138465317065,
        0.010320176038976893,
        0.009592494161880863,
        0.00891944495163078,
        0.008300834424271314,
        0.007735367500842032,
        0.007220868217825254,
        0.006754427574545183,
        0.006332501136519518,
        0.005951011282036144,
        0.0056054821212491715,
        0.005291210953629832,
        0.005003475153990452,
        0.00473777256960115,
        0.004490084672433389,
        0.004257130916596204,
        0.004036557002886825,
        0.0038269922234071938,
        0.0036279402486146355,
        0.003439522048689854,
        0.003262140050410551,
        0.0030961557687117763,
        0.0029416582552489307,
        0.0027983573484489377,
        0.0026655899422606175,
        0.0025423988015547405,
        0.002427635864258377,
        0.0023200554411748047,
        0.002218393880599545,
        0.002121460562835248,
        0.0020282598948810414,
        0.0019381207950828667,
        0.001850769134553872,
        0.0017662891588278312,
        0.00168498209350758,
        0.001607188149184093,
        0.001533144694684517,
        0.0014629168991283908,
        0.0013963958164309794,
        0.001333337562648488,
        0.0012734179615758545,
        0.0012162887422908504,
        0.0011616298278865188,
        0.001109191085849451,
        0.0010588136671968193,
        0.0010104262200234472,
        0.000964022166140486,
        0.0009196294096069469,
        0.0008772805912543839,
        0.0008369879185950727,
        0.0007987264762249188,
        0.0007624307410827785,
        0.0007280062380889581,
        0.0006953514905806572,
        0.0006643788727005305,
        0.0006350225256002797,
        0.0006072292512327404,
        0.0005809387599597809,
        0.0005560645523290894,
        0.0005324841043862169,
        0.0005100417483296691,
        0.0004885639347060283,
        0.0004678841351379842,
        0.00044787126918691963,
        0.000428451416068266,
        0.0004096119903809744,
        0.0003913846493008269,
        0.00037381461314660563,
        0.00035693033103872024,
        0.0003407243197040243,
        0.00032514890428619935,
        0.0003101258408342966,
        0.00029556701392287934,
        0.00028140138275649406,
        0.00026759915840164703,
        0.0002541810767764203,
        0.00024120562266480967,
        0.0002287406805099654,
        0.00021683621142623414,
        0.00020551098322568916,
        0.0001947549729426287,
        0.0001845411307883739,
        0.0001748387453105125,
        0.00016562273783467534,
        0.00015687645508690354,
        0.00014858885962209354,
        0.00014074923165894028,
        0.00013334266323434887,
        0.00012634820203733516,
        0.00011973980971443774,
        0.00011348920103923205,
        0.00010756920342768893,
        0.00010195633989389337,
        9.663179935476926e-05,
        9.158069961499883e-05,
        8.679027290029984e-05,
        8.224796157065805e-05,
        7.794027039921684e-05,
        7.385273919453124e-05,
        6.997085628260173e-05,
        6.628135563592958e-05,
        6.277324318988914e-05,
        5.943808997787644e-05,
        5.6269511577952166e-05,
        5.326213671233653e-05,
        5.041056291133493e-05,
        4.7708723963755215e-05,
        4.5149825784726045e-05,
        4.272671350236766e-05,
        4.043236892449064e-05,
        3.8260262391105855e-05,
        3.6204441053604555e-05,
        3.425940874412196e-05,
        3.241994140608614e-05,
        3.068096164023945e-05,
        2.9037510897192367e-05,
        2.7484776822153532e-05,
        2.601810513826571e-05,
        2.4632957385574553e-05,
        2.3324835211902513e-05,
        2.208923173461767e-05,
        2.0921663240251648e-05,
        1.9817788127562707e-05,
        1.877356640905356e-05,
        1.778538498170853e-05,
        1.6850087646003376e-05,
        1.5964897075210578e-05,
        1.5127270501174517e-05,
        1.4334759499089068e-05,
        1.3584932411245926e-05,
        1.2875377562690186e-05,
        1.2203763006762174e-05,
        1.1567906326184571e-05,
        1.0965813273273337e-05,
        1.0395669052783617e-05,
        9.855794471786693e-06,
        9.344595365378787e-06,
        8.86053123122254e-06,
        8.402112990912303e-06,
        7.967921819692805e-06,
        7.556631234935171e-06,
        7.167016697432294e-06,
        6.797947261811471e-06,
        6.4483648309228835e-06,
        6.117261990875838e-06,
        5.803667608740441e-06
      ]
    },
    {
      "final_loss": 3.135539982880709e-06,
      "best_loss": 3.135539982880709e-06,
      "loss_at_60": 0.0014249020951745464,
      "loss_at_120": 7.299611130537799e-05,
      "mean_update_smoothness": 2.2235904930967183,
      "median_update_smoothness": 2.040305210153342,
      "mean_reported_residual": 0.858527896721342,
      "wall_seconds": 0.11180981199868256,
      "ns_matrix_multiplications": 900,
      "loss_curve": [
        0.2237748228288722,
        0.21644542733828376,
        0.20636213909055032,
        0.19418284598920235,
        0.18055527677020553,
        0.16608784775965868,
        0.1513279065698732,
        0.13674671951090045,
        0.12273037349631262,
        0.10957567266050249,
        0.0974901385169672,
        0.08659541938881049,
        0.07693380609969298,
        0.06847803660807333,
        0.0611447949557859,
        0.054811712394648264,
        0.04933607938924912,
        0.044571920826404376,
        0.040382480589350976,
        0.03664784771030411,
        0.03326982819011988,
        0.030175640947367317,
        0.02731951837884505,
        0.02468001493094198,
        0.022252424314499124,
        0.020038673130924632,
        0.018038560992178133,
        0.01624511069842174,
        0.014644410534118487,
        0.013218480970229672,
        0.011948962416097294,
        0.010819641512523279,
        0.00981692121530559,
        0.00892879090758445,
        0.008143580961357495,
        0.007449388000146769,
        0.006834277911508961,
        0.00628693683449456,
        0.0057973735017985625,
        0.005357350439279547,
        0.004960364700515628,
        0.004601225907830208,
        0.004275495345557386,
        0.003979091106156866,
        0.0037082036095634073,
        0.003459444826108516,
        0.0032300282938442595,
        0.003017809686456508,
        0.002821163928061783,
        0.002638803050811971,
        0.002469646705641798,
        0.0023127764792536683,
        0.002167435529226845,
        0.00203302026111298,
        0.001909031840795429,
        0.0017949880632879365,
        0.00169032641873972,
        0.0015943408134758326,
        0.0015061793377515965,
        0.0014249020951745464,
        0.0013495759575138202,
        0.0012793739436690599,
        0.0012136473405529246,
        0.0011519470009854944,
        0.0010939882639175121,
        0.0010395780798948381,
        0.0009885398705347668,
        0.0009406685700211938,
        0.0008957267561058598,
        0.0008534680324110638,
        0.0008136617482058218,
        0.0007761001421594717,
        0.0007405885270860027,
        0.0007069347770889664,
        0.0006749530374552166,
        0.0006444811992426208,
        0.000615397629486483,
        0.000587622427923335,
        0.0005611008686907176,
        0.0005357794970906987,
        0.000511588730585401,
        0.0004884404206649032,
        0.00046624073792308416,
        0.0004449118435882956,
        0.00042441138948179146,
        0.00040473880307266677,
        0.00038592355085305657,
        0.00036800060563222194,
        0.00035098487183083787,
        0.00033485504024827916,
        0.00031955129692258494,
        0.0003049855948860089,
        0.00029105971113208934,
        0.00027768465198060047,
        0.000264795050973008,
        0.0002523544850338342,
        0.00024035157714397503,
        0.00022879033060622519,
        0.0002176794990677139,
        0.00020702474305615124,
        0.00019682500518864885,
        0.0001870724614501053,
        0.00017775452914125148,
        0.00016885654708981648,
        0.00016036410393282236,
        0.00015226425576622362,
        0.00014454533091101055,
        0.00013719580418956756,
        0.0001302033085839947,
        0.00012355456414246089,
        0.0001172360354636871,
        0.00011123448395915679,
        0.00010553685778541663,
        0.00010012972234293972,
        9.49988739719096e-05,
        9.012959010447256e-05,
        8.550742572655883e-05,
        8.111901733468156e-05,
        7.69523178297261e-05,
        7.299611130537799e-05,
        6.923925021200607e-05,
        6.567031553363751e-05,
        6.227806606818222e-05,
        5.905239781379973e-05,
        5.598512111791253e-05,
        5.3069976190059136e-05,
        5.030181034381036e-05,
        4.767536418609105e-05,
        4.518434496878933e-05,
        4.282130013225052e-05,
        4.057835313426982e-05,
        3.844836898325579e-05,
        3.6425851141024994e-05,
        3.4507022647161415e-05,
        3.268906010938719e-05,
        3.096898218899907e-05,
        2.9342855409014192e-05,
        2.780569989043663e-05,
        2.6352022325292573e-05,
        2.4976577646552e-05,
        2.3674904570087855e-05,
        2.2443374289854852e-05,
        2.127880485252826e-05,
        2.0177934612183337e-05,
        1.9137081184523605e-05,
        1.8152156412026074e-05,
        1.721899369183508e-05,
        1.6333792963096042e-05,
        1.549345394624035e-05,
        1.4695647364227595e-05,
        1.393862112405076e-05,
        1.322087154346567e-05,
        1.2540852346976953e-05,
        1.1896834911229341e-05,
        1.128693026022063e-05,
        1.0709206892419897e-05,
        1.0161819493024665e-05,
        9.643089915539897e-06,
        9.151523842898217e-06,
        8.685779249782764e-06,
        8.244615146409601e-06,
        7.826843812504063e-06,
        7.431297491445952e-06,
        7.056811379353094e-06,
        6.7022218097199126e-06,
        6.3663783014459574e-06,
        6.048166309619705e-06,
        5.7465337578932745e-06,
        5.460511948053087e-06,
        5.189223235294702e-06,
        4.931873763179554e-06,
        4.687736272751739e-06,
        4.456131565396821e-06,
        4.236415778340121e-06,
        4.027975642671894e-06,
        3.830228797739069e-06,
        3.6426241243043566e-06,
        3.4646387397215114e-06,
        3.2957720263398802e-06,
        3.135539982880709e-06
      ]
    }
  ],
  "t2": [
    {
      "final_loss": 3.1466587198517833e-06,
      "best_loss": 3.1466587198517833e-06,
      "loss_at_60": 0.0010666463212231352,
      "loss_at_120": 4.9547580980047666e-05,
      "mean_update_smoothness": 1.2405738930969596,
      "median_update_smoothness": 1.214674106127041,
      "mean_reported_residual": 0.8996656985670054,
      "wall_seconds": 0.10187220299849287,
      "ns_matrix_multiplications": 360,
      "loss_curve": [
        0.22461310649097233,
        0.21615501908324763,
        0.20456213944613813,
        0.19063093260154906,
        0.17514336115169674,
        0.15882754743048652,
        0.14232894570071483,
        0.1261915025925263,
        0.11084787187605011,
        0.09661747167767254,
        0.08371101857734099,
        0.07224012554614807,
        0.062230584357052386,
        0.053638038361187655,
        0.04636485821888964,
        0.04027713640349155,
        0.03522080411351825,
        0.03103595634896189,
        0.027568584529517687,
        0.024679119133825835,
        0.022247524391083417,
        0.020175145092854098,
        0.01838396388522027,
        0.016814209614468775,
        0.015421247755122602,
        0.014172423755653168,
        0.013044190277176881,
        0.012019603573281613,
        0.01108618985769183,
        0.010234208493395866,
        0.009455376031629114,
        0.008742097104455185,
        0.008087174146236957,
        0.007483879444747941,
        0.0069262126154516655,
        0.006409156571891356,
        0.00592878952488965,
        0.005482198478554581,
        0.005067238067189158,
        0.004682237964341094,
        0.004325755038757006,
        0.003996415060681405,
        0.0036928377871298327,
        0.0034136144115453674,
        0.003157306269187686,
        0.002922445473027381,
        0.0027075309854274667,
        0.0025110225574609003,
        0.002331339281160385,
        0.00216687014223934,
        0.0020160018926878727,
        0.0018771653713580648,
        0.0017488957345966807,
        0.0016298962185855113,
        0.0015190911320046997,
        0.0014156540114751294,
        0.0013190023137453644,
        0.0012287592608842,
        0.0011446927307993634,
        0.0010666463212231352,
        0.000994477154800988,
        0.0009280100665891889,
        0.0008670116236473422,
        0.0008111825272017784,
        0.0007601642855333206,
        0.000713555268510422,
        0.0006709315498982903,
        0.0006318686450070009,
        0.0005959610402704914,
        0.0005628372500533144,
        0.0005321690942556591,
        0.0005036749738679268,
        0.00047711798164452694,
        0.00045230046177720734,
        0.00042905690836035794,
        0.00040724684079425697,
        0.0003867487041296493,
        0.00036745520422890206,
        0.0003492700335738313,
        0.00033210575115519405,
        0.00031588258047303614,
        0.0003005279486578345,
        0.0002859765984527507,
        0.0002721710354690647,
        0.0002590619774959365,
        0.0002466084359859462,
        0.00023477714113062382,
        0.00022354121456189324,
        0.0002128782279267643,
        0.00020276796937102582,
        0.00019319031032207607,
        0.00018412351587888511,
        0.0001755432154833331,
        0.00016742210396200523,
        0.00015973032000913767,
        0.00015243636708419647,
        0.0001455083964488219,
        0.00013891565061733012,
        0.0001326298577389038,
        0.00012662637304886525,
        0.0001208848916099545,
        0.00011538961782781578,
        0.00011012887223151465,
        0.00010509422711870227,
        0.00010027935755361454,
        9.56788412870697e-05,
        9.128712682939293e-05,
        8.709782387547787e-05,
        8.310338135750994e-05,
        7.929513342574672e-05,
        7.566363060251514e-05,
        7.219913828331647e-05,
        6.889217596722774e-05,
        6.57339836050122e-05,
        6.271683142345282e-05,
        5.983413097830175e-05,
        5.708035055339428e-05,
        5.445077813532334e-05,
        5.19412013474995e-05,
        4.9547580980047666e-05,
        4.726578386671072e-05,
        4.5091417586538765e-05,
        4.301978172042142e-05,
        4.104592518716923e-05,
        3.916478090712248e-05,
        3.737133935562815e-05,
        3.566082125102615e-05,
        3.402881543092695e-05,
        3.247135907263598e-05,
        3.098495144416759e-05,
        2.956650651765751e-05,
        2.8213261184419964e-05,
        2.6922662301298007e-05,
        2.5692256525557815e-05,
        2.4519602550710312e-05,
        2.340221777844258e-05,
        2.233756289695523e-05,
        2.1323060223521776e-05,
        2.0356136251949467e-05,
        1.9434276127187658e-05,
        1.855507767653179e-05,
        1.771629470853755e-05,
        1.6915862862264305e-05,
        1.6151905530818022e-05,
        1.5422721442066703e-05,
        1.472675861036207e-05,
        1.4062581089254414e-05,
        1.3428835130287679e-05,
        1.2824220219686594e-05,
        1.2247468505598982e-05,
        1.1697333908987437e-05,
        1.1172590224515081e-05,
        1.0672036090456382e-05,
        1.0194503975326098e-05,
        9.738870267680942e-06,
        9.304064026345172e-06,
        8.889072752857884e-06,
        8.492944472681253e-06,
        8.114786264492454e-06,
        7.753760015128224e-06,
        7.409076525882606e-06,
        7.079989148854951e-06,
        6.76578794431732e-06,
        6.465795013058701e-06,
        6.179361273061587e-06,
        5.905864605929239e-06,
        5.644709054636506e-06,
        5.395324635571651e-06,
        5.157167328410952e-06,
        4.929718898466221e-06,
        4.712486347466219e-06,
        4.505000938983536e-06,
        4.3068168701102435e-06,
        4.117509740460642e-06,
        3.9366749964081245e-06,
        3.763926508571557e-06,
        3.598895388559055e-06,
        3.4412290851620778e-06,
        3.29059073789255e-06,
        3.1466587198517833e-06
      ]
    },
    {
      "final_loss": 1.4241653993252626e-06,
      "best_loss": 1.4241653993252626e-06,
      "loss_at_60": 0.0011370351223864812,
      "loss_at_120": 3.57886073131856e-05,
      "mean_update_smoothness": 1.231797166174349,
      "median_update_smoothness": 1.214938691912254,
      "mean_reported_residual": 0.9213402298838803,
      "wall_seconds": 0.09860119900258724,
      "ns_matrix_multiplications": 360,
      "loss_curve": [
        0.22388033265634824,
        0.21519047969819782,
        0.20328843549570216,
        0.18899979926842495,
        0.17313492572818404,
        0.15644767184844066,
        0.13960535273350327,
        0.12316935861423434,
        0.10758541124178068,
        0.09318210697097062,
        0.08017619830237747,
        0.06868299170519702,
        0.05873026886111695,
        0.05027425036594516,
        0.04321629418077355,
        0.03741923547938867,
        0.03272251170380935,
        0.028955460666629795,
        0.025948416439753385,
        0.023541444397877906,
        0.021590739360237133,
        0.019972844241405607,
        0.018586917306189644,
        0.017355280729793688,
        0.016222443799293634,
        0.01515276771675575,
        0.014126996682973028,
        0.013138044342487139,
        0.012186612198188347,
        0.011277274193954833,
        0.01041550217248434,
        0.009605801055143574,
        0.008850833483429445,
        0.008151256957181946,
        0.007505979197433906,
        0.0069125998991752076,
        0.006367887633896267,
        0.0058682061997434335,
        0.005409848189503627,
        0.00498926111388483,
        0.004603171070906229,
        0.004248624156201505,
        0.003922974868661362,
        0.0036238508687515465,
        0.0033491151987400506,
        0.0030968352435640618,
        0.0028652580950558615,
        0.002652787845588623,
        0.0024579612876519403,
        0.0022794218579930818,
        0.002115894645692592,
        0.001966166370272774,
        0.0018290733680113302,
        0.0017034985921737477,
        0.001588376388369109,
        0.0014827020781324636,
        0.001385542590201365,
        0.001296044656465924,
        0.0012134383041326826,
        0.0011370351223864812,
        0.0010662224649012986,
        0.0010004557868718022,
        0.0009392513885958946,
        0.0008821810335112947,
        0.0008288686575153894,
        0.0007789882485893766,
        0.0007322614019169854,
        0.0006884532250103847,
        0.0006473660405900817,
        0.0006088313283427817,
        0.0005727011103137588,
        0.000538840215882958,
        0.000507120536677622,
        0.00047741772307612805,
        0.0004496100972480346,
        0.00042357910383386364,
        0.0003992104751708815,
        0.00037639540356999715,
        0.00035503127027107544,
        0.0003350217605158705,
        0.00031627641757703474,
        0.0002987098249833523,
        0.00028224066057383804,
        0.00026679085895109285,
        0.00025228507140406873,
        0.00023865054015910337,
        0.0002258174184479932,
        0.00021371947991571133,
        0.0002022950820317117,
        0.00019148819146936396,
        0.00018124925747607296,
        0.00017153574037998576,
        0.00016231216566997976,
        0.00015354966628274157,
        0.00014522507327490583,
        0.0001373196922303952,
        0.00012981794205353992,
        0.00012270603121816915,
        0.00011597081401925031,
        0.00010959892142420681,
        0.00010357621119347272,
        9.788753775726543e-05,
        9.251680661197865e-05,
        8.744725114484234e-05,
        8.266185213650268e-05,
        7.814381267803567e-05,
        7.387700489587823e-05,
        6.984631973622642e-05,
        6.603787524723345e-05,
        6.243906827353939e-05,
        5.903848367964267e-05,
        5.58256984941332e-05,
        5.2791031643830714e-05,
        4.992529186236406e-05,
        4.721956833324321e-05,
        4.466509397243266e-05,
        4.225319387020282e-05,
        3.9975314727040717e-05,
        3.7823117591541905e-05,
        3.57886073131856e-05,
        3.386426854744464e-05,
        3.2043179941218e-05,
        3.0319084677657358e-05,
        2.8686405534044404e-05,
        2.714020398303627e-05,
        2.567609327370614e-05,
        2.4290122737098394e-05,
        2.297865351435626e-05,
        2.1738244457626817e-05,
        2.0565562153186103e-05,
        1.945732251670463e-05,
        1.8410264879949814e-05,
        1.742115417340515e-05,
        1.6486803371904602e-05,
        1.5604106944442622e-05,
        1.4770076400905055e-05,
        1.3981870715837708e-05,
        1.3236816900178063e-05,
        1.2532418742270862e-05,
        1.1866354256802271e-05,
        1.1236464281912372e-05,
        1.0640735727897911e-05,
        1.0077283167205858e-05,
        9.544331897497248e-06,
        9.040204561070004e-06,
        8.563312168322829e-06,
        8.112149232925867e-06,
        7.685291891472015e-06,
        7.281397460393478e-06,
        6.899203885760944e-06,
        6.537527889806136e-06,
        6.195261177460773e-06,
        5.8713646808705364e-06,
        5.564861346916422e-06,
        5.2748283112033385e-06,
        5.0003894083176765e-06,
        4.740708856731981e-06,
        4.494986685851733e-06,
        4.262456122989826e-06,
        4.042382810477728e-06,
        3.834065442472198e-06,
        3.6368372373605027e-06,
        3.450067608953622e-06,
        3.273163459104548e-06,
        3.1055696602848894e-06,
        2.946768493047927e-06,
        2.7962780108865223e-06,
        2.6536494876906532e-06,
        2.518464233670215e-06,
        2.390330129817472e-06,
        2.2688782281973652e-06,
        2.1537597071221206e-06,
        2.044643376128256e-06,
        1.9412138179803256e-06,
        1.8431701540185129e-06,
        1.7502253399900588e-06,
        1.6621058500985673e-06,
        1.578551588720556e-06,
        1.4993158781286785e-06,
        1.4241653993252626e-06
      ]
    },
    {
      "final_loss": 7.718487198524172e-07,
      "best_loss": 7.718487198524172e-07,
      "loss_at_60": 0.0006745411304543133,
      "loss_at_120": 1.64088585697724e-05,
      "mean_update_smoothness": 1.1953332912016064,
      "median_update_smoothness": 1.1801692902486354,
      "mean_reported_residual": 0.8889228689851627,
      "wall_seconds": 0.09714868500304874,
      "ns_matrix_multiplications": 360,
      "loss_curve": [
        0.2231958944569287,
        0.2148081134435833,
        0.20330760173354215,
        0.18948003848033737,
        0.17409596448932418,
        0.1578721620492395,
        0.1414435845733751,
        0.12534531641446262,
        0.11000359517149999,
        0.09573461556488706,
        0.08274964929100752,
        0.07116494648176906,
        0.06101491425762221,
        0.05226717643174635,
        0.04483828466128009,
        0.03860905448730853,
        0.033438720416623324,
        0.029177325547725636,
        0.025675969677863116,
        0.022794726147084474,
        0.020408197864973908,
        0.01840881829778396,
        0.01670811861606568,
        0.015236282290838593,
        0.013940391783264785,
        0.012781827600641263,
        0.011733290277505587,
        0.010775867269204218,
        0.009896462188551156,
        0.009085766362222672,
        0.00833681653766784,
        0.007644077411366587,
        0.00700292769114214,
        0.006409411807402955,
        0.005860134628765656,
        0.005352209137811525,
        0.0048832035689551695,
        0.004451065183800827,
        0.004054018438397053,
        0.003690446970228524,
        0.0033587748768411137,
        0.003057364888036132,
        0.0027844489597302438,
        0.002538100641900099,
        0.002316250427976124,
        0.00211673762854799,
        0.0019373846538185025,
        0.0017760719301261431,
        0.0016307930895356848,
        0.0014996852758665281,
        0.0013810428465531183,
        0.0012733237551894438,
        0.0011751532354937518,
        0.001085325859305756,
        0.0010028054232309978,
        0.0009267215034617036,
        0.0008563614155616149,
        0.0007911566735517568,
        0.0007306638790213578,
        0.0006745411304543133,
        0.0006225221464671141,
        0.0005743908984812257,
        0.0005299593927969546,
        0.0004890504181799864,
        0.0004514859443703188,
        0.0004170808273715971,
        0.00038564080710074255,
        0.0003569635243008922,
        0.00033084134419757416,
        0.0003070650112458156,
        0.0002854274465553957,
        0.0002657272567452447,
        0.0002477717162468859,
        0.00023137911523630206,
        0.00021638045119609745,
        0.00020262050411183326,
        0.00018995838407906773,
        0.00017826767276517207,
        0.00016743628591177462,
        0.00015736615535833038,
        0.0001479727718531796,
        0.0001391845659111793,
        0.00013094206257111343,
        0.0001231967493120427,
        0.00011590964644650622,
        0.0001090496446558955,
        0.0001025917409610331,
        9.651533374492966e-05,
        9.080272034252353e-05,
        8.543788908950413e-05,
        8.040563468004082e-05,
        7.569097265206166e-05,
        7.127879751946791e-05,
        6.715372050067571e-05,
        6.3300030736587e-05,
        5.970173950368734e-05,
        5.6342682333919506e-05,
        5.320666426157701e-05,
        5.0277637245252904e-05,
        4.753989763606276e-05,
        4.4978288377331694e-05,
        4.2578388471390463e-05,
        4.0326673113745636e-05,
        3.8210632169336717e-05,
        3.6218841275418135e-05,
        3.4340986855348524e-05,
        3.2567851744938795e-05,
        3.0891270748209544e-05,
        2.9304065197070134e-05,
        2.779996347834264e-05,
        2.637351197217994e-05,
        2.501997913145725e-05,
        2.3735254992435843e-05,
        2.2515748923286597e-05,
        2.1358289140930916e-05,
        2.0260027789639367e-05,
        1.92183549348801e-05,
        1.8230823891367503e-05,
        1.7295089294461734e-05,
        1.64088585697724e-05,
        1.5569857029925553e-05,
        1.4775806570552182e-05,
        1.4024417611762823e-05,
        1.3313393381679173e-05,
        1.264044487253588e-05,
        1.2003313967168575e-05,
        1.1399801544112955e-05,
        1.0827797003822997e-05,
        1.028530571153314e-05,
        9.770471319576994e-06,
        9.281590730021468e-06,
        8.817120459799339e-06,
        8.375674236299218e-06,
        7.956012652179664e-06,
        7.557026533160109e-06,
        7.177716233982014e-06,
        6.8171693182912425e-06,
        6.474538982156332e-06,
        6.149025183382477e-06,
        5.839859824040697e-06,
        5.546296619069508e-06,
        5.26760559312856e-06,
        5.003071583902571e-06,
        4.751995756410039e-06,
        4.513698968972592e-06,
        4.287525858916167e-06,
        4.0728486911654864e-06,
        3.8690702803387045e-06,
        3.675625600782137e-06,
        3.491981990091992e-06,
        3.317638092251148e-06,
        3.1521218524573075e-06,
        2.994987957492858e-06,
        2.845815117467358e-06,
        2.7042035228332044e-06,
        2.56977270797106e-06,
        2.4421599348073573e-06,
        2.321019099587841e-06,
        2.2060200795988818e-06,
        2.096848383130103e-06,
        1.993204946861142e-06,
        1.894805936002733e-06,
        1.8013824361120214e-06,
        1.7126799719153345e-06,
        1.6284578378827106e-06,
        1.5484882690041725e-06,
        1.4725555117250437e-06,
        1.4004548707741514e-06,
        1.331991807346937e-06,
        1.2669811503315892e-06,
        1.2052464595148054e-06,
        1.1466195532981345e-06,
        1.0909401883807473e-06,
        1.0380558589454298e-06,
        9.878216704087945e-07,
        9.40100238528432e-07,
        8.94761568098365e-07,
        8.51682875182994e-07,
        8.107483308047952e-07,
        7.718487198524172e-07
      ]
    }
  ],
  "adaptive": [
    {
      "final_loss": 3.5073554997896445e-06,
      "best_loss": 3.5073554997896445e-06,
      "loss_at_60": 0.0010666463212231352,
      "loss_at_120": 4.9547580980047666e-05,
      "mean_update_smoothness": 1.5653519232442334,
      "median_update_smoothness": 1.4169627393718718,
      "mean_reported_residual": 0.8986427340902152,
      "wall_seconds": 0.10817716400197241,
      "ns_matrix_multiplications": 470,
      "loss_curve": [
        0.22461310649097233,
        0.21615501908324763,
        0.20456213944613813,
        0.19063093260154906,
        0.17514336115169674,
        0.15882754743048652,
        0.14232894570071483,
        0.1261915025925263,
        0.11084787187605011,
        0.09661747167767254,
        0.08371101857734099,
        0.07224012554614807,
        0.062230584357052386,
        0.053638038361187655,
        0.04636485821888964,
        0.04027713640349155,
        0.03522080411351825,
        0.03103595634896189,
        0.027568584529517687,
        0.024679119133825835,
        0.022247524391083417,
        0.020175145092854098,
        0.01838396388522027,
        0.016814209614468775,
        0.015421247755122602,
        0.014172423755653168,
        0.013044190277176881,
        0.012019603573281613,
        0.01108618985769183,
        0.010234208493395866,
        0.009455376031629114,
        0.008742097104455185,
        0.008087174146236957,
        0.007483879444747941,
        0.0069262126154516655,
        0.006409156571891356,
        0.00592878952488965,
        0.005482198478554581,
        0.005067238067189158,
        0.004682237964341094,
        0.004325755038757006,
        0.003996415060681405,
        0.0036928377871298327,
        0.0034136144115453674,
        0.003157306269187686,
        0.002922445473027381,
        0.0027075309854274667,
        0.0025110225574609003,
        0.002331339281160385,
        0.00216687014223934,
        0.0020160018926878727,
        0.0018771653713580648,
        0.0017488957345966807,
        0.0016298962185855113,
        0.0015190911320046997,
        0.0014156540114751294,
        0.0013190023137453644,
        0.0012287592608842,
        0.0011446927307993634,
        0.0010666463212231352,
        0.000994477154800988,
        0.0009280100665891889,
        0.0008670116236473422,
        0.0008111825272017784,
        0.0007601642855333206,
        0.000713555268510422,
        0.0006709315498982903,
        0.0006318686450070009,
        0.0005959610402704914,
        0.0005628372500533144,
        0.0005321690942556591,
        0.0005036749738679268,
        0.00047711798164452694,
        0.00045230046177720734,
        0.00042905690836035794,
        0.00040724684079425697,
        0.0003867487041296493,
        0.00036745520422890206,
        0.0003492700335738313,
        0.00033210575115519405,
        0.00031588258047303614,
        0.0003005279486578345,
        0.0002859765984527507,
        0.0002721710354690647,
        0.0002590619774959365,
        0.0002466084359859462,
        0.00023477714113062382,
        0.00022354121456189324,
        0.0002128782279267643,
        0.00020276796937102582,
        0.00019319031032207607,
        0.00018412351587888511,
        0.0001755432154833331,
        0.00016742210396200523,
        0.00015973032000913767,
        0.00015243636708419647,
        0.0001455083964488219,
        0.00013891565061733012,
        0.0001326298577389038,
        0.00012662637304886525,
        0.0001208848916099545,
        0.00011538961782781578,
        0.00011012887223151465,
        0.00010509422711870227,
        0.00010027935755361454,
        9.56788412870697e-05,
        9.128712682939293e-05,
        8.709782387547787e-05,
        8.310338135750994e-05,
        7.929513342574672e-05,
        7.566363060251514e-05,
        7.219913828331647e-05,
        6.889217596722774e-05,
        6.57339836050122e-05,
        6.271683142345282e-05,
        5.983413097830175e-05,
        5.708035055339428e-05,
        5.445077813532334e-05,
        5.19412013474995e-05,
        4.9547580980047666e-05,
        4.726578386671072e-05,
        4.5091417586538765e-05,
        4.301978172042142e-05,
        4.104592518716923e-05,
        3.916478090712248e-05,
        3.759958258029707e-05,
        3.610999242861737e-05,
        3.468014953839902e-05,
        3.329701643753232e-05,
        3.195233652853604e-05,
        3.064315428127959e-05,
        2.9370724840501367e-05,
        2.8138384413813536e-05,
        2.6949389093479725e-05,
        2.5805538302184147e-05,
        2.470683874156183e-05,
        2.3651973183935115e-05,
        2.2639111775581993e-05,
        2.1666614477475564e-05,
        2.0733344360532747e-05,
        1.983855920299634e-05,
        1.8981559704730066e-05,
        1.8161347181964754e-05,
        1.7376473730406175e-05,
        1.6625131130769113e-05,
        1.5905405702210973e-05,
        1.521556604219671e-05,
        1.455425502024238e-05,
        1.3920515377908104e-05,
        1.331366192644598e-05,
        1.2733080538120025e-05,
        1.2178051880260703e-05,
        1.1647665823858654e-05,
        1.1140838632013285e-05,
        1.0656400316913003e-05,
        1.0193199906044804e-05,
        9.75018230418784e-06,
        9.326413552784291e-06,
        8.921058993891996e-06,
        8.533338522597296e-06,
        8.162487376431269e-06,
        7.807740966705885e-06,
        7.4683459660162785e-06,
        7.1435862528679845e-06,
        6.832806973884719e-06,
        6.535423580093125e-06,
        6.250911864764825e-06,
        5.9787845428552435e-06,
        5.718565277075287e-06,
        5.469770548185744e-06,
        5.2319047701965125e-06,
        5.004467715252548e-06,
        4.7869686647541896e-06,
        4.578940346207662e-06,
        4.379947496015273e-06,
        4.189588342075856e-06,
        4.0074905448777605e-06,
        3.833304809563904e-06,
        3.6666991714304283e-06,
        3.5073554997896445e-06
      ]
    },
    {
      "final_loss": 1.6424539258707878e-06,
      "best_loss": 1.6424539258707878e-06,
      "loss_at_60": 0.0011370351223864812,
      "loss_at_120": 3.57886073131856e-05,
      "mean_update_smoothness": 1.522237671996402,
      "median_update_smoothness": 1.3984988963818656,
      "mean_reported_residual": 0.9202692419882584,
      "wall_seconds": 0.09624275700480212,
      "ns_matrix_multiplications": 470,
      "loss_curve": [
        0.22388033265634824,
        0.21519047969819782,
        0.20328843549570216,
        0.18899979926842495,
        0.17313492572818404,
        0.15644767184844066,
        0.13960535273350327,
        0.12316935861423434,
        0.10758541124178068,
        0.09318210697097062,
        0.08017619830237747,
        0.06868299170519702,
        0.05873026886111695,
        0.05027425036594516,
        0.04321629418077355,
        0.03741923547938867,
        0.03272251170380935,
        0.028955460666629795,
        0.025948416439753385,
        0.023541444397877906,
        0.021590739360237133,
        0.019972844241405607,
        0.018586917306189644,
        0.017355280729793688,
        0.016222443799293634,
        0.01515276771675575,
        0.014126996682973028,
        0.013138044342487139,
        0.012186612198188347,
        0.011277274193954833,
        0.01041550217248434,
        0.009605801055143574,
        0.008850833483429445,
        0.008151256957181946,
        0.007505979197433906,
        0.0069125998991752076,
        0.006367887633896267,
        0.0058682061997434335,
        0.005409848189503627,
        0.00498926111388483,
        0.004603171070906229,
        0.004248624156201505,
        0.003922974868661362,
        0.0036238508687515465,
        0.0033491151987400506,
        0.0030968352435640618,
        0.0028652580950558615,
        0.002652787845588623,
        0.0024579612876519403,
        0.0022794218579930818,
        0.002115894645692592,
        0.001966166370272774,
        0.0018290733680113302,
        0.0017034985921737477,
        0.001588376388369109,
        0.0014827020781324636,
        0.001385542590201365,
        0.001296044656465924,
        0.0012134383041326826,
        0.0011370351223864812,
        0.0010662224649012986,
        0.0010004557868718022,
        0.0009392513885958946,
        0.0008821810335112947,
        0.0008288686575153894,
        0.0007789882485893766,
        0.0007322614019169854,
        0.0006884532250103847,
        0.0006473660405900817,
        0.0006088313283427817,
        0.0005727011103137588,
        0.000538840215882958,
        0.000507120536677622,
        0.00047741772307612805,
        0.0004496100972480346,
        0.00042357910383386364,
        0.0003992104751708815,
        0.00037639540356999715,
        0.00035503127027107544,
        0.0003350217605158705,
        0.00031627641757703474,
        0.0002987098249833523,
        0.00028224066057383804,
        0.00026679085895109285,
        0.00025228507140406873,
        0.00023865054015910337,
        0.0002258174184479932,
        0.00021371947991571133,
        0.0002022950820317117,
        0.00019148819146936396,
        0.00018124925747607296,
        0.00017153574037998576,
        0.00016231216566997976,
        0.00015354966628274157,
        0.00014522507327490583,
        0.0001373196922303952,
        0.00012981794205353992,
        0.00012270603121816915,
        0.00011597081401925031,
        0.00010959892142420681,
        0.00010357621119347272,
        9.788753775726543e-05,
        9.251680661197865e-05,
        8.744725114484234e-05,
        8.266185213650268e-05,
        7.814381267803567e-05,
        7.387700489587823e-05,
        6.984631973622642e-05,
        6.603787524723345e-05,
        6.243906827353939e-05,
        5.903848367964267e-05,
        5.58256984941332e-05,
        5.2791031643830714e-05,
        4.992529186236406e-05,
        4.721956833324321e-05,
        4.466509397243266e-05,
        4.225319387020282e-05,
        3.9975314727040717e-05,
        3.7823117591541905e-05,
        3.57886073131856e-05,
        3.386426854744464e-05,
        3.2043179941218e-05,
        3.0319084677657358e-05,
        2.8686405534044404e-05,
        2.714020398303627e-05,
        2.585229610935087e-05,
        2.4635652607367083e-05,
        2.3480084689269258e-05,
        2.2376173465278898e-05,
        2.131631112682497e-05,
        2.029542129750966e-05,
        1.9311152998490154e-05,
        1.836345804539555e-05,
        1.7453678230680196e-05,
        1.65834622277504e-05,
        1.575386766152583e-05,
        1.4964869952670133e-05,
        1.4215308338923116e-05,
        1.3503162698225082e-05,
        1.282600228501801e-05,
        1.2181450318812566e-05,
        1.156753595953586e-05,
        1.098285016659998e-05,
        1.042648686303435e-05,
        9.897824020310879e-06,
        9.396250131704614e-06,
        8.920944236242515e-06,
        8.470776037495253e-06,
        8.044335685049915e-06,
        7.640058529789574e-06,
        7.256389322134951e-06,
        6.891929917112771e-06,
        6.5455284349052375e-06,
        6.216291051547645e-06,
        5.903524326098904e-06,
        5.606637716028965e-06,
        5.325044605565447e-06,
        5.058093544509941e-06,
        4.80504480426648e-06,
        4.5650895975093565e-06,
        4.337397010284187e-06,
        4.121169012421911e-06,
        3.915685769728064e-06,
        3.7203296685922855e-06,
        3.534584656364146e-06,
        3.3580153534379685e-06,
        3.190235684939324e-06,
        3.030878092725284e-06,
        2.879571840971174e-06,
        2.7359341548660945e-06,
        2.5995731359364327e-06,
        2.4700982101302643e-06,
        2.3471328157399422e-06,
        2.230324773762897e-06,
        2.119351579221979e-06,
        2.0139199810246193e-06,
        1.913761075079491e-06,
        1.8186232718895873e-06,
        1.728265696726413e-06,
        1.6424539258707878e-06
      ]
    },
    {
      "final_loss": 1.0681104809725589e-06,
      "best_loss": 1.0681104809725589e-06,
      "loss_at_60": 0.0006745411304543133,
      "loss_at_120": 1.64088585697724e-05,
      "mean_update_smoothness": 1.524644443025292,
      "median_update_smoothness": 1.2528726168032227,
      "mean_reported_residual": 0.8851442125261927,
      "wall_seconds": 0.09763248299714178,
      "ns_matrix_multiplications": 470,
      "loss_curve": [
        0.2231958944569287,
        0.2148081134435833,
        0.20330760173354215,
        0.18948003848033737,
        0.17409596448932418,
        0.1578721620492395,
        0.1414435845733751,
        0.12534531641446262,
        0.11000359517149999,
        0.09573461556488706,
        0.08274964929100752,
        0.07116494648176906,
        0.06101491425762221,
        0.05226717643174635,
        0.04483828466128009,
        0.03860905448730853,
        0.033438720416623324,
        0.029177325547725636,
        0.025675969677863116,
        0.022794726147084474,
        0.020408197864973908,
        0.01840881829778396,
        0.01670811861606568,
        0.015236282290838593,
        0.013940391783264785,
        0.012781827600641263,
        0.011733290277505587,
        0.010775867269204218,
        0.009896462188551156,
        0.009085766362222672,
        0.00833681653766784,
        0.007644077411366587,
        0.00700292769114214,
        0.006409411807402955,
        0.005860134628765656,
        0.005352209137811525,
        0.0048832035689551695,
        0.004451065183800827,
        0.004054018438397053,
        0.003690446970228524,
        0.0033587748768411137,
        0.003057364888036132,
        0.0027844489597302438,
        0.002538100641900099,
        0.002316250427976124,
        0.00211673762854799,
        0.0019373846538185025,
        0.0017760719301261431,
        0.0016307930895356848,
        0.0014996852758665281,
        0.0013810428465531183,
        0.0012733237551894438,
        0.0011751532354937518,
        0.001085325859305756,
        0.0010028054232309978,
        0.0009267215034617036,
        0.0008563614155616149,
        0.0007911566735517568,
        0.0007306638790213578,
        0.0006745411304543133,
        0.0006225221464671141,
        0.0005743908984812257,
        0.0005299593927969546,
        0.0004890504181799864,
        0.0004514859443703188,
        0.0004170808273715971,
        0.00038564080710074255,
        0.0003569635243008922,
        0.00033084134419757416,
        0.0003070650112458156,
        0.0002854274465553957,
        0.0002657272567452447,
        0.0002477717162468859,
        0.00023137911523630206,
        0.00021638045119609745,
        0.00020262050411183326,
        0.00018995838407906773,
        0.00017826767276517207,
        0.00016743628591177462,
        0.00015736615535833038,
        0.0001479727718531796,
        0.0001391845659111793,
        0.00013094206257111343,
        0.0001231967493120427,
        0.00011590964644650622,
        0.0001090496446558955,
        0.0001025917409610331,
        9.651533374492966e-05,
        9.080272034252353e-05,
        8.543788908950413e-05,
        8.040563468004082e-05,
        7.569097265206166e-05,
        7.127879751946791e-05,
        6.715372050067571e-05,
        6.3300030736587e-05,
        5.970173950368734e-05,
        5.6342682333919506e-05,
        5.320666426157701e-05,
        5.0277637245252904e-05,
        4.753989763606276e-05,
        4.4978288377331694e-05,
        4.2578388471390463e-05,
        4.0326673113745636e-05,
        3.8210632169336717e-05,
        3.6218841275418135e-05,
        3.4340986855348524e-05,
        3.2567851744938795e-05,
        3.0891270748209544e-05,
        2.9304065197070134e-05,
        2.779996347834264e-05,
        2.637351197217994e-05,
        2.501997913145725e-05,
        2.3735254992435843e-05,
        2.2515748923286597e-05,
        2.1358289140930916e-05,
        2.0260027789639367e-05,
        1.92183549348801e-05,
        1.8230823891367503e-05,
        1.7295089294461734e-05,
        1.64088585697724e-05,
        1.5569857029925553e-05,
        1.4775806570552182e-05,
        1.4024417611762823e-05,
        1.3313393381679173e-05,
        1.264044487253588e-05,
        1.2122119938807762e-05,
        1.163731754991141e-05,
        1.1180842711153263e-05,
        1.0747545756646847e-05,
        1.0332786077019151e-05,
        9.932839192638585e-06,
        9.54516896598922e-06,
        9.168492521255346e-06,
        8.802611556015897e-06,
        8.448057917033206e-06,
        8.105662899525472e-06,
        7.776171503370128e-06,
        7.459984077615799e-06,
        7.157049745540162e-06,
        6.866890394096251e-06,
        6.58871212428307e-06,
        6.3215574708562095e-06,
        6.064457222572091e-06,
        5.816550095121689e-06,
        5.577150843271042e-06,
        5.345762420030576e-06,
        5.1220429584622306e-06,
        4.905748919961325e-06,
        4.69667799095614e-06,
        4.494629491770854e-06,
        4.299390036569198e-06,
        4.110742319305107e-06,
        3.928487807988453e-06,
        3.752470799387299e-06,
        3.582592172307643e-06,
        3.418806217919511e-06,
        3.261101514021989e-06,
        3.109473578877864e-06,
        2.9638996624335898e-06,
        2.8243236465571882e-06,
        2.690653713560692e-06,
        2.562770313863993e-06,
        2.4405389956023784e-06,
        2.3238221709347964e-06,
        2.212485341682488e-06,
        2.10639597798088e-06,
        2.005416280485752e-06,
        1.909393386737403e-06,
        1.8181513184817072e-06,
        1.7314879769902288e-06,
        1.6491784602412242e-06,
        1.5709838628796744e-06,
        1.496663207576786e-06,
        1.4259854925703792e-06,
        1.3587390139674154e-06,
        1.29473602241632e-06,
        1.2338121791170722e-06,
        1.1758217847684248e-06,
        1.1206308603130293e-06,
        1.0681104809725589e-06
      ]
    }
  ]
}
2467}