Nadav commited on
Commit
6481317
·
1 Parent(s): 8580868

Training in progress, step 84000

Browse files
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:fa18273b70d491eaa5025ed293dbec2872460308941461436c3d204daeec387a
3
  size 893439185
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ab17c9f13980d1fc626350d9ef1009d379c344e9a4fccc30c153ef4f590904bc
3
  size 893439185
last-checkpoint/pytorch_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3ef4bdbb6fee9cd2d46e38e4eb7c51276020d9f7bc5703ea4eb326cc527f1b70
3
  size 449471589
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c8fa34a40904c9f23d3417c38f65447e9143354e0098753c536a2fa1a7261c83
3
  size 449471589
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:0bc299c53ef98ad8d49f4cbf9608f6beb158f6a7435341bf3570510d7e107e3f
3
  size 19603
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:71b30790d191e2fef611abbe5240f15e1b86de91a8a958633887ef1fa6979fe1
3
  size 19603
last-checkpoint/scaler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:9bf2e0b9a7c45d30a9f905fa7c599727b15a6a2e195b3aad91f079ed0c3d74ac
3
  size 559
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:79a071805bd9a8c99c80f845603782cc9b816f29247faf9389784c16dce99d08
3
  size 559
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:27ad31c91e1a93f1c2756cd02052450a4900016e8e570a1bb085b4db5443562b
3
  size 623
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:92074e826b3699f7f62a9ab24a043f632de1a777562dd7014859ef8b7e5fcd21
3
  size 623
last-checkpoint/trainer_state.json CHANGED
@@ -1,8 +1,8 @@
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
- "epoch": 14.96880163281174,
5
- "global_step": 82000,
6
  "is_hyper_param_search": false,
7
  "is_local_process_zero": true,
8
  "is_world_process_zero": true,
@@ -99062,11 +99062,2427 @@
99062
  "eval_samples_per_second": 111.365,
99063
  "eval_steps_per_second": 1.18,
99064
  "step": 82000
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
99065
  }
99066
  ],
99067
  "max_steps": 100000,
99068
  "num_train_epochs": 20,
99069
- "total_flos": 8.622796081904339e+21,
99070
  "trial_name": null,
99071
  "trial_params": null
99072
  }
 
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
+ "epoch": 15.357663524152008,
5
+ "global_step": 84000,
6
  "is_hyper_param_search": false,
7
  "is_local_process_zero": true,
8
  "is_world_process_zero": true,
 
99062
  "eval_samples_per_second": 111.365,
99063
  "eval_steps_per_second": 1.18,
99064
  "step": 82000
99065
+ },
99066
+ {
99067
+ "epoch": 14.97,
99068
+ "learning_rate": 2.6781827901078436e-05,
99069
+ "loss": 0.4084,
99070
+ "step": 82005
99071
+ },
99072
+ {
99073
+ "epoch": 14.97,
99074
+ "learning_rate": 2.677276937401871e-05,
99075
+ "loss": 0.407,
99076
+ "step": 82010
99077
+ },
99078
+ {
99079
+ "epoch": 14.97,
99080
+ "learning_rate": 2.676371308556366e-05,
99081
+ "loss": 0.4087,
99082
+ "step": 82015
99083
+ },
99084
+ {
99085
+ "epoch": 14.97,
99086
+ "learning_rate": 2.6754659035936726e-05,
99087
+ "loss": 0.4083,
99088
+ "step": 82020
99089
+ },
99090
+ {
99091
+ "epoch": 14.97,
99092
+ "learning_rate": 2.6745607225361345e-05,
99093
+ "loss": 0.4057,
99094
+ "step": 82025
99095
+ },
99096
+ {
99097
+ "epoch": 14.97,
99098
+ "learning_rate": 2.6736557654060864e-05,
99099
+ "loss": 0.4147,
99100
+ "step": 82030
99101
+ },
99102
+ {
99103
+ "epoch": 14.98,
99104
+ "learning_rate": 2.6727510322258515e-05,
99105
+ "loss": 0.4103,
99106
+ "step": 82035
99107
+ },
99108
+ {
99109
+ "epoch": 14.98,
99110
+ "learning_rate": 2.67184652301776e-05,
99111
+ "loss": 0.4129,
99112
+ "step": 82040
99113
+ },
99114
+ {
99115
+ "epoch": 14.98,
99116
+ "learning_rate": 2.6709422378041246e-05,
99117
+ "loss": 0.4084,
99118
+ "step": 82045
99119
+ },
99120
+ {
99121
+ "epoch": 14.98,
99122
+ "learning_rate": 2.6700381766072617e-05,
99123
+ "loss": 0.4089,
99124
+ "step": 82050
99125
+ },
99126
+ {
99127
+ "epoch": 14.98,
99128
+ "learning_rate": 2.669134339449477e-05,
99129
+ "loss": 0.4107,
99130
+ "step": 82055
99131
+ },
99132
+ {
99133
+ "epoch": 14.98,
99134
+ "learning_rate": 2.6682307263530672e-05,
99135
+ "loss": 0.41,
99136
+ "step": 82060
99137
+ },
99138
+ {
99139
+ "epoch": 14.98,
99140
+ "learning_rate": 2.6673273373403355e-05,
99141
+ "loss": 0.4123,
99142
+ "step": 82065
99143
+ },
99144
+ {
99145
+ "epoch": 14.98,
99146
+ "learning_rate": 2.6664241724335658e-05,
99147
+ "loss": 0.4064,
99148
+ "step": 82070
99149
+ },
99150
+ {
99151
+ "epoch": 14.98,
99152
+ "learning_rate": 2.665521231655049e-05,
99153
+ "loss": 0.4107,
99154
+ "step": 82075
99155
+ },
99156
+ {
99157
+ "epoch": 14.98,
99158
+ "learning_rate": 2.664618515027057e-05,
99159
+ "loss": 0.4107,
99160
+ "step": 82080
99161
+ },
99162
+ {
99163
+ "epoch": 14.99,
99164
+ "learning_rate": 2.6637160225718702e-05,
99165
+ "loss": 0.4112,
99166
+ "step": 82085
99167
+ },
99168
+ {
99169
+ "epoch": 14.99,
99170
+ "learning_rate": 2.662813754311751e-05,
99171
+ "loss": 0.411,
99172
+ "step": 82090
99173
+ },
99174
+ {
99175
+ "epoch": 14.99,
99176
+ "learning_rate": 2.6619117102689677e-05,
99177
+ "loss": 0.4082,
99178
+ "step": 82095
99179
+ },
99180
+ {
99181
+ "epoch": 14.99,
99182
+ "learning_rate": 2.6610098904657716e-05,
99183
+ "loss": 0.4118,
99184
+ "step": 82100
99185
+ },
99186
+ {
99187
+ "epoch": 14.99,
99188
+ "learning_rate": 2.66010829492442e-05,
99189
+ "loss": 0.4064,
99190
+ "step": 82105
99191
+ },
99192
+ {
99193
+ "epoch": 14.99,
99194
+ "learning_rate": 2.659206923667155e-05,
99195
+ "loss": 0.4087,
99196
+ "step": 82110
99197
+ },
99198
+ {
99199
+ "epoch": 14.99,
99200
+ "learning_rate": 2.6583057767162167e-05,
99201
+ "loss": 0.4126,
99202
+ "step": 82115
99203
+ },
99204
+ {
99205
+ "epoch": 14.99,
99206
+ "learning_rate": 2.6574048540938433e-05,
99207
+ "loss": 0.4152,
99208
+ "step": 82120
99209
+ },
99210
+ {
99211
+ "epoch": 14.99,
99212
+ "learning_rate": 2.656504155822259e-05,
99213
+ "loss": 0.4078,
99214
+ "step": 82125
99215
+ },
99216
+ {
99217
+ "epoch": 14.99,
99218
+ "learning_rate": 2.6556036819236937e-05,
99219
+ "loss": 0.4159,
99220
+ "step": 82130
99221
+ },
99222
+ {
99223
+ "epoch": 15.0,
99224
+ "learning_rate": 2.6547034324203624e-05,
99225
+ "loss": 0.4117,
99226
+ "step": 82135
99227
+ },
99228
+ {
99229
+ "epoch": 15.0,
99230
+ "learning_rate": 2.653803407334476e-05,
99231
+ "loss": 0.4102,
99232
+ "step": 82140
99233
+ },
99234
+ {
99235
+ "epoch": 15.0,
99236
+ "learning_rate": 2.6529036066882455e-05,
99237
+ "loss": 0.4128,
99238
+ "step": 82145
99239
+ },
99240
+ {
99241
+ "epoch": 15.0,
99242
+ "learning_rate": 2.6520040305038722e-05,
99243
+ "loss": 0.4113,
99244
+ "step": 82150
99245
+ },
99246
+ {
99247
+ "epoch": 15.0,
99248
+ "learning_rate": 2.6511046788035486e-05,
99249
+ "loss": 0.4087,
99250
+ "step": 82155
99251
+ },
99252
+ {
99253
+ "epoch": 15.0,
99254
+ "learning_rate": 2.6502055516094703e-05,
99255
+ "loss": 0.4039,
99256
+ "step": 82160
99257
+ },
99258
+ {
99259
+ "epoch": 15.0,
99260
+ "learning_rate": 2.649306648943816e-05,
99261
+ "loss": 0.4494,
99262
+ "step": 82165
99263
+ },
99264
+ {
99265
+ "epoch": 15.0,
99266
+ "learning_rate": 2.648407970828774e-05,
99267
+ "loss": 0.4136,
99268
+ "step": 82170
99269
+ },
99270
+ {
99271
+ "epoch": 15.0,
99272
+ "learning_rate": 2.647509517286512e-05,
99273
+ "loss": 0.4088,
99274
+ "step": 82175
99275
+ },
99276
+ {
99277
+ "epoch": 15.0,
99278
+ "learning_rate": 2.6466112883391938e-05,
99279
+ "loss": 0.4103,
99280
+ "step": 82180
99281
+ },
99282
+ {
99283
+ "epoch": 15.0,
99284
+ "learning_rate": 2.645713284008995e-05,
99285
+ "loss": 0.4061,
99286
+ "step": 82185
99287
+ },
99288
+ {
99289
+ "epoch": 15.01,
99290
+ "learning_rate": 2.6448155043180654e-05,
99291
+ "loss": 0.4059,
99292
+ "step": 82190
99293
+ },
99294
+ {
99295
+ "epoch": 15.01,
99296
+ "learning_rate": 2.6439179492885563e-05,
99297
+ "loss": 0.4005,
99298
+ "step": 82195
99299
+ },
99300
+ {
99301
+ "epoch": 15.01,
99302
+ "learning_rate": 2.6430206189426172e-05,
99303
+ "loss": 0.417,
99304
+ "step": 82200
99305
+ },
99306
+ {
99307
+ "epoch": 15.01,
99308
+ "learning_rate": 2.642123513302388e-05,
99309
+ "loss": 0.4064,
99310
+ "step": 82205
99311
+ },
99312
+ {
99313
+ "epoch": 15.01,
99314
+ "learning_rate": 2.641226632389999e-05,
99315
+ "loss": 0.4144,
99316
+ "step": 82210
99317
+ },
99318
+ {
99319
+ "epoch": 15.01,
99320
+ "learning_rate": 2.6403299762275872e-05,
99321
+ "loss": 0.4119,
99322
+ "step": 82215
99323
+ },
99324
+ {
99325
+ "epoch": 15.01,
99326
+ "learning_rate": 2.639433544837271e-05,
99327
+ "loss": 0.4056,
99328
+ "step": 82220
99329
+ },
99330
+ {
99331
+ "epoch": 15.01,
99332
+ "learning_rate": 2.6385373382411733e-05,
99333
+ "loss": 0.4077,
99334
+ "step": 82225
99335
+ },
99336
+ {
99337
+ "epoch": 15.01,
99338
+ "learning_rate": 2.637641356461406e-05,
99339
+ "loss": 0.4055,
99340
+ "step": 82230
99341
+ },
99342
+ {
99343
+ "epoch": 15.01,
99344
+ "learning_rate": 2.636745599520072e-05,
99345
+ "loss": 0.4077,
99346
+ "step": 82235
99347
+ },
99348
+ {
99349
+ "epoch": 15.02,
99350
+ "learning_rate": 2.63585006743928e-05,
99351
+ "loss": 0.4112,
99352
+ "step": 82240
99353
+ },
99354
+ {
99355
+ "epoch": 15.02,
99356
+ "learning_rate": 2.6349547602411212e-05,
99357
+ "loss": 0.4106,
99358
+ "step": 82245
99359
+ },
99360
+ {
99361
+ "epoch": 15.02,
99362
+ "learning_rate": 2.634059677947689e-05,
99363
+ "loss": 0.4062,
99364
+ "step": 82250
99365
+ },
99366
+ {
99367
+ "epoch": 15.02,
99368
+ "learning_rate": 2.6331648205810705e-05,
99369
+ "loss": 0.408,
99370
+ "step": 82255
99371
+ },
99372
+ {
99373
+ "epoch": 15.02,
99374
+ "learning_rate": 2.6322701881633397e-05,
99375
+ "loss": 0.4104,
99376
+ "step": 82260
99377
+ },
99378
+ {
99379
+ "epoch": 15.02,
99380
+ "learning_rate": 2.631375780716577e-05,
99381
+ "loss": 0.4035,
99382
+ "step": 82265
99383
+ },
99384
+ {
99385
+ "epoch": 15.02,
99386
+ "learning_rate": 2.630481598262847e-05,
99387
+ "loss": 0.4103,
99388
+ "step": 82270
99389
+ },
99390
+ {
99391
+ "epoch": 15.02,
99392
+ "learning_rate": 2.6295876408242126e-05,
99393
+ "loss": 0.4093,
99394
+ "step": 82275
99395
+ },
99396
+ {
99397
+ "epoch": 15.02,
99398
+ "learning_rate": 2.6286939084227324e-05,
99399
+ "loss": 0.4102,
99400
+ "step": 82280
99401
+ },
99402
+ {
99403
+ "epoch": 15.02,
99404
+ "learning_rate": 2.627800401080461e-05,
99405
+ "loss": 0.4096,
99406
+ "step": 82285
99407
+ },
99408
+ {
99409
+ "epoch": 15.03,
99410
+ "learning_rate": 2.6269071188194386e-05,
99411
+ "loss": 0.4047,
99412
+ "step": 82290
99413
+ },
99414
+ {
99415
+ "epoch": 15.03,
99416
+ "learning_rate": 2.6260140616617142e-05,
99417
+ "loss": 0.4119,
99418
+ "step": 82295
99419
+ },
99420
+ {
99421
+ "epoch": 15.03,
99422
+ "learning_rate": 2.625121229629315e-05,
99423
+ "loss": 0.4099,
99424
+ "step": 82300
99425
+ },
99426
+ {
99427
+ "epoch": 15.03,
99428
+ "learning_rate": 2.624228622744278e-05,
99429
+ "loss": 0.4089,
99430
+ "step": 82305
99431
+ },
99432
+ {
99433
+ "epoch": 15.03,
99434
+ "learning_rate": 2.623336241028624e-05,
99435
+ "loss": 0.4077,
99436
+ "step": 82310
99437
+ },
99438
+ {
99439
+ "epoch": 15.03,
99440
+ "learning_rate": 2.6224440845043682e-05,
99441
+ "loss": 0.4095,
99442
+ "step": 82315
99443
+ },
99444
+ {
99445
+ "epoch": 15.03,
99446
+ "learning_rate": 2.6215521531935306e-05,
99447
+ "loss": 0.4114,
99448
+ "step": 82320
99449
+ },
99450
+ {
99451
+ "epoch": 15.03,
99452
+ "learning_rate": 2.6206604471181144e-05,
99453
+ "loss": 0.4087,
99454
+ "step": 82325
99455
+ },
99456
+ {
99457
+ "epoch": 15.03,
99458
+ "learning_rate": 2.6197689663001194e-05,
99459
+ "loss": 0.4134,
99460
+ "step": 82330
99461
+ },
99462
+ {
99463
+ "epoch": 15.03,
99464
+ "learning_rate": 2.6188777107615474e-05,
99465
+ "loss": 0.41,
99466
+ "step": 82335
99467
+ },
99468
+ {
99469
+ "epoch": 15.03,
99470
+ "learning_rate": 2.6179866805243855e-05,
99471
+ "loss": 0.4094,
99472
+ "step": 82340
99473
+ },
99474
+ {
99475
+ "epoch": 15.04,
99476
+ "learning_rate": 2.617095875610622e-05,
99477
+ "loss": 0.4083,
99478
+ "step": 82345
99479
+ },
99480
+ {
99481
+ "epoch": 15.04,
99482
+ "learning_rate": 2.616205296042234e-05,
99483
+ "loss": 0.4069,
99484
+ "step": 82350
99485
+ },
99486
+ {
99487
+ "epoch": 15.04,
99488
+ "learning_rate": 2.6153149418411954e-05,
99489
+ "loss": 0.4062,
99490
+ "step": 82355
99491
+ },
99492
+ {
99493
+ "epoch": 15.04,
99494
+ "learning_rate": 2.6144248130294786e-05,
99495
+ "loss": 0.4083,
99496
+ "step": 82360
99497
+ },
99498
+ {
99499
+ "epoch": 15.04,
99500
+ "learning_rate": 2.61353490962904e-05,
99501
+ "loss": 0.4026,
99502
+ "step": 82365
99503
+ },
99504
+ {
99505
+ "epoch": 15.04,
99506
+ "learning_rate": 2.6126452316618453e-05,
99507
+ "loss": 0.4088,
99508
+ "step": 82370
99509
+ },
99510
+ {
99511
+ "epoch": 15.04,
99512
+ "learning_rate": 2.611755779149841e-05,
99513
+ "loss": 0.4145,
99514
+ "step": 82375
99515
+ },
99516
+ {
99517
+ "epoch": 15.04,
99518
+ "learning_rate": 2.6108665521149734e-05,
99519
+ "loss": 0.4064,
99520
+ "step": 82380
99521
+ },
99522
+ {
99523
+ "epoch": 15.04,
99524
+ "learning_rate": 2.6099775505791835e-05,
99525
+ "loss": 0.4085,
99526
+ "step": 82385
99527
+ },
99528
+ {
99529
+ "epoch": 15.04,
99530
+ "learning_rate": 2.6090887745644102e-05,
99531
+ "loss": 0.4104,
99532
+ "step": 82390
99533
+ },
99534
+ {
99535
+ "epoch": 15.05,
99536
+ "learning_rate": 2.6082002240925787e-05,
99537
+ "loss": 0.4131,
99538
+ "step": 82395
99539
+ },
99540
+ {
99541
+ "epoch": 15.05,
99542
+ "learning_rate": 2.607311899185617e-05,
99543
+ "loss": 0.4079,
99544
+ "step": 82400
99545
+ },
99546
+ {
99547
+ "epoch": 15.05,
99548
+ "learning_rate": 2.6064237998654415e-05,
99549
+ "loss": 0.4108,
99550
+ "step": 82405
99551
+ },
99552
+ {
99553
+ "epoch": 15.05,
99554
+ "learning_rate": 2.6055359261539633e-05,
99555
+ "loss": 0.4066,
99556
+ "step": 82410
99557
+ },
99558
+ {
99559
+ "epoch": 15.05,
99560
+ "learning_rate": 2.604648278073094e-05,
99561
+ "loss": 0.4063,
99562
+ "step": 82415
99563
+ },
99564
+ {
99565
+ "epoch": 15.05,
99566
+ "learning_rate": 2.603760855644731e-05,
99567
+ "loss": 0.408,
99568
+ "step": 82420
99569
+ },
99570
+ {
99571
+ "epoch": 15.05,
99572
+ "learning_rate": 2.602873658890775e-05,
99573
+ "loss": 0.407,
99574
+ "step": 82425
99575
+ },
99576
+ {
99577
+ "epoch": 15.05,
99578
+ "learning_rate": 2.6019866878331138e-05,
99579
+ "loss": 0.4122,
99580
+ "step": 82430
99581
+ },
99582
+ {
99583
+ "epoch": 15.05,
99584
+ "learning_rate": 2.601099942493632e-05,
99585
+ "loss": 0.4096,
99586
+ "step": 82435
99587
+ },
99588
+ {
99589
+ "epoch": 15.05,
99590
+ "learning_rate": 2.6002134228942122e-05,
99591
+ "loss": 0.4118,
99592
+ "step": 82440
99593
+ },
99594
+ {
99595
+ "epoch": 15.06,
99596
+ "learning_rate": 2.5993271290567275e-05,
99597
+ "loss": 0.4133,
99598
+ "step": 82445
99599
+ },
99600
+ {
99601
+ "epoch": 15.06,
99602
+ "learning_rate": 2.5984410610030427e-05,
99603
+ "loss": 0.4099,
99604
+ "step": 82450
99605
+ },
99606
+ {
99607
+ "epoch": 15.06,
99608
+ "learning_rate": 2.5975552187550257e-05,
99609
+ "loss": 0.4028,
99610
+ "step": 82455
99611
+ },
99612
+ {
99613
+ "epoch": 15.06,
99614
+ "learning_rate": 2.596669602334529e-05,
99615
+ "loss": 0.408,
99616
+ "step": 82460
99617
+ },
99618
+ {
99619
+ "epoch": 15.06,
99620
+ "learning_rate": 2.595784211763409e-05,
99621
+ "loss": 0.4138,
99622
+ "step": 82465
99623
+ },
99624
+ {
99625
+ "epoch": 15.06,
99626
+ "learning_rate": 2.5948990470635098e-05,
99627
+ "loss": 0.4049,
99628
+ "step": 82470
99629
+ },
99630
+ {
99631
+ "epoch": 15.06,
99632
+ "learning_rate": 2.5940141082566696e-05,
99633
+ "loss": 0.4071,
99634
+ "step": 82475
99635
+ },
99636
+ {
99637
+ "epoch": 15.06,
99638
+ "learning_rate": 2.593129395364727e-05,
99639
+ "loss": 0.4098,
99640
+ "step": 82480
99641
+ },
99642
+ {
99643
+ "epoch": 15.06,
99644
+ "learning_rate": 2.592244908409508e-05,
99645
+ "loss": 0.4117,
99646
+ "step": 82485
99647
+ },
99648
+ {
99649
+ "epoch": 15.06,
99650
+ "learning_rate": 2.591360647412839e-05,
99651
+ "loss": 0.4096,
99652
+ "step": 82490
99653
+ },
99654
+ {
99655
+ "epoch": 15.07,
99656
+ "learning_rate": 2.5904766123965396e-05,
99657
+ "loss": 0.4078,
99658
+ "step": 82495
99659
+ },
99660
+ {
99661
+ "epoch": 15.07,
99662
+ "learning_rate": 2.5895928033824215e-05,
99663
+ "loss": 0.4113,
99664
+ "step": 82500
99665
+ },
99666
+ {
99667
+ "epoch": 15.07,
99668
+ "learning_rate": 2.5887092203922873e-05,
99669
+ "loss": 0.4038,
99670
+ "step": 82505
99671
+ },
99672
+ {
99673
+ "epoch": 15.07,
99674
+ "learning_rate": 2.5878258634479446e-05,
99675
+ "loss": 0.4082,
99676
+ "step": 82510
99677
+ },
99678
+ {
99679
+ "epoch": 15.07,
99680
+ "learning_rate": 2.5869427325711843e-05,
99681
+ "loss": 0.4078,
99682
+ "step": 82515
99683
+ },
99684
+ {
99685
+ "epoch": 15.07,
99686
+ "learning_rate": 2.586059827783803e-05,
99687
+ "loss": 0.4131,
99688
+ "step": 82520
99689
+ },
99690
+ {
99691
+ "epoch": 15.07,
99692
+ "learning_rate": 2.5851771491075817e-05,
99693
+ "loss": 0.4042,
99694
+ "step": 82525
99695
+ },
99696
+ {
99697
+ "epoch": 15.07,
99698
+ "learning_rate": 2.5842946965642966e-05,
99699
+ "loss": 0.4098,
99700
+ "step": 82530
99701
+ },
99702
+ {
99703
+ "epoch": 15.07,
99704
+ "learning_rate": 2.5834124701757266e-05,
99705
+ "loss": 0.4122,
99706
+ "step": 82535
99707
+ },
99708
+ {
99709
+ "epoch": 15.07,
99710
+ "learning_rate": 2.5825304699636383e-05,
99711
+ "loss": 0.4112,
99712
+ "step": 82540
99713
+ },
99714
+ {
99715
+ "epoch": 15.07,
99716
+ "learning_rate": 2.5816486959497917e-05,
99717
+ "loss": 0.4085,
99718
+ "step": 82545
99719
+ },
99720
+ {
99721
+ "epoch": 15.08,
99722
+ "learning_rate": 2.5807671481559475e-05,
99723
+ "loss": 0.4099,
99724
+ "step": 82550
99725
+ },
99726
+ {
99727
+ "epoch": 15.08,
99728
+ "learning_rate": 2.5798858266038534e-05,
99729
+ "loss": 0.4134,
99730
+ "step": 82555
99731
+ },
99732
+ {
99733
+ "epoch": 15.08,
99734
+ "learning_rate": 2.579004731315257e-05,
99735
+ "loss": 0.41,
99736
+ "step": 82560
99737
+ },
99738
+ {
99739
+ "epoch": 15.08,
99740
+ "learning_rate": 2.5781238623119002e-05,
99741
+ "loss": 0.406,
99742
+ "step": 82565
99743
+ },
99744
+ {
99745
+ "epoch": 15.08,
99746
+ "learning_rate": 2.577243219615513e-05,
99747
+ "loss": 0.4089,
99748
+ "step": 82570
99749
+ },
99750
+ {
99751
+ "epoch": 15.08,
99752
+ "learning_rate": 2.57636280324783e-05,
99753
+ "loss": 0.4107,
99754
+ "step": 82575
99755
+ },
99756
+ {
99757
+ "epoch": 15.08,
99758
+ "learning_rate": 2.575482613230569e-05,
99759
+ "loss": 0.4087,
99760
+ "step": 82580
99761
+ },
99762
+ {
99763
+ "epoch": 15.08,
99764
+ "learning_rate": 2.5746026495854495e-05,
99765
+ "loss": 0.4093,
99766
+ "step": 82585
99767
+ },
99768
+ {
99769
+ "epoch": 15.08,
99770
+ "learning_rate": 2.5737229123341876e-05,
99771
+ "loss": 0.4102,
99772
+ "step": 82590
99773
+ },
99774
+ {
99775
+ "epoch": 15.08,
99776
+ "learning_rate": 2.572843401498487e-05,
99777
+ "loss": 0.4148,
99778
+ "step": 82595
99779
+ },
99780
+ {
99781
+ "epoch": 15.09,
99782
+ "learning_rate": 2.571964117100047e-05,
99783
+ "loss": 0.4102,
99784
+ "step": 82600
99785
+ },
99786
+ {
99787
+ "epoch": 15.09,
99788
+ "learning_rate": 2.5710850591605664e-05,
99789
+ "loss": 0.4078,
99790
+ "step": 82605
99791
+ },
99792
+ {
99793
+ "epoch": 15.09,
99794
+ "learning_rate": 2.5702062277017323e-05,
99795
+ "loss": 0.4087,
99796
+ "step": 82610
99797
+ },
99798
+ {
99799
+ "epoch": 15.09,
99800
+ "learning_rate": 2.5693276227452322e-05,
99801
+ "loss": 0.409,
99802
+ "step": 82615
99803
+ },
99804
+ {
99805
+ "epoch": 15.09,
99806
+ "learning_rate": 2.5684492443127427e-05,
99807
+ "loss": 0.4092,
99808
+ "step": 82620
99809
+ },
99810
+ {
99811
+ "epoch": 15.09,
99812
+ "learning_rate": 2.567571092425935e-05,
99813
+ "loss": 0.4094,
99814
+ "step": 82625
99815
+ },
99816
+ {
99817
+ "epoch": 15.09,
99818
+ "learning_rate": 2.5666931671064808e-05,
99819
+ "loss": 0.4113,
99820
+ "step": 82630
99821
+ },
99822
+ {
99823
+ "epoch": 15.09,
99824
+ "learning_rate": 2.565815468376038e-05,
99825
+ "loss": 0.4107,
99826
+ "step": 82635
99827
+ },
99828
+ {
99829
+ "epoch": 15.09,
99830
+ "learning_rate": 2.5649379962562666e-05,
99831
+ "loss": 0.408,
99832
+ "step": 82640
99833
+ },
99834
+ {
99835
+ "epoch": 15.09,
99836
+ "learning_rate": 2.564060750768815e-05,
99837
+ "loss": 0.4114,
99838
+ "step": 82645
99839
+ },
99840
+ {
99841
+ "epoch": 15.1,
99842
+ "learning_rate": 2.5631837319353283e-05,
99843
+ "loss": 0.411,
99844
+ "step": 82650
99845
+ },
99846
+ {
99847
+ "epoch": 15.1,
99848
+ "learning_rate": 2.5623069397774482e-05,
99849
+ "loss": 0.4086,
99850
+ "step": 82655
99851
+ },
99852
+ {
99853
+ "epoch": 15.1,
99854
+ "learning_rate": 2.5614303743168085e-05,
99855
+ "loss": 0.4125,
99856
+ "step": 82660
99857
+ },
99858
+ {
99859
+ "epoch": 15.1,
99860
+ "learning_rate": 2.560554035575032e-05,
99861
+ "loss": 0.4095,
99862
+ "step": 82665
99863
+ },
99864
+ {
99865
+ "epoch": 15.1,
99866
+ "learning_rate": 2.5596779235737497e-05,
99867
+ "loss": 0.4088,
99868
+ "step": 82670
99869
+ },
99870
+ {
99871
+ "epoch": 15.1,
99872
+ "learning_rate": 2.5588020383345727e-05,
99873
+ "loss": 0.4056,
99874
+ "step": 82675
99875
+ },
99876
+ {
99877
+ "epoch": 15.1,
99878
+ "learning_rate": 2.5579263798791168e-05,
99879
+ "loss": 0.4098,
99880
+ "step": 82680
99881
+ },
99882
+ {
99883
+ "epoch": 15.1,
99884
+ "learning_rate": 2.5570509482289833e-05,
99885
+ "loss": 0.4058,
99886
+ "step": 82685
99887
+ },
99888
+ {
99889
+ "epoch": 15.1,
99890
+ "learning_rate": 2.5561757434057764e-05,
99891
+ "loss": 0.4107,
99892
+ "step": 82690
99893
+ },
99894
+ {
99895
+ "epoch": 15.1,
99896
+ "learning_rate": 2.5553007654310912e-05,
99897
+ "loss": 0.4061,
99898
+ "step": 82695
99899
+ },
99900
+ {
99901
+ "epoch": 15.1,
99902
+ "learning_rate": 2.5544260143265163e-05,
99903
+ "loss": 0.4141,
99904
+ "step": 82700
99905
+ },
99906
+ {
99907
+ "epoch": 15.11,
99908
+ "learning_rate": 2.553551490113632e-05,
99909
+ "loss": 0.4115,
99910
+ "step": 82705
99911
+ },
99912
+ {
99913
+ "epoch": 15.11,
99914
+ "learning_rate": 2.5526771928140216e-05,
99915
+ "loss": 0.4054,
99916
+ "step": 82710
99917
+ },
99918
+ {
99919
+ "epoch": 15.11,
99920
+ "learning_rate": 2.5518031224492544e-05,
99921
+ "loss": 0.4066,
99922
+ "step": 82715
99923
+ },
99924
+ {
99925
+ "epoch": 15.11,
99926
+ "learning_rate": 2.5509292790408965e-05,
99927
+ "loss": 0.4067,
99928
+ "step": 82720
99929
+ },
99930
+ {
99931
+ "epoch": 15.11,
99932
+ "learning_rate": 2.5500556626105115e-05,
99933
+ "loss": 0.4177,
99934
+ "step": 82725
99935
+ },
99936
+ {
99937
+ "epoch": 15.11,
99938
+ "learning_rate": 2.549182273179652e-05,
99939
+ "loss": 0.4066,
99940
+ "step": 82730
99941
+ },
99942
+ {
99943
+ "epoch": 15.11,
99944
+ "learning_rate": 2.5483091107698723e-05,
99945
+ "loss": 0.4098,
99946
+ "step": 82735
99947
+ },
99948
+ {
99949
+ "epoch": 15.11,
99950
+ "learning_rate": 2.547436175402713e-05,
99951
+ "loss": 0.405,
99952
+ "step": 82740
99953
+ },
99954
+ {
99955
+ "epoch": 15.11,
99956
+ "learning_rate": 2.5465634670997134e-05,
99957
+ "loss": 0.4081,
99958
+ "step": 82745
99959
+ },
99960
+ {
99961
+ "epoch": 15.11,
99962
+ "learning_rate": 2.5456909858824095e-05,
99963
+ "loss": 0.4066,
99964
+ "step": 82750
99965
+ },
99966
+ {
99967
+ "epoch": 15.12,
99968
+ "learning_rate": 2.5448187317723254e-05,
99969
+ "loss": 0.4075,
99970
+ "step": 82755
99971
+ },
99972
+ {
99973
+ "epoch": 15.12,
99974
+ "learning_rate": 2.543946704790986e-05,
99975
+ "loss": 0.415,
99976
+ "step": 82760
99977
+ },
99978
+ {
99979
+ "epoch": 15.12,
99980
+ "learning_rate": 2.5430749049599072e-05,
99981
+ "loss": 0.4062,
99982
+ "step": 82765
99983
+ },
99984
+ {
99985
+ "epoch": 15.12,
99986
+ "learning_rate": 2.5422033323005957e-05,
99987
+ "loss": 0.4143,
99988
+ "step": 82770
99989
+ },
99990
+ {
99991
+ "epoch": 15.12,
99992
+ "learning_rate": 2.5413319868345633e-05,
99993
+ "loss": 0.4183,
99994
+ "step": 82775
99995
+ },
99996
+ {
99997
+ "epoch": 15.12,
99998
+ "learning_rate": 2.5404608685833063e-05,
99999
+ "loss": 0.4118,
100000
+ "step": 82780
100001
+ },
100002
+ {
100003
+ "epoch": 15.12,
100004
+ "learning_rate": 2.5395899775683136e-05,
100005
+ "loss": 0.4104,
100006
+ "step": 82785
100007
+ },
100008
+ {
100009
+ "epoch": 15.12,
100010
+ "learning_rate": 2.538719313811083e-05,
100011
+ "loss": 0.4125,
100012
+ "step": 82790
100013
+ },
100014
+ {
100015
+ "epoch": 15.12,
100016
+ "learning_rate": 2.537848877333094e-05,
100017
+ "loss": 0.4095,
100018
+ "step": 82795
100019
+ },
100020
+ {
100021
+ "epoch": 15.12,
100022
+ "learning_rate": 2.5369786681558194e-05,
100023
+ "loss": 0.4105,
100024
+ "step": 82800
100025
+ },
100026
+ {
100027
+ "epoch": 15.13,
100028
+ "learning_rate": 2.5361086863007364e-05,
100029
+ "loss": 0.4043,
100030
+ "step": 82805
100031
+ },
100032
+ {
100033
+ "epoch": 15.13,
100034
+ "learning_rate": 2.535238931789306e-05,
100035
+ "loss": 0.4084,
100036
+ "step": 82810
100037
+ },
100038
+ {
100039
+ "epoch": 15.13,
100040
+ "learning_rate": 2.5343694046429945e-05,
100041
+ "loss": 0.4127,
100042
+ "step": 82815
100043
+ },
100044
+ {
100045
+ "epoch": 15.13,
100046
+ "learning_rate": 2.533500104883253e-05,
100047
+ "loss": 0.4074,
100048
+ "step": 82820
100049
+ },
100050
+ {
100051
+ "epoch": 15.13,
100052
+ "learning_rate": 2.5326310325315284e-05,
100053
+ "loss": 0.4101,
100054
+ "step": 82825
100055
+ },
100056
+ {
100057
+ "epoch": 15.13,
100058
+ "learning_rate": 2.531762187609269e-05,
100059
+ "loss": 0.4081,
100060
+ "step": 82830
100061
+ },
100062
+ {
100063
+ "epoch": 15.13,
100064
+ "learning_rate": 2.5308935701379093e-05,
100065
+ "loss": 0.4107,
100066
+ "step": 82835
100067
+ },
100068
+ {
100069
+ "epoch": 15.13,
100070
+ "learning_rate": 2.530025180138882e-05,
100071
+ "loss": 0.4098,
100072
+ "step": 82840
100073
+ },
100074
+ {
100075
+ "epoch": 15.13,
100076
+ "learning_rate": 2.5291570176336157e-05,
100077
+ "loss": 0.4058,
100078
+ "step": 82845
100079
+ },
100080
+ {
100081
+ "epoch": 15.13,
100082
+ "learning_rate": 2.528289082643529e-05,
100083
+ "loss": 0.4133,
100084
+ "step": 82850
100085
+ },
100086
+ {
100087
+ "epoch": 15.14,
100088
+ "learning_rate": 2.527421375190039e-05,
100089
+ "loss": 0.4044,
100090
+ "step": 82855
100091
+ },
100092
+ {
100093
+ "epoch": 15.14,
100094
+ "learning_rate": 2.5265538952945562e-05,
100095
+ "loss": 0.4073,
100096
+ "step": 82860
100097
+ },
100098
+ {
100099
+ "epoch": 15.14,
100100
+ "learning_rate": 2.52568664297848e-05,
100101
+ "loss": 0.4106,
100102
+ "step": 82865
100103
+ },
100104
+ {
100105
+ "epoch": 15.14,
100106
+ "learning_rate": 2.524819618263216e-05,
100107
+ "loss": 0.4111,
100108
+ "step": 82870
100109
+ },
100110
+ {
100111
+ "epoch": 15.14,
100112
+ "learning_rate": 2.5239528211701517e-05,
100113
+ "loss": 0.413,
100114
+ "step": 82875
100115
+ },
100116
+ {
100117
+ "epoch": 15.14,
100118
+ "learning_rate": 2.5230862517206776e-05,
100119
+ "loss": 0.4092,
100120
+ "step": 82880
100121
+ },
100122
+ {
100123
+ "epoch": 15.14,
100124
+ "learning_rate": 2.522219909936173e-05,
100125
+ "loss": 0.4117,
100126
+ "step": 82885
100127
+ },
100128
+ {
100129
+ "epoch": 15.14,
100130
+ "learning_rate": 2.521353795838018e-05,
100131
+ "loss": 0.4065,
100132
+ "step": 82890
100133
+ },
100134
+ {
100135
+ "epoch": 15.14,
100136
+ "learning_rate": 2.5204879094475774e-05,
100137
+ "loss": 0.4074,
100138
+ "step": 82895
100139
+ },
100140
+ {
100141
+ "epoch": 15.14,
100142
+ "learning_rate": 2.5196222507862227e-05,
100143
+ "loss": 0.411,
100144
+ "step": 82900
100145
+ },
100146
+ {
100147
+ "epoch": 15.14,
100148
+ "learning_rate": 2.5187568198753067e-05,
100149
+ "loss": 0.4093,
100150
+ "step": 82905
100151
+ },
100152
+ {
100153
+ "epoch": 15.15,
100154
+ "learning_rate": 2.517891616736188e-05,
100155
+ "loss": 0.4069,
100156
+ "step": 82910
100157
+ },
100158
+ {
100159
+ "epoch": 15.15,
100160
+ "learning_rate": 2.5170266413902127e-05,
100161
+ "loss": 0.4056,
100162
+ "step": 82915
100163
+ },
100164
+ {
100165
+ "epoch": 15.15,
100166
+ "learning_rate": 2.5161618938587213e-05,
100167
+ "loss": 0.4123,
100168
+ "step": 82920
100169
+ },
100170
+ {
100171
+ "epoch": 15.15,
100172
+ "learning_rate": 2.5152973741630543e-05,
100173
+ "loss": 0.4144,
100174
+ "step": 82925
100175
+ },
100176
+ {
100177
+ "epoch": 15.15,
100178
+ "learning_rate": 2.5144330823245387e-05,
100179
+ "loss": 0.4088,
100180
+ "step": 82930
100181
+ },
100182
+ {
100183
+ "epoch": 15.15,
100184
+ "learning_rate": 2.5135690183645047e-05,
100185
+ "loss": 0.4096,
100186
+ "step": 82935
100187
+ },
100188
+ {
100189
+ "epoch": 15.15,
100190
+ "learning_rate": 2.512705182304271e-05,
100191
+ "loss": 0.4068,
100192
+ "step": 82940
100193
+ },
100194
+ {
100195
+ "epoch": 15.15,
100196
+ "learning_rate": 2.5118415741651465e-05,
100197
+ "loss": 0.4041,
100198
+ "step": 82945
100199
+ },
100200
+ {
100201
+ "epoch": 15.15,
100202
+ "learning_rate": 2.5109781939684483e-05,
100203
+ "loss": 0.4071,
100204
+ "step": 82950
100205
+ },
100206
+ {
100207
+ "epoch": 15.15,
100208
+ "learning_rate": 2.5101150417354742e-05,
100209
+ "loss": 0.4082,
100210
+ "step": 82955
100211
+ },
100212
+ {
100213
+ "epoch": 15.16,
100214
+ "learning_rate": 2.5092521174875212e-05,
100215
+ "loss": 0.4033,
100216
+ "step": 82960
100217
+ },
100218
+ {
100219
+ "epoch": 15.16,
100220
+ "learning_rate": 2.5083894212458844e-05,
100221
+ "loss": 0.406,
100222
+ "step": 82965
100223
+ },
100224
+ {
100225
+ "epoch": 15.16,
100226
+ "learning_rate": 2.5075269530318454e-05,
100227
+ "loss": 0.4093,
100228
+ "step": 82970
100229
+ },
100230
+ {
100231
+ "epoch": 15.16,
100232
+ "learning_rate": 2.5066647128666907e-05,
100233
+ "loss": 0.4072,
100234
+ "step": 82975
100235
+ },
100236
+ {
100237
+ "epoch": 15.16,
100238
+ "learning_rate": 2.5058027007716928e-05,
100239
+ "loss": 0.408,
100240
+ "step": 82980
100241
+ },
100242
+ {
100243
+ "epoch": 15.16,
100244
+ "learning_rate": 2.5049409167681145e-05,
100245
+ "loss": 0.4092,
100246
+ "step": 82985
100247
+ },
100248
+ {
100249
+ "epoch": 15.16,
100250
+ "learning_rate": 2.5040793608772307e-05,
100251
+ "loss": 0.4143,
100252
+ "step": 82990
100253
+ },
100254
+ {
100255
+ "epoch": 15.16,
100256
+ "learning_rate": 2.5032180331202933e-05,
100257
+ "loss": 0.4084,
100258
+ "step": 82995
100259
+ },
100260
+ {
100261
+ "epoch": 15.16,
100262
+ "learning_rate": 2.502356933518553e-05,
100263
+ "loss": 0.4101,
100264
+ "step": 83000
100265
+ },
100266
+ {
100267
+ "epoch": 15.16,
100268
+ "eval_loss": 0.390532523393631,
100269
+ "eval_runtime": 72.4477,
100270
+ "eval_samples_per_second": 69.015,
100271
+ "eval_steps_per_second": 0.732,
100272
+ "step": 83000
100273
+ },
100274
+ {
100275
+ "epoch": 15.16,
100276
+ "learning_rate": 2.501496062093262e-05,
100277
+ "loss": 0.415,
100278
+ "step": 83005
100279
+ },
100280
+ {
100281
+ "epoch": 15.17,
100282
+ "learning_rate": 2.5006354188656585e-05,
100283
+ "loss": 0.4083,
100284
+ "step": 83010
100285
+ },
100286
+ {
100287
+ "epoch": 15.17,
100288
+ "learning_rate": 2.499775003856975e-05,
100289
+ "loss": 0.4104,
100290
+ "step": 83015
100291
+ },
100292
+ {
100293
+ "epoch": 15.17,
100294
+ "learning_rate": 2.498914817088447e-05,
100295
+ "loss": 0.4175,
100296
+ "step": 83020
100297
+ },
100298
+ {
100299
+ "epoch": 15.17,
100300
+ "learning_rate": 2.498054858581294e-05,
100301
+ "loss": 0.4178,
100302
+ "step": 83025
100303
+ },
100304
+ {
100305
+ "epoch": 15.17,
100306
+ "learning_rate": 2.497195128356739e-05,
100307
+ "loss": 0.4159,
100308
+ "step": 83030
100309
+ },
100310
+ {
100311
+ "epoch": 15.17,
100312
+ "learning_rate": 2.496335626435993e-05,
100313
+ "loss": 0.4113,
100314
+ "step": 83035
100315
+ },
100316
+ {
100317
+ "epoch": 15.17,
100318
+ "learning_rate": 2.49547635284026e-05,
100319
+ "loss": 0.4083,
100320
+ "step": 83040
100321
+ },
100322
+ {
100323
+ "epoch": 15.17,
100324
+ "learning_rate": 2.4946173075907475e-05,
100325
+ "loss": 0.4065,
100326
+ "step": 83045
100327
+ },
100328
+ {
100329
+ "epoch": 15.17,
100330
+ "learning_rate": 2.49375849070865e-05,
100331
+ "loss": 0.4077,
100332
+ "step": 83050
100333
+ },
100334
+ {
100335
+ "epoch": 15.17,
100336
+ "learning_rate": 2.4928999022151523e-05,
100337
+ "loss": 0.4152,
100338
+ "step": 83055
100339
+ },
100340
+ {
100341
+ "epoch": 15.17,
100342
+ "learning_rate": 2.4920415421314473e-05,
100343
+ "loss": 0.4034,
100344
+ "step": 83060
100345
+ },
100346
+ {
100347
+ "epoch": 15.18,
100348
+ "learning_rate": 2.4911834104787094e-05,
100349
+ "loss": 0.4059,
100350
+ "step": 83065
100351
+ },
100352
+ {
100353
+ "epoch": 15.18,
100354
+ "learning_rate": 2.4903255072781143e-05,
100355
+ "loss": 0.4161,
100356
+ "step": 83070
100357
+ },
100358
+ {
100359
+ "epoch": 15.18,
100360
+ "learning_rate": 2.4894678325508294e-05,
100361
+ "loss": 0.4048,
100362
+ "step": 83075
100363
+ },
100364
+ {
100365
+ "epoch": 15.18,
100366
+ "learning_rate": 2.488610386318014e-05,
100367
+ "loss": 0.4038,
100368
+ "step": 83080
100369
+ },
100370
+ {
100371
+ "epoch": 15.18,
100372
+ "learning_rate": 2.4877531686008306e-05,
100373
+ "loss": 0.4104,
100374
+ "step": 83085
100375
+ },
100376
+ {
100377
+ "epoch": 15.18,
100378
+ "learning_rate": 2.486896179420424e-05,
100379
+ "loss": 0.406,
100380
+ "step": 83090
100381
+ },
100382
+ {
100383
+ "epoch": 15.18,
100384
+ "learning_rate": 2.4860394187979424e-05,
100385
+ "loss": 0.4061,
100386
+ "step": 83095
100387
+ },
100388
+ {
100389
+ "epoch": 15.18,
100390
+ "learning_rate": 2.4851828867545288e-05,
100391
+ "loss": 0.4124,
100392
+ "step": 83100
100393
+ },
100394
+ {
100395
+ "epoch": 15.18,
100396
+ "learning_rate": 2.484326583311313e-05,
100397
+ "loss": 0.4107,
100398
+ "step": 83105
100399
+ },
100400
+ {
100401
+ "epoch": 15.18,
100402
+ "learning_rate": 2.483470508489423e-05,
100403
+ "loss": 0.4148,
100404
+ "step": 83110
100405
+ },
100406
+ {
100407
+ "epoch": 15.19,
100408
+ "learning_rate": 2.482614662309986e-05,
100409
+ "loss": 0.4099,
100410
+ "step": 83115
100411
+ },
100412
+ {
100413
+ "epoch": 15.19,
100414
+ "learning_rate": 2.481759044794112e-05,
100415
+ "loss": 0.4085,
100416
+ "step": 83120
100417
+ },
100418
+ {
100419
+ "epoch": 15.19,
100420
+ "learning_rate": 2.480903655962921e-05,
100421
+ "loss": 0.4096,
100422
+ "step": 83125
100423
+ },
100424
+ {
100425
+ "epoch": 15.19,
100426
+ "learning_rate": 2.480048495837514e-05,
100427
+ "loss": 0.4054,
100428
+ "step": 83130
100429
+ },
100430
+ {
100431
+ "epoch": 15.19,
100432
+ "learning_rate": 2.47919356443899e-05,
100433
+ "loss": 0.4067,
100434
+ "step": 83135
100435
+ },
100436
+ {
100437
+ "epoch": 15.19,
100438
+ "learning_rate": 2.478338861788447e-05,
100439
+ "loss": 0.4054,
100440
+ "step": 83140
100441
+ },
100442
+ {
100443
+ "epoch": 15.19,
100444
+ "learning_rate": 2.477484387906971e-05,
100445
+ "loss": 0.4111,
100446
+ "step": 83145
100447
+ },
100448
+ {
100449
+ "epoch": 15.19,
100450
+ "learning_rate": 2.476630142815649e-05,
100451
+ "loss": 0.4176,
100452
+ "step": 83150
100453
+ },
100454
+ {
100455
+ "epoch": 15.19,
100456
+ "learning_rate": 2.4757761265355563e-05,
100457
+ "loss": 0.4086,
100458
+ "step": 83155
100459
+ },
100460
+ {
100461
+ "epoch": 15.19,
100462
+ "learning_rate": 2.4749223390877624e-05,
100463
+ "loss": 0.4116,
100464
+ "step": 83160
100465
+ },
100466
+ {
100467
+ "epoch": 15.2,
100468
+ "learning_rate": 2.4740687804933393e-05,
100469
+ "loss": 0.4097,
100470
+ "step": 83165
100471
+ },
100472
+ {
100473
+ "epoch": 15.2,
100474
+ "learning_rate": 2.4732154507733444e-05,
100475
+ "loss": 0.406,
100476
+ "step": 83170
100477
+ },
100478
+ {
100479
+ "epoch": 15.2,
100480
+ "learning_rate": 2.4723623499488307e-05,
100481
+ "loss": 0.4073,
100482
+ "step": 83175
100483
+ },
100484
+ {
100485
+ "epoch": 15.2,
100486
+ "learning_rate": 2.471509478040852e-05,
100487
+ "loss": 0.4082,
100488
+ "step": 83180
100489
+ },
100490
+ {
100491
+ "epoch": 15.2,
100492
+ "learning_rate": 2.4706568350704472e-05,
100493
+ "loss": 0.4105,
100494
+ "step": 83185
100495
+ },
100496
+ {
100497
+ "epoch": 15.2,
100498
+ "learning_rate": 2.469804421058659e-05,
100499
+ "loss": 0.4087,
100500
+ "step": 83190
100501
+ },
100502
+ {
100503
+ "epoch": 15.2,
100504
+ "learning_rate": 2.4689522360265194e-05,
100505
+ "loss": 0.4039,
100506
+ "step": 83195
100507
+ },
100508
+ {
100509
+ "epoch": 15.2,
100510
+ "learning_rate": 2.4681002799950514e-05,
100511
+ "loss": 0.4075,
100512
+ "step": 83200
100513
+ },
100514
+ {
100515
+ "epoch": 15.2,
100516
+ "learning_rate": 2.467248552985281e-05,
100517
+ "loss": 0.4091,
100518
+ "step": 83205
100519
+ },
100520
+ {
100521
+ "epoch": 15.2,
100522
+ "learning_rate": 2.4663970550182222e-05,
100523
+ "loss": 0.4106,
100524
+ "step": 83210
100525
+ },
100526
+ {
100527
+ "epoch": 15.21,
100528
+ "learning_rate": 2.465545786114881e-05,
100529
+ "loss": 0.4089,
100530
+ "step": 83215
100531
+ },
100532
+ {
100533
+ "epoch": 15.21,
100534
+ "learning_rate": 2.464694746296268e-05,
100535
+ "loss": 0.4079,
100536
+ "step": 83220
100537
+ },
100538
+ {
100539
+ "epoch": 15.21,
100540
+ "learning_rate": 2.4638439355833775e-05,
100541
+ "loss": 0.4107,
100542
+ "step": 83225
100543
+ },
100544
+ {
100545
+ "epoch": 15.21,
100546
+ "learning_rate": 2.4629933539972025e-05,
100547
+ "loss": 0.41,
100548
+ "step": 83230
100549
+ },
100550
+ {
100551
+ "epoch": 15.21,
100552
+ "learning_rate": 2.4621430015587324e-05,
100553
+ "loss": 0.4034,
100554
+ "step": 83235
100555
+ },
100556
+ {
100557
+ "epoch": 15.21,
100558
+ "learning_rate": 2.4612928782889462e-05,
100559
+ "loss": 0.4074,
100560
+ "step": 83240
100561
+ },
100562
+ {
100563
+ "epoch": 15.21,
100564
+ "learning_rate": 2.4604429842088223e-05,
100565
+ "loss": 0.4065,
100566
+ "step": 83245
100567
+ },
100568
+ {
100569
+ "epoch": 15.21,
100570
+ "learning_rate": 2.4595933193393312e-05,
100571
+ "loss": 0.402,
100572
+ "step": 83250
100573
+ },
100574
+ {
100575
+ "epoch": 15.21,
100576
+ "learning_rate": 2.458743883701433e-05,
100577
+ "loss": 0.4046,
100578
+ "step": 83255
100579
+ },
100580
+ {
100581
+ "epoch": 15.21,
100582
+ "learning_rate": 2.457894677316093e-05,
100583
+ "loss": 0.4035,
100584
+ "step": 83260
100585
+ },
100586
+ {
100587
+ "epoch": 15.21,
100588
+ "learning_rate": 2.4570457002042586e-05,
100589
+ "loss": 0.4032,
100590
+ "step": 83265
100591
+ },
100592
+ {
100593
+ "epoch": 15.22,
100594
+ "learning_rate": 2.4561969523868832e-05,
100595
+ "loss": 0.4116,
100596
+ "step": 83270
100597
+ },
100598
+ {
100599
+ "epoch": 15.22,
100600
+ "learning_rate": 2.4553484338849053e-05,
100601
+ "loss": 0.409,
100602
+ "step": 83275
100603
+ },
100604
+ {
100605
+ "epoch": 15.22,
100606
+ "learning_rate": 2.45450014471926e-05,
100607
+ "loss": 0.4104,
100608
+ "step": 83280
100609
+ },
100610
+ {
100611
+ "epoch": 15.22,
100612
+ "learning_rate": 2.4536520849108828e-05,
100613
+ "loss": 0.4046,
100614
+ "step": 83285
100615
+ },
100616
+ {
100617
+ "epoch": 15.22,
100618
+ "learning_rate": 2.452804254480693e-05,
100619
+ "loss": 0.4118,
100620
+ "step": 83290
100621
+ },
100622
+ {
100623
+ "epoch": 15.22,
100624
+ "learning_rate": 2.451956653449612e-05,
100625
+ "loss": 0.4146,
100626
+ "step": 83295
100627
+ },
100628
+ {
100629
+ "epoch": 15.22,
100630
+ "learning_rate": 2.4511092818385583e-05,
100631
+ "loss": 0.4098,
100632
+ "step": 83300
100633
+ },
100634
+ {
100635
+ "epoch": 15.22,
100636
+ "learning_rate": 2.450262139668435e-05,
100637
+ "loss": 0.412,
100638
+ "step": 83305
100639
+ },
100640
+ {
100641
+ "epoch": 15.22,
100642
+ "learning_rate": 2.4494152269601438e-05,
100643
+ "loss": 0.4116,
100644
+ "step": 83310
100645
+ },
100646
+ {
100647
+ "epoch": 15.22,
100648
+ "learning_rate": 2.4485685437345852e-05,
100649
+ "loss": 0.4124,
100650
+ "step": 83315
100651
+ },
100652
+ {
100653
+ "epoch": 15.23,
100654
+ "learning_rate": 2.447722090012646e-05,
100655
+ "loss": 0.4101,
100656
+ "step": 83320
100657
+ },
100658
+ {
100659
+ "epoch": 15.23,
100660
+ "learning_rate": 2.446875865815216e-05,
100661
+ "loss": 0.4137,
100662
+ "step": 83325
100663
+ },
100664
+ {
100665
+ "epoch": 15.23,
100666
+ "learning_rate": 2.446029871163173e-05,
100667
+ "loss": 0.4115,
100668
+ "step": 83330
100669
+ },
100670
+ {
100671
+ "epoch": 15.23,
100672
+ "learning_rate": 2.4451841060773876e-05,
100673
+ "loss": 0.4083,
100674
+ "step": 83335
100675
+ },
100676
+ {
100677
+ "epoch": 15.23,
100678
+ "learning_rate": 2.4443385705787353e-05,
100679
+ "loss": 0.4099,
100680
+ "step": 83340
100681
+ },
100682
+ {
100683
+ "epoch": 15.23,
100684
+ "learning_rate": 2.4434932646880742e-05,
100685
+ "loss": 0.4101,
100686
+ "step": 83345
100687
+ },
100688
+ {
100689
+ "epoch": 15.23,
100690
+ "learning_rate": 2.4426481884262595e-05,
100691
+ "loss": 0.4112,
100692
+ "step": 83350
100693
+ },
100694
+ {
100695
+ "epoch": 15.23,
100696
+ "learning_rate": 2.441803341814148e-05,
100697
+ "loss": 0.4082,
100698
+ "step": 83355
100699
+ },
100700
+ {
100701
+ "epoch": 15.23,
100702
+ "learning_rate": 2.4409587248725806e-05,
100703
+ "loss": 0.4071,
100704
+ "step": 83360
100705
+ },
100706
+ {
100707
+ "epoch": 15.23,
100708
+ "learning_rate": 2.4401143376224015e-05,
100709
+ "loss": 0.4008,
100710
+ "step": 83365
100711
+ },
100712
+ {
100713
+ "epoch": 15.24,
100714
+ "learning_rate": 2.4392701800844434e-05,
100715
+ "loss": 0.4063,
100716
+ "step": 83370
100717
+ },
100718
+ {
100719
+ "epoch": 15.24,
100720
+ "learning_rate": 2.4384262522795327e-05,
100721
+ "loss": 0.4088,
100722
+ "step": 83375
100723
+ },
100724
+ {
100725
+ "epoch": 15.24,
100726
+ "learning_rate": 2.437582554228497e-05,
100727
+ "loss": 0.4117,
100728
+ "step": 83380
100729
+ },
100730
+ {
100731
+ "epoch": 15.24,
100732
+ "learning_rate": 2.4367390859521492e-05,
100733
+ "loss": 0.403,
100734
+ "step": 83385
100735
+ },
100736
+ {
100737
+ "epoch": 15.24,
100738
+ "learning_rate": 2.435895847471303e-05,
100739
+ "loss": 0.4113,
100740
+ "step": 83390
100741
+ },
100742
+ {
100743
+ "epoch": 15.24,
100744
+ "learning_rate": 2.4350528388067674e-05,
100745
+ "loss": 0.4076,
100746
+ "step": 83395
100747
+ },
100748
+ {
100749
+ "epoch": 15.24,
100750
+ "learning_rate": 2.4342100599793397e-05,
100751
+ "loss": 0.4061,
100752
+ "step": 83400
100753
+ },
100754
+ {
100755
+ "epoch": 15.24,
100756
+ "learning_rate": 2.4333675110098127e-05,
100757
+ "loss": 0.4085,
100758
+ "step": 83405
100759
+ },
100760
+ {
100761
+ "epoch": 15.24,
100762
+ "learning_rate": 2.432525191918979e-05,
100763
+ "loss": 0.4089,
100764
+ "step": 83410
100765
+ },
100766
+ {
100767
+ "epoch": 15.24,
100768
+ "learning_rate": 2.43168310272762e-05,
100769
+ "loss": 0.4102,
100770
+ "step": 83415
100771
+ },
100772
+ {
100773
+ "epoch": 15.24,
100774
+ "learning_rate": 2.4308412434565157e-05,
100775
+ "loss": 0.4082,
100776
+ "step": 83420
100777
+ },
100778
+ {
100779
+ "epoch": 15.25,
100780
+ "learning_rate": 2.429999614126437e-05,
100781
+ "loss": 0.4084,
100782
+ "step": 83425
100783
+ },
100784
+ {
100785
+ "epoch": 15.25,
100786
+ "learning_rate": 2.4291582147581478e-05,
100787
+ "loss": 0.4093,
100788
+ "step": 83430
100789
+ },
100790
+ {
100791
+ "epoch": 15.25,
100792
+ "learning_rate": 2.4283170453724118e-05,
100793
+ "loss": 0.4073,
100794
+ "step": 83435
100795
+ },
100796
+ {
100797
+ "epoch": 15.25,
100798
+ "learning_rate": 2.427476105989982e-05,
100799
+ "loss": 0.4088,
100800
+ "step": 83440
100801
+ },
100802
+ {
100803
+ "epoch": 15.25,
100804
+ "learning_rate": 2.426635396631611e-05,
100805
+ "loss": 0.4131,
100806
+ "step": 83445
100807
+ },
100808
+ {
100809
+ "epoch": 15.25,
100810
+ "learning_rate": 2.4257949173180403e-05,
100811
+ "loss": 0.409,
100812
+ "step": 83450
100813
+ },
100814
+ {
100815
+ "epoch": 15.25,
100816
+ "learning_rate": 2.4249546680700066e-05,
100817
+ "loss": 0.4185,
100818
+ "step": 83455
100819
+ },
100820
+ {
100821
+ "epoch": 15.25,
100822
+ "learning_rate": 2.4241146489082438e-05,
100823
+ "loss": 0.4052,
100824
+ "step": 83460
100825
+ },
100826
+ {
100827
+ "epoch": 15.25,
100828
+ "learning_rate": 2.42327485985348e-05,
100829
+ "loss": 0.4109,
100830
+ "step": 83465
100831
+ },
100832
+ {
100833
+ "epoch": 15.25,
100834
+ "learning_rate": 2.422435300926431e-05,
100835
+ "loss": 0.4094,
100836
+ "step": 83470
100837
+ },
100838
+ {
100839
+ "epoch": 15.26,
100840
+ "learning_rate": 2.421595972147819e-05,
100841
+ "loss": 0.4138,
100842
+ "step": 83475
100843
+ },
100844
+ {
100845
+ "epoch": 15.26,
100846
+ "learning_rate": 2.4207568735383465e-05,
100847
+ "loss": 0.4156,
100848
+ "step": 83480
100849
+ },
100850
+ {
100851
+ "epoch": 15.26,
100852
+ "learning_rate": 2.419918005118725e-05,
100853
+ "loss": 0.4093,
100854
+ "step": 83485
100855
+ },
100856
+ {
100857
+ "epoch": 15.26,
100858
+ "learning_rate": 2.4190793669096458e-05,
100859
+ "loss": 0.4086,
100860
+ "step": 83490
100861
+ },
100862
+ {
100863
+ "epoch": 15.26,
100864
+ "learning_rate": 2.418240958931804e-05,
100865
+ "loss": 0.4078,
100866
+ "step": 83495
100867
+ },
100868
+ {
100869
+ "epoch": 15.26,
100870
+ "learning_rate": 2.4174027812058896e-05,
100871
+ "loss": 0.4098,
100872
+ "step": 83500
100873
+ },
100874
+ {
100875
+ "epoch": 15.26,
100876
+ "learning_rate": 2.4165648337525813e-05,
100877
+ "loss": 0.41,
100878
+ "step": 83505
100879
+ },
100880
+ {
100881
+ "epoch": 15.26,
100882
+ "learning_rate": 2.4157271165925515e-05,
100883
+ "loss": 0.4162,
100884
+ "step": 83510
100885
+ },
100886
+ {
100887
+ "epoch": 15.26,
100888
+ "learning_rate": 2.414889629746476e-05,
100889
+ "loss": 0.4119,
100890
+ "step": 83515
100891
+ },
100892
+ {
100893
+ "epoch": 15.26,
100894
+ "learning_rate": 2.414052373235016e-05,
100895
+ "loss": 0.4061,
100896
+ "step": 83520
100897
+ },
100898
+ {
100899
+ "epoch": 15.27,
100900
+ "learning_rate": 2.413215347078828e-05,
100901
+ "loss": 0.4078,
100902
+ "step": 83525
100903
+ },
100904
+ {
100905
+ "epoch": 15.27,
100906
+ "learning_rate": 2.4123785512985684e-05,
100907
+ "loss": 0.4063,
100908
+ "step": 83530
100909
+ },
100910
+ {
100911
+ "epoch": 15.27,
100912
+ "learning_rate": 2.4115419859148806e-05,
100913
+ "loss": 0.4129,
100914
+ "step": 83535
100915
+ },
100916
+ {
100917
+ "epoch": 15.27,
100918
+ "learning_rate": 2.4107056509484115e-05,
100919
+ "loss": 0.4109,
100920
+ "step": 83540
100921
+ },
100922
+ {
100923
+ "epoch": 15.27,
100924
+ "learning_rate": 2.409869546419792e-05,
100925
+ "loss": 0.4059,
100926
+ "step": 83545
100927
+ },
100928
+ {
100929
+ "epoch": 15.27,
100930
+ "learning_rate": 2.4090336723496513e-05,
100931
+ "loss": 0.4115,
100932
+ "step": 83550
100933
+ },
100934
+ {
100935
+ "epoch": 15.27,
100936
+ "learning_rate": 2.408198028758619e-05,
100937
+ "loss": 0.4063,
100938
+ "step": 83555
100939
+ },
100940
+ {
100941
+ "epoch": 15.27,
100942
+ "learning_rate": 2.4073626156673117e-05,
100943
+ "loss": 0.405,
100944
+ "step": 83560
100945
+ },
100946
+ {
100947
+ "epoch": 15.27,
100948
+ "learning_rate": 2.4065274330963383e-05,
100949
+ "loss": 0.418,
100950
+ "step": 83565
100951
+ },
100952
+ {
100953
+ "epoch": 15.27,
100954
+ "learning_rate": 2.4056924810663117e-05,
100955
+ "loss": 0.4124,
100956
+ "step": 83570
100957
+ },
100958
+ {
100959
+ "epoch": 15.28,
100960
+ "learning_rate": 2.4048577595978276e-05,
100961
+ "loss": 0.406,
100962
+ "step": 83575
100963
+ },
100964
+ {
100965
+ "epoch": 15.28,
100966
+ "learning_rate": 2.4040232687114897e-05,
100967
+ "loss": 0.4076,
100968
+ "step": 83580
100969
+ },
100970
+ {
100971
+ "epoch": 15.28,
100972
+ "learning_rate": 2.4031890084278828e-05,
100973
+ "loss": 0.4091,
100974
+ "step": 83585
100975
+ },
100976
+ {
100977
+ "epoch": 15.28,
100978
+ "learning_rate": 2.4023549787675892e-05,
100979
+ "loss": 0.41,
100980
+ "step": 83590
100981
+ },
100982
+ {
100983
+ "epoch": 15.28,
100984
+ "learning_rate": 2.4015211797511952e-05,
100985
+ "loss": 0.413,
100986
+ "step": 83595
100987
+ },
100988
+ {
100989
+ "epoch": 15.28,
100990
+ "learning_rate": 2.4006876113992694e-05,
100991
+ "loss": 0.4115,
100992
+ "step": 83600
100993
+ },
100994
+ {
100995
+ "epoch": 15.28,
100996
+ "learning_rate": 2.399854273732379e-05,
100997
+ "loss": 0.4121,
100998
+ "step": 83605
100999
+ },
101000
+ {
101001
+ "epoch": 15.28,
101002
+ "learning_rate": 2.3990211667710878e-05,
101003
+ "loss": 0.4101,
101004
+ "step": 83610
101005
+ },
101006
+ {
101007
+ "epoch": 15.28,
101008
+ "learning_rate": 2.3981882905359503e-05,
101009
+ "loss": 0.414,
101010
+ "step": 83615
101011
+ },
101012
+ {
101013
+ "epoch": 15.28,
101014
+ "learning_rate": 2.397355645047516e-05,
101015
+ "loss": 0.4097,
101016
+ "step": 83620
101017
+ },
101018
+ {
101019
+ "epoch": 15.28,
101020
+ "learning_rate": 2.3965232303263335e-05,
101021
+ "loss": 0.4069,
101022
+ "step": 83625
101023
+ },
101024
+ {
101025
+ "epoch": 15.29,
101026
+ "learning_rate": 2.395691046392936e-05,
101027
+ "loss": 0.4061,
101028
+ "step": 83630
101029
+ },
101030
+ {
101031
+ "epoch": 15.29,
101032
+ "learning_rate": 2.394859093267863e-05,
101033
+ "loss": 0.414,
101034
+ "step": 83635
101035
+ },
101036
+ {
101037
+ "epoch": 15.29,
101038
+ "learning_rate": 2.3940273709716385e-05,
101039
+ "loss": 0.4066,
101040
+ "step": 83640
101041
+ },
101042
+ {
101043
+ "epoch": 15.29,
101044
+ "learning_rate": 2.393195879524784e-05,
101045
+ "loss": 0.4096,
101046
+ "step": 83645
101047
+ },
101048
+ {
101049
+ "epoch": 15.29,
101050
+ "learning_rate": 2.3923646189478182e-05,
101051
+ "loss": 0.4106,
101052
+ "step": 83650
101053
+ },
101054
+ {
101055
+ "epoch": 15.29,
101056
+ "learning_rate": 2.391533589261248e-05,
101057
+ "loss": 0.4039,
101058
+ "step": 83655
101059
+ },
101060
+ {
101061
+ "epoch": 15.29,
101062
+ "learning_rate": 2.390702790485584e-05,
101063
+ "loss": 0.412,
101064
+ "step": 83660
101065
+ },
101066
+ {
101067
+ "epoch": 15.29,
101068
+ "learning_rate": 2.3898722226413207e-05,
101069
+ "loss": 0.4128,
101070
+ "step": 83665
101071
+ },
101072
+ {
101073
+ "epoch": 15.29,
101074
+ "learning_rate": 2.3890418857489508e-05,
101075
+ "loss": 0.4072,
101076
+ "step": 83670
101077
+ },
101078
+ {
101079
+ "epoch": 15.29,
101080
+ "learning_rate": 2.3882117798289663e-05,
101081
+ "loss": 0.406,
101082
+ "step": 83675
101083
+ },
101084
+ {
101085
+ "epoch": 15.3,
101086
+ "learning_rate": 2.3873819049018468e-05,
101087
+ "loss": 0.4093,
101088
+ "step": 83680
101089
+ },
101090
+ {
101091
+ "epoch": 15.3,
101092
+ "learning_rate": 2.3865522609880653e-05,
101093
+ "loss": 0.4083,
101094
+ "step": 83685
101095
+ },
101096
+ {
101097
+ "epoch": 15.3,
101098
+ "learning_rate": 2.385722848108099e-05,
101099
+ "loss": 0.4125,
101100
+ "step": 83690
101101
+ },
101102
+ {
101103
+ "epoch": 15.3,
101104
+ "learning_rate": 2.384893666282408e-05,
101105
+ "loss": 0.4124,
101106
+ "step": 83695
101107
+ },
101108
+ {
101109
+ "epoch": 15.3,
101110
+ "learning_rate": 2.3840647155314528e-05,
101111
+ "loss": 0.4118,
101112
+ "step": 83700
101113
+ },
101114
+ {
101115
+ "epoch": 15.3,
101116
+ "learning_rate": 2.3832359958756895e-05,
101117
+ "loss": 0.4082,
101118
+ "step": 83705
101119
+ },
101120
+ {
101121
+ "epoch": 15.3,
101122
+ "learning_rate": 2.3824075073355617e-05,
101123
+ "loss": 0.4024,
101124
+ "step": 83710
101125
+ },
101126
+ {
101127
+ "epoch": 15.3,
101128
+ "learning_rate": 2.3815792499315156e-05,
101129
+ "loss": 0.4037,
101130
+ "step": 83715
101131
+ },
101132
+ {
101133
+ "epoch": 15.3,
101134
+ "learning_rate": 2.3807512236839863e-05,
101135
+ "loss": 0.4088,
101136
+ "step": 83720
101137
+ },
101138
+ {
101139
+ "epoch": 15.3,
101140
+ "learning_rate": 2.379923428613401e-05,
101141
+ "loss": 0.4068,
101142
+ "step": 83725
101143
+ },
101144
+ {
101145
+ "epoch": 15.31,
101146
+ "learning_rate": 2.3790958647401913e-05,
101147
+ "loss": 0.4096,
101148
+ "step": 83730
101149
+ },
101150
+ {
101151
+ "epoch": 15.31,
101152
+ "learning_rate": 2.378268532084772e-05,
101153
+ "loss": 0.4101,
101154
+ "step": 83735
101155
+ },
101156
+ {
101157
+ "epoch": 15.31,
101158
+ "learning_rate": 2.3774414306675538e-05,
101159
+ "loss": 0.4087,
101160
+ "step": 83740
101161
+ },
101162
+ {
101163
+ "epoch": 15.31,
101164
+ "learning_rate": 2.3766145605089532e-05,
101165
+ "loss": 0.4104,
101166
+ "step": 83745
101167
+ },
101168
+ {
101169
+ "epoch": 15.31,
101170
+ "learning_rate": 2.375787921629364e-05,
101171
+ "loss": 0.4062,
101172
+ "step": 83750
101173
+ },
101174
+ {
101175
+ "epoch": 15.31,
101176
+ "learning_rate": 2.3749615140491888e-05,
101177
+ "loss": 0.4049,
101178
+ "step": 83755
101179
+ },
101180
+ {
101181
+ "epoch": 15.31,
101182
+ "learning_rate": 2.374135337788815e-05,
101183
+ "loss": 0.4058,
101184
+ "step": 83760
101185
+ },
101186
+ {
101187
+ "epoch": 15.31,
101188
+ "learning_rate": 2.3733093928686272e-05,
101189
+ "loss": 0.4097,
101190
+ "step": 83765
101191
+ },
101192
+ {
101193
+ "epoch": 15.31,
101194
+ "learning_rate": 2.3724836793090086e-05,
101195
+ "loss": 0.4094,
101196
+ "step": 83770
101197
+ },
101198
+ {
101199
+ "epoch": 15.31,
101200
+ "learning_rate": 2.3716581971303276e-05,
101201
+ "loss": 0.4099,
101202
+ "step": 83775
101203
+ },
101204
+ {
101205
+ "epoch": 15.31,
101206
+ "learning_rate": 2.3708329463529576e-05,
101207
+ "loss": 0.4052,
101208
+ "step": 83780
101209
+ },
101210
+ {
101211
+ "epoch": 15.32,
101212
+ "learning_rate": 2.370007926997258e-05,
101213
+ "loss": 0.4101,
101214
+ "step": 83785
101215
+ },
101216
+ {
101217
+ "epoch": 15.32,
101218
+ "learning_rate": 2.369183139083583e-05,
101219
+ "loss": 0.4115,
101220
+ "step": 83790
101221
+ },
101222
+ {
101223
+ "epoch": 15.32,
101224
+ "learning_rate": 2.368358582632286e-05,
101225
+ "loss": 0.4087,
101226
+ "step": 83795
101227
+ },
101228
+ {
101229
+ "epoch": 15.32,
101230
+ "learning_rate": 2.367534257663715e-05,
101231
+ "loss": 0.4134,
101232
+ "step": 83800
101233
+ },
101234
+ {
101235
+ "epoch": 15.32,
101236
+ "learning_rate": 2.366710164198204e-05,
101237
+ "loss": 0.4116,
101238
+ "step": 83805
101239
+ },
101240
+ {
101241
+ "epoch": 15.32,
101242
+ "learning_rate": 2.3658863022560913e-05,
101243
+ "loss": 0.411,
101244
+ "step": 83810
101245
+ },
101246
+ {
101247
+ "epoch": 15.32,
101248
+ "learning_rate": 2.3650626718577024e-05,
101249
+ "loss": 0.4045,
101250
+ "step": 83815
101251
+ },
101252
+ {
101253
+ "epoch": 15.32,
101254
+ "learning_rate": 2.3642392730233576e-05,
101255
+ "loss": 0.4149,
101256
+ "step": 83820
101257
+ },
101258
+ {
101259
+ "epoch": 15.32,
101260
+ "learning_rate": 2.3634161057733787e-05,
101261
+ "loss": 0.4137,
101262
+ "step": 83825
101263
+ },
101264
+ {
101265
+ "epoch": 15.32,
101266
+ "learning_rate": 2.3625931701280707e-05,
101267
+ "loss": 0.4063,
101268
+ "step": 83830
101269
+ },
101270
+ {
101271
+ "epoch": 15.33,
101272
+ "learning_rate": 2.361770466107744e-05,
101273
+ "loss": 0.4107,
101274
+ "step": 83835
101275
+ },
101276
+ {
101277
+ "epoch": 15.33,
101278
+ "learning_rate": 2.360947993732697e-05,
101279
+ "loss": 0.4128,
101280
+ "step": 83840
101281
+ },
101282
+ {
101283
+ "epoch": 15.33,
101284
+ "learning_rate": 2.360125753023218e-05,
101285
+ "loss": 0.4064,
101286
+ "step": 83845
101287
+ },
101288
+ {
101289
+ "epoch": 15.33,
101290
+ "learning_rate": 2.359303743999602e-05,
101291
+ "loss": 0.4098,
101292
+ "step": 83850
101293
+ },
101294
+ {
101295
+ "epoch": 15.33,
101296
+ "learning_rate": 2.3584819666821284e-05,
101297
+ "loss": 0.407,
101298
+ "step": 83855
101299
+ },
101300
+ {
101301
+ "epoch": 15.33,
101302
+ "learning_rate": 2.3576604210910707e-05,
101303
+ "loss": 0.407,
101304
+ "step": 83860
101305
+ },
101306
+ {
101307
+ "epoch": 15.33,
101308
+ "learning_rate": 2.3568391072467055e-05,
101309
+ "loss": 0.4051,
101310
+ "step": 83865
101311
+ },
101312
+ {
101313
+ "epoch": 15.33,
101314
+ "learning_rate": 2.3560180251692924e-05,
101315
+ "loss": 0.4172,
101316
+ "step": 83870
101317
+ },
101318
+ {
101319
+ "epoch": 15.33,
101320
+ "learning_rate": 2.3551971748790964e-05,
101321
+ "loss": 0.4133,
101322
+ "step": 83875
101323
+ },
101324
+ {
101325
+ "epoch": 15.33,
101326
+ "learning_rate": 2.3543765563963668e-05,
101327
+ "loss": 0.4111,
101328
+ "step": 83880
101329
+ },
101330
+ {
101331
+ "epoch": 15.34,
101332
+ "learning_rate": 2.353556169741352e-05,
101333
+ "loss": 0.4096,
101334
+ "step": 83885
101335
+ },
101336
+ {
101337
+ "epoch": 15.34,
101338
+ "learning_rate": 2.3527360149342973e-05,
101339
+ "loss": 0.4056,
101340
+ "step": 83890
101341
+ },
101342
+ {
101343
+ "epoch": 15.34,
101344
+ "learning_rate": 2.3519160919954346e-05,
101345
+ "loss": 0.4147,
101346
+ "step": 83895
101347
+ },
101348
+ {
101349
+ "epoch": 15.34,
101350
+ "learning_rate": 2.3510964009449968e-05,
101351
+ "loss": 0.4123,
101352
+ "step": 83900
101353
+ },
101354
+ {
101355
+ "epoch": 15.34,
101356
+ "learning_rate": 2.350276941803212e-05,
101357
+ "loss": 0.4133,
101358
+ "step": 83905
101359
+ },
101360
+ {
101361
+ "epoch": 15.34,
101362
+ "learning_rate": 2.3494577145902974e-05,
101363
+ "loss": 0.4096,
101364
+ "step": 83910
101365
+ },
101366
+ {
101367
+ "epoch": 15.34,
101368
+ "learning_rate": 2.3486387193264625e-05,
101369
+ "loss": 0.4128,
101370
+ "step": 83915
101371
+ },
101372
+ {
101373
+ "epoch": 15.34,
101374
+ "learning_rate": 2.3478199560319226e-05,
101375
+ "loss": 0.4089,
101376
+ "step": 83920
101377
+ },
101378
+ {
101379
+ "epoch": 15.34,
101380
+ "learning_rate": 2.3470014247268723e-05,
101381
+ "loss": 0.4087,
101382
+ "step": 83925
101383
+ },
101384
+ {
101385
+ "epoch": 15.34,
101386
+ "learning_rate": 2.3461831254315145e-05,
101387
+ "loss": 0.409,
101388
+ "step": 83930
101389
+ },
101390
+ {
101391
+ "epoch": 15.35,
101392
+ "learning_rate": 2.345365058166038e-05,
101393
+ "loss": 0.4026,
101394
+ "step": 83935
101395
+ },
101396
+ {
101397
+ "epoch": 15.35,
101398
+ "learning_rate": 2.3445472229506248e-05,
101399
+ "loss": 0.4072,
101400
+ "step": 83940
101401
+ },
101402
+ {
101403
+ "epoch": 15.35,
101404
+ "learning_rate": 2.3437296198054574e-05,
101405
+ "loss": 0.4097,
101406
+ "step": 83945
101407
+ },
101408
+ {
101409
+ "epoch": 15.35,
101410
+ "learning_rate": 2.342912248750707e-05,
101411
+ "loss": 0.4134,
101412
+ "step": 83950
101413
+ },
101414
+ {
101415
+ "epoch": 15.35,
101416
+ "learning_rate": 2.342095109806546e-05,
101417
+ "loss": 0.4057,
101418
+ "step": 83955
101419
+ },
101420
+ {
101421
+ "epoch": 15.35,
101422
+ "learning_rate": 2.3412782029931317e-05,
101423
+ "loss": 0.4051,
101424
+ "step": 83960
101425
+ },
101426
+ {
101427
+ "epoch": 15.35,
101428
+ "learning_rate": 2.340461528330621e-05,
101429
+ "loss": 0.4039,
101430
+ "step": 83965
101431
+ },
101432
+ {
101433
+ "epoch": 15.35,
101434
+ "learning_rate": 2.3396450858391668e-05,
101435
+ "loss": 0.4036,
101436
+ "step": 83970
101437
+ },
101438
+ {
101439
+ "epoch": 15.35,
101440
+ "learning_rate": 2.3388288755389134e-05,
101441
+ "loss": 0.4049,
101442
+ "step": 83975
101443
+ },
101444
+ {
101445
+ "epoch": 15.35,
101446
+ "learning_rate": 2.3380128974499974e-05,
101447
+ "loss": 0.415,
101448
+ "step": 83980
101449
+ },
101450
+ {
101451
+ "epoch": 15.35,
101452
+ "learning_rate": 2.337197151592556e-05,
101453
+ "loss": 0.4135,
101454
+ "step": 83985
101455
+ },
101456
+ {
101457
+ "epoch": 15.36,
101458
+ "learning_rate": 2.3363816379867123e-05,
101459
+ "loss": 0.4137,
101460
+ "step": 83990
101461
+ },
101462
+ {
101463
+ "epoch": 15.36,
101464
+ "learning_rate": 2.335566356652592e-05,
101465
+ "loss": 0.4063,
101466
+ "step": 83995
101467
+ },
101468
+ {
101469
+ "epoch": 15.36,
101470
+ "learning_rate": 2.3347513076103134e-05,
101471
+ "loss": 0.4076,
101472
+ "step": 84000
101473
+ },
101474
+ {
101475
+ "epoch": 15.36,
101476
+ "eval_loss": 0.39083290100097656,
101477
+ "eval_runtime": 69.5769,
101478
+ "eval_samples_per_second": 71.863,
101479
+ "eval_steps_per_second": 0.762,
101480
+ "step": 84000
101481
  }
101482
  ],
101483
  "max_steps": 100000,
101484
  "num_train_epochs": 20,
101485
+ "total_flos": 8.833130000970953e+21,
101486
  "trial_name": null,
101487
  "trial_params": null
101488
  }
pytorch_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:3ef4bdbb6fee9cd2d46e38e4eb7c51276020d9f7bc5703ea4eb326cc527f1b70
3
  size 449471589
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c8fa34a40904c9f23d3417c38f65447e9143354e0098753c536a2fa1a7261c83
3
  size 449471589