yuhanwang030409/gazemoda-ckpts

GazeMoDA checkpoints

GazeMoDA 项目（华为"未来终端"第二期 · 难题5：手机前置单摄像头 2D 注视点估计）的权重。

全部为纯 state_dict（推理权重），不含优化器状态。

---

文件

文件	大小	md5	内容	手机 dot（val）
teacher/dinov3_teacher_ep1.pt	86.9 MB	579d058a7d3203f7bd20c57769cce80d	DINOv3 ViT-S/16 三路教师，ep1	1.4471
teacher/dinov3_teacher_ep4.pt	86.9 MB	51821f4ec3407f2b79f1fa85d6c91670	同上，ep4	1.4942
e1_l4/e1_l4_ep4.pt	9.1 MB	8e1f3be92d5fad0493e394c22ee74f66	学生 e1_l4，ep4	2.0873
a1_e0s/e0_s_ep4.pt	44.4 MB	214d9f50412d742cda29e6e5407d933d	A1（TransGaze 忠实复现），ep4	1.5753
a1_nopre/e0_s_ep4.pt	44.4 MB	89e1740542c59d0f61268cd67d567339	A1 无预训练版，ep4	2.1330

评测条件：GazeCapture validation split，手机样本，dot error（段内预测先平均再计算误差）。

---

模型结构

模型	结构	参数量	FLOPs/样本
教师	DINOv3 ViT-S/16 三路（[gaze, reg×4, 右眼196, 整脸196, 左眼196]，T=593）	21.71M	32.012 G
学生 e1_l4	TransGaze 结构，P=28 / D=192 / L=4 / 3 头	2.27M	0.971 G
A1	TransGaze 结构，P=14 / D=384 / L=6 / 6 头	11.09M	22.13 G

输入为三路图像（整脸 224×224、左眼 96×224、右眼 96×224），整帧为拉伸（stretch）处理。

---

训练数据

GazeCapture（Krafka et al., CVPR 2016）的裁剪派生版：

• train 1,271 subjects / 1,251,983 帧
• val 50 subjects / 59,480 帧
• test 150 subjects / 179,496 帧

同一数据集的预处理版本见 yuhanwang030409/gazecapture-processed。

---

许可

权重	说明
教师（teacher/*）	由 timm/vit_small_patch16_dinov3_qkvb.lvd1689m 初始化后微调，继承 Meta DINOv3 License
A1（a1_e0s/*、a1_nopre/*）	由 DINOv2 ViT-S/14 初始化（a1_nopre 为随机初始化）后训练
学生（e1_l4/*）	从随机初始化训练

训练数据 GazeCapture 的使用受其官方许可约束，仅限研究用途。

---

引用

@inproceedings{krafka2016eye,
  title={Eye Tracking for Everyone},
  author={Krafka, Kyle and Khosla, Aditya and Kellnhofer, Petr and Kannan, Harini
          and Bhandarkar, Suchendra and Matusik, Wojciech and Torralba, Antonio},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2016}
}

@article{transgaze2024,
  title={TransGaze: Exploring plain vision transformers for gaze estimation},
  journal={Machine Vision and Applications},
  year={2024}
}