manhha2502/Finetune-NLLB-200-Distilled-1.3B

Fine-tune NLLB-200 Distilled 1.3B

Repository này chỉ chứa adapter đã fine-tune cho mô hình NLLB-200 Distilled 1.3B của Meta, sử dụng Transformers + PEFT.

Lưu ý quan trọng
Repository KHÔNG chứa toàn bộ trọng số của base model. Để sử dụng, bạn bắt buộc phải load base model gốc facebook/nllb-200-distilled-1.3B rồi gắn adapter trong repo này vào.

---

1. Thông tin mô hình

• Base model: facebook/nllb-200-distilled-1.3B
• Phương pháp fine-tune: Adapter (PEFT)
• Framework: Hugging Face Transformers
• Nội dung repository:
  • adapter_model.safetensors – trọng số adapter đã fine-tune
  • adapter_config.json – cấu hình adapter
  • Các file tokenizer (tokenizer.json, sentencepiece.bpe.model, ...)

Repo được thiết kế nhẹ, dễ chia sẻ, không upload toàn bộ mô hình gốc dung lượng lớn.

---

2. Cài đặt thư viện cần thiết

pip install -U transformers peft accelerate bitsandbytes datasets evaluate sacrebleu sentencepiece

3. Cách load model + adapter

import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from peft import PeftModel

BASE_MODEL = "facebook/nllb-200-distilled-1.3B"
ADAPTER_REPO = "manhha2502/Finetune-NLLB-200-Distilled-1.3B"

# Load tokenizer
tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL)

# Load base model
base_model = AutoModelForSeq2SeqLM.from_pretrained(
    BASE_MODEL,
    torch_dtype=torch.float16,
    device_map="auto"
)

# Gắn LoRA adapter
model = PeftModel.from_pretrained(base_model, ADAPTER_REPO)
model.eval()

4. Kết quả fine-tune

Mô hình được fine-tune và đánh giá trên tập test của dataset manhha2502/nlp_data_zh_vi.

• Metric: BLEU, ChrF, TER
• So sánh: Base model vs Model sau fine-tune

Mô hình	BLEU	ChrF	TER
NLLB-200 Distilled 1.3B (base)	22.64	40.52	76.17
NLLB-200 Distilled 1.3B + LoRA (fine-tuned)	31.96	48.09	62.97

5. Đánh giá mức độ cải thiện sau fine-tune

Kết quả cho thấy mô hình NLLB-200 Distilled 1.3B + LoRA đạt được cải thiện rõ rệt và nhất quán so với base model trên tập test của dataset manhha2502/nlp_data_zh_vi.

So sánh định lượng

Chỉ số	Base model	Fine-tuned	Thay đổi
BLEU	22.64	31.96	+9.32
ChrF	40.52	48.09	+7.57
TER	76.17	62.97	−13.20

Phân tích

• BLEU tăng +9.32 điểm, cho thấy chất lượng dịch tổng thể được cải thiện đáng kể, đặc biệt ở mức độ chính xác n-gram.
• ChrF tăng +7.57 điểm, phản ánh mô hình fine-tune sinh câu dịch sát hơn về mặt hình thái và ký tự, phù hợp với đặc trưng ngôn ngữ tiếng Việt.
• TER giảm −13.20 điểm, nghĩa là số lượng chỉnh sửa cần thiết để biến bản dịch máy thành bản dịch chuẩn đã giảm mạnh, chứng tỏ đầu ra tự nhiên và chính xác hơn.

Nhận xét tổng quát

Các chỉ số đều cải thiện theo cùng một xu hướng tích cực:

• Tăng BLEU
• Tăng độ tương đồng ký tự (ChrF)
• Giảm đáng kể lỗi dịch (TER)

Điều này cho thấy adapter LoRA đã học hiệu quả các đặc trưng song ngữ Trung – Việt, dù chỉ fine-tune một phần nhỏ tham số của mô hình gốc. Kết quả khẳng định phương pháp LoRA + NLLB-200 Distilled 1.3B là một hướng tiếp cận hiệu quả cho bài toán dịch máy song ngữ với chi phí tài nguyên thấp.