gpt2-finetuned-ja

モデル概要

GPT-2 small（約124Mパラメータ）をベースに、日本語の短いテキストを使って小規模に再学習（継続事前学習）しました。
これは 学習用のサンプルモデル であり、実用レベルの性能はありません。

---

学習データ

• 青空文庫（著作権が切れた作品を一部使用）

---

目的と用途

• 個人が LLM の継続事前学習プロセスを体験するため
• 初学者が Google Colab 上で動作確認できるモデル

---

学習環境

• Google Colab (GPU: T4 を使用)
• 学習時間: 約20分

---

制限事項

• 出力はしばしば不自然です
• 実用システムでの利用は想定していません
• 誤情報や不適切な内容を生成する可能性があります

---

使用方法（サンプルコード）

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "mosshi/gpt2-finetuned-ja"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

inputs = tokenizer("今日はとても", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))