Hugging Face Transformers với Python

Hugging Face là gì?

Hugging Face cung cấp hơn 500.000 mô hình AI open-source. Thư viện Transformers giúp sử dụng các mô hình state-of-the-art chỉ với vài dòng code Python.

Pipeline — Sử dụng AI trong 3 dòng code

from transformers import pipeline

# Phân tích cảm xúc
sentiment = pipeline("sentiment-analysis")
print(sentiment("Python is amazing!"))

# Tóm tắt văn bản
summarizer = pipeline("summarization")
text = "..." # Đoạn văn bản dài
summary = summarizer(text, max_length=100)
print(summary[0]["summary_text"])

# Dịch thuật
translator = pipeline("translation_en_to_fr")
print(translator("Python is the best programming language"))

Sử dụng BERT cho text classification

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "nlptown/bert-base-multilingual-uncased-sentiment"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

text = "Trang web Python Vietnam rất hữu ích!"
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)

with torch.no_grad():
    outputs = model(**inputs)
    prediction = torch.argmax(outputs.logits, dim=1)
    print(f"Rating: {prediction.item() + 1}/5 sao")

Fine-tuning mô hình

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=16,
    learning_rate=2e-5,
    evaluation_strategy="epoch"
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset
)
trainer.train()

Hugging Face Transformers là "siêu thị AI" — bạn chỉ cần chọn mô hình phù hợp và sử dụng.