Qwen2.5

Là một trong những AI Model mã nguồn mở (của Alibaba) nổi tiếng nhất hiện nay (bên cạnh đó còn có LLAMA3.2 của Facebook). Điểm khác biệt của các AI MODEL mã nguồn mở so với các AI MODEL thương mại (như OpenAI, Gemini) là ta có thể triển khai nó trên các máy local của chúng ta để thử nghiệm.

CÁC PHIÊN BẢN

Thường thì các AI MODEL sẽ có nhiều phiên bản, chẳng hạn như với Qwen2.5 thì nếu máy tính yếu (vừa) ta sẽ chọn model 7b, nếu máy tính khá hơn thì chúng ta sẽ chọn 32b (chiếm khoảng 19GB).

LƯU Ý:

• Các model nhẹ hơn sẽ chạy nhanh hơn nhưng chất lượng sẽ thấp hơn
• Các model tham số lớn hơn sẽ chạy lâu hơn nhưng chất lượng trả lời sẽ cao hơn.
• Do đó chúng ta cần cân nhắc lựa chọn model nào cho phù hợp với cấu hình máy và yêu cầu bài toán của mình.

KIỂM TRA CÁC MODELS HIỆN TẠI TRÊN MÁY

Như vậy, trên máy hiện tại đã có 02 models [llama3:lastest] và [llama3.2-vision:lastest]

THỰC HÀNH

1. Cài đặt

ollama serve
# You need to keep this service running whenever you are using ollama

ollama run qwen2.5:7b
# To exit, type "/bye" and press ENTER

Lệnh này sẽ chạy (cài đặt (nếu chưa cài đặt) + khởi động) model qwen2.5:7b để chúng ta tương tác.