Using Clusters to Boost LLMs

BÀI TOÁN THỰC TẾ

Tôi đang có (1) Máy Mac Studio M1 Ultra (64G, 1TB) và (2) Macbook Pro M1 Pro (16, 512), tôi muốn tận dụng 02 máy tính này để cài đặt các mô hình ngôn ngữ lớn (chẳng hạn llama3.3:70B, …)

Phương án:

(1) Clustering

(2) Cáp thunderbolt 4

(3) Cấu hình mạng ngang hàng

(4) exo

(5) llama

Tài liệu tham khảo:
https://www.linkedin.com/pulse/build-you-own-ai-cluster-locally-llama31-exomlx-leon-xing-li-nysrc/

(exo) taipm@Phans-MacBook-Pro exo % python3 main.py
None of PyTorch, TensorFlow >= 2.0, or Flax have been found. Models won't be available and only tokenizers, configuration and file/data utilities can be used.
None of PyTorch, TensorFlow >= 2.0, or Flax have been found. Models won't be available and only tokenizers, configuration and file/data utilities can be used.
Selected inference engine: None

Web Chat URL (tinychat): http://127.0.0.1:52415
ChatGPT API endpoint: http://127.0.0.1:52415/v1/chat/completions

Comments

No comments yet. Why don’t you start the discussion?

Leave a Reply

Your email address will not be published. Required fields are marked *