BÀI TOÁN THỰC TẾ
Tôi đang có (1) Máy Mac Studio M1 Ultra (64G, 1TB) và (2) Macbook Pro M1 Pro (16, 512), tôi muốn tận dụng 02 máy tính này để cài đặt các mô hình ngôn ngữ lớn (chẳng hạn llama3.3:70B, …)
Phương án:
(1) Clustering
(2) Cáp thunderbolt 4
(3) Cấu hình mạng ngang hàng
(4) exo
(5) llama
Tài liệu tham khảo:
– https://www.linkedin.com/pulse/build-you-own-ai-cluster-locally-llama31-exomlx-leon-xing-li-nysrc/
(exo) taipm@Phans-MacBook-Pro exo % python3 main.py
None of PyTorch, TensorFlow >= 2.0, or Flax have been found. Models won't be available and only tokenizers, configuration and file/data utilities can be used.
None of PyTorch, TensorFlow >= 2.0, or Flax have been found. Models won't be available and only tokenizers, configuration and file/data utilities can be used.
Selected inference engine: None
Web Chat URL (tinychat): http://127.0.0.1:52415
ChatGPT API endpoint: http://127.0.0.1:52415/v1/chat/completions