[AutoGen] Working with local-ollama

Tham khảo:

https://microsoft.github.io/autogen/0.2/docs/topics/non-openai-models/local-ollama

https://microsoft.github.io/autogen/0.2/docs/topics/non-openai-models/cloud-togetherai

https://microsoft.github.io/autogen/0.2/docs/topics/non-openai-models/cloud-groq

https://microsoft.github.io/autogen/0.2/docs/topics/non-openai-models/cloud-mistralai

import os
from dotenv import load_dotenv
from autogen import ConversableAgent

# Load cấu hình từ file .env
load_dotenv()

# Sử dụng biến môi trường để lấy API key (nếu cần)
api_key = os.getenv("OLLAMA_API_KEY", "")
model = 'llama3'

# Tạo các agent với cấu hình Ollama
student_agent = ConversableAgent(
    name="Student_Agent",
    system_message="You are a student willing to learn.",
    llm_config={
        "config_list": [
            {
                "model": model,
                "base_url": "http://localhost:11434/v1",  # Địa chỉ mặc định của Ollama
                "api_type": "ollama"
            }
        ],
        "max_tokens": 1000,
    },
)

teacher_agent = ConversableAgent(
    name="Teacher_Agent",
    system_message="You are a math teacher explaining concepts clearly.",
    llm_config={
        "config_list": [
            {
                "model": model,
                "base_url": "http://localhost:11434/v1",  # Địa chỉ mặc định của Ollama
                "api_type": "ollama"
            }
        ],
        "max_tokens": 1000,
    },
)

# Thực hiện chat giữa hai agent
chat_result = student_agent.initiate_chat(
    teacher_agent,
    message="Số phức là gì?",
    summary_method="reflection_with_llm",
    max_turns=2,
)

# In kết quả của cuộc trò chuyện
print(chat_result)

Comments

No comments yet. Why don’t you start the discussion?

Leave a Reply

Your email address will not be published. Required fields are marked *