Ollama

Ollama, LLM'leri doğrudan VPS'nizde çalıştırır. Tek bir komutla Llama 3, Mistral, Phi, Gemma ve Qwen modellerini indirip sunabilirsiniz. API anahtarı gerektirmez, OpenAI istemcileriyle REST API uyumludur. 200.000'den fazla geliştirici tarafından kullanılan bu araç, özel çıkarım için en doğrudan yoldur.