Ollama

Ollama, LLaMA, Mistral, Gemma, Phi gibi büyük dil modellerini yerel bilgisayarınızda komut satırından indirip çalıştırmayı kolaylaştıran bir araçtır. Tek bir komutla model indirip sohbet başlatabilirsiniz. OpenAI uyumlu yerel API sunduğu için mevcut uygulamalarla kolayca entegre edilebilir. Windows, Mac ve Linux’ta ücretsiz ve açık kaynaklı çalışır.

Temel Özellikler

• LLaMA, Mistral, Gemma, Phi ve daha fazlası
• Tek komutla model indirme ve çalıştırma
• OpenAI uyumlu yerel API (port 11434)
• GPU (NVIDIA CUDA, AMD ROCm) ve CPU desteği
• Çoklu model yönetimi
• Sistem promptu özelleştirme
• Modelfile ile özel model oluşturma
• Açık kaynak (MIT), tamamen ücretsiz

Ollama ile yerel LLM nasıl çalıştırılır?

ollama.ai adresinden Ollama’yı indirip kurun. Komut satırını açın ve ollama pull llama3 komutuyla LLaMA 3 modelini indirin (yaklaşık 4-8 GB). İndirme tamamlandıktan sonra ollama run llama3 komutuyla modeli başlatın. Komut satırında sohbet arayüzü açılır; sorularınızı yazıp Enter’a basın. Farklı modeller denemek için ollama pull mistral veya ollama pull gemma komutu kullanın. Tüm yüklü modelleri listelemek için ollama list komutunu çalıştırın.

Ollama API’si nasıl kullanılır?

Ollama çalışırken localhost:11434 adresinde OpenAI uyumlu bir REST API sunar. Herhangi bir dilde HTTP isteğiyle modeli kullanabilirsiniz. Örneğin: curl http://localhost:11434/api/generate -d {“model”:”llama3″,”prompt”:”Merhaba”}. OpenAI Python SDK ile base URL’yi http://localhost:11434/v1 olarak değiştirip aynı kod tabanını kullanabilirsiniz. Open WebUI gibi grafik arayüzler de bu API’yi kullanarak görsel sohbet deneyimi sunar.

Alternatifler

LM Studio grafik arayüzüyle yerel LLM çalıştırmak için çok daha kullanıcı dostu bir alternatiftir. LM Studio ve Ollama tamamlayıcı araçlar olarak birlikte kullanılabilir; LM Studio model yönetimi için, Ollama ise API entegrasyonu için tercih edilir.