LM Studio

LM Studio, büyük dil modellerini (LLM) internet bağlantısı gerektirmeksizin yerel bilgisayarınızda çalıştırmanıza olanak tanıyan ücretsiz bir masaüstü uygulamasıdır. Hugging Face gibi platformlardaki binlerce açık kaynaklı yapay zeka modelini (Llama, Mistral, Phi, Gemma ve daha fazlası) keşfedip indirmenizi ve yerel olarak çalıştırmanızı sağlar. Sohbet arayüzü aracılığıyla modellerle konuşabilir, farklı parametreler deneyebilir ve OpenAI uyumlu yerel API sunucusu aracılığıyla uygulamalarınızı yerel modellere bağlayabilirsiniz. GPU hızlandırma (NVIDIA CUDA, Apple Metal, AMD ROCm) desteğiyle modeller çok daha hızlı çalıştırılabilir. Verileriniz tamamen yerel kalır; herhangi bir bulut hizmetine gönderilmez. GGUF model formatını kullanan LM Studio, quantizasyon seviyeleri sayesinde sınırlı VRAM’a sahip bilgisayarlarda da makul performansla çalışabilir. Farklı modeller arasında kolayca geçiş yapılabilir ve çoklu sohbet oturumları yönetilebilir.

• Yerel LLM (büyük dil modeli) çalıştırma imkanı
• Llama, Mistral, Phi, Gemma ve yüzlerce model desteği
• NVIDIA CUDA, Apple Metal ve AMD GPU hızlandırması
• OpenAI uyumlu yerel API sunucusu
• İnternet bağlantısı olmadan çalışma (tam gizlilik)
• GGUF quantizasyon formatı ile düşük VRAM kullanımı
• Sohbet geçmişi ve çoklu oturum yönetimi
• Windows, macOS ve Linux desteği

LM Studio ile yerel bir yapay zeka modeli nasıl indirip çalıştırırım?

LM Studio’yu açın ve sol menüden “Discover” (Keşfet) sekmesine tıklayın. Arama kutusuna model adını yazın (örn. “llama” veya “mistral”). Uygun boyutu seçin: 4GB VRAM için 7B Q4 modelleri, 8GB VRAM için 13B modelleri önerilir. “Download” butonuna tıklayın ve indirme tamamlanmasını bekleyin. Sol menüden “Chat” sekmesine geçin ve üst bardaki model seçiciden indirdiğiniz modeli seçin. Artık yerel modelinizle konuşabilirsiniz. İlk yanıt biraz yavaş gelebilir; model yüklendikten sonra yanıtlar hızlanır.

LM Studio API sunucusunu nasıl kullanabilirim?

LM Studio sol menüsünden “Local Server” sekmesine tıklayın. Bir model seçin ve “Start Server” butonuna basın. Sunucu varsayılan olarak localhost:1234 adresinde çalışır. OpenAI Python kütüphanesi veya herhangi bir REST istemcisi ile bağlanabilirsiniz. Endpoint: http://localhost:1234/v1/chat/completions. OpenAI uyumlu API çağrısı yaparak modelinize istek gönderebilirsiniz. Bu sayede kendi uygulamalarınızı, Obsidian eklentilerini veya VS Code uzantılarını yerel modelinize bağlayabilirsiniz.

Alternatifler

Yerel yapay zeka çalıştırma için Ollama komut satırı üzerinden model yönetimi sunar. PyCharm Community Python ile LLM entegrasyonu geliştirmek için idealdir. Açık kaynaklı model geliştirme için IntelliJ tabanlı araçlar tercih edilebilir.