KoboldCpp

KoboldCpp, GGUF ve GGML formatındaki büyük dil modellerini (LLM) yerel olarak çalıştırmanızı sağlayan hafif ve güçlü bir araçtır. Tek bir .exe dosyası olarak gelir; kurulum gerektirmez. KoboldAI’ın metin üretme arayüzüyle llama.cpp’nin performansını birleştirir. Yaratıcı yazarlık, rol yapma, soru-cevap ve metin tamamlama gibi senaryolar için optimize edilmiştir. CPU, NVIDIA GPU ve Apple Silicon üzerinde çalışır. Windows, macOS ve Linux’ta ücretsiz kullanılabilir.

Öne Çıkan Özellikler

• GGUF ve GGML formatı desteği
• Tek dosya — kurulum gerektirmez
• CPU, NVIDIA GPU ve Apple Silicon desteği
• KoboldAI arayüzü ile kullanıcı dostu deneyim
• Yaratıcı yazarlık ve rol yapma senaryoları
• OpenAI uyumlu API çıktısı
• Çevrimdışı çalışır — veri gizliliği tam
• Karakter kartı ve senaryo yönetimi
• Windows, macOS ve Linux desteği
• Tamamen ücretsiz ve açık kaynak

KoboldCpp ile yerel bir LLM modeli nasıl çalıştırılır?

1. KoboldCpp’yi GitHub’dan indirin (.exe veya binary olarak).
2. Hugging Face veya başka bir kaynaktan GGUF formatında bir model indirin (örn. Mistral 7B Q4_K_M).
3. KoboldCpp’yi çalıştırın; model dosyasını seçin.
4. GPU katman sayısını (GPU layers) ayarlayın — yeterli VRAM’iniz varsa daha fazla katman daha hızlı çalışır.
5. Başlat deyin; tarayıcıda arayüz otomatik açılır.

KoboldCpp’de bağlam uzunluğunu (context length) nasıl artırırım?

1. KoboldCpp’yi açın; başlangıç ekranındaki Bağlam Boyutu (Context Size) alanını bulun.
2. Varsayılan değeri (genellikle 2048) artırın; 4096, 8192 veya daha fazla girin.
3. Daha yüksek bağlam boyutu daha fazla RAM/VRAM gerektirir.
4. RoPE scaling seçeneğini etkinleştirerek modelin desteklemediği uzun bağlamları deneyebilirsiniz.
5. Başlat deyin — model yeni bağlam boyutuyla yüklenir.

Alternatifler

GPT4All, Jan, Fooocus