Local LLM mimari katmanları, kendi bilgisayarında yapay zeka çalıştırmak isteyen her geliştiricinin bilmesi gereken temel yapıdır. Yapay zeka projelerinde doğru donanım (GPU/VRAM) seçimi kadar bu donanımı yöneten yazılım hiyerarşisi de kritik önem taşır. Yerel yapay zeka sistemleri; Yapay Zeka Modeli (Beyin), Model Sunucusu (Motor) ve Ajan/Arayüz (Etkileşim) olmak üzere 3 ana katmandan oluşur. Daha fazla açık kaynaklı yapay zeka çözümü için Ollama Resmi Web Sitesini inceleyebilir ve sisteminize uygun modelleri hemen indirebilirsiniz.
Ziyaretçileriniz için bu katmanları ve popüler araçların performans derecelendirmelerini aşağıda görsel kartlarla sıraladık.
Local LLM Mimari Katmanları ve Araç Derecelendirmeleri
Yapay Zeka Modeli (Beyin)
Diskte tutulan ham matematiksel ağırlık dosyalarıdır (Örn: qwen2.5-coder-7b.gguf). Kendi başlarına komut çalıştıramazlar, sadece veri deposudur.
Model Sunucuları (Ollama Sınıfı Motorlar)
Diskteki modeli alır, ekran kartının (GPU VRAM) belleğine yükler ve API isteklerine yanıt verir.
Ajanlar ve Arayüzler (OpenHands Sınıfı)
Ollama gibi sunuculara soru soran, aldığı yanıtla bilgisayarınızda dosya oluşturan veya terminalde kod çalıştıran araçlardır.