Son zamanlarda yerel olarak Büyük Dil Modelleri (LLM'ler) çalıştırmaya gerçekten merak sardım ve tüm bunları gördükten sonra... MCP araçlarıyla yapabileceğiniz harika şeylerAyarlarımı biraz güncellemenin zamanının geldiğini fark ettim.
Başlangıçta, DeepSeek R1 piyasaya sürüldüğünde büyük bir heyecanla karşılamıştım, ancak o zamandan beri birçok yeni model ortaya çıktı. Her şeyin bu kadar hızlı değiştiğini göz önünde bulundurarak, iş akışımı da optimize etmenin mantıklı olacağını düşündüm.
Hızlı Linkler
LM Studio, şu ana kadar kullandığım en iyi yerel LLM uygulaması.
Ollama iyi ama ben bunu tercih ederim.
Yerel Büyük Dil Modelleri (LLM'ler) ile ilk denemelerime geçen yıl Ollama'yı kullanarak başladım.İşini yeterince iyi yaptı, ancak sadece 8 GB RAM'e sahip zavallı MacBook Air'im bu tür bir iş yükünü kaldıracak şekilde tasarlanmamıştı. Yine de, kısmen merakımdan, kısmen de daha fazla performans elde edip edemeyeceğimi görmek için farklı bir şey denemek istedim.
Bu yüzden LM Studio'yu denemeye karar verdim. Bu uygulama, Büyük Dil Modellerini (LLM'ler) yerel olarak bilgisayarınıza indirip çalıştırmanıza olanak tanıyor ve ayrıca temiz bir kullanıcı arayüzüne sahip. Mac kullandığım için MLX desteği benim için çok önemliydi. Bilmeyenler için MLX, Apple'ın özellikle Apple Silicon için tasarlanmış makine öğrenimi çerçevesidir.
Esasen, modellerin grafik işlem birimini (GPU) kullanarak daha verimli çalışmasını sağlar. Ancak, bu sözleri sayılara dökmek istedim, bu yüzden aynı modeli kullanarak Ollama ile LMStudio'yu doğrudan karşılaştırdım.
LM Studio ile saniyede daha fazla sembol işliyordum, ancak fark o kadar küçüktü ki genel deneyimi gerçekten değiştirmedi. Yine de, elde edebileceğim her türlü ekstra performansı kabul ederdim.
Ancak, özellikle her ikisi de modelleri yerel olarak çalıştırmak için benzer temel çerçevelere dayandığı için, Ollama mı yoksa LM Studio mu seçtiğinizin çok fazla fark yaratacağını düşünmüyorum.
İlk başladığımda en büyük şikayetim multimedya desteğinin olmamasıydı. Ama bu artık gerçek bir sorun değil. Hem Ollama hem de LM Studio artık multimedya şablonlarını destekliyor ve yerel cihazlarda metin ve görüntüleri iyi işleyebilen birkaç güçlü seçenek mevcut.
Doğru modeli seçmek biraz zor olabilir.
Pahalı bir hobi olabilir.
LM Studio'yu ilk kurduğunuzda yapmanız gereken ilk şey bir şablon seçmektir. Bu, yeni başlayanlar için biraz kafa karıştırıcı görünebilir, çünkü tek ve net bir "bu şablonu kullan" cevabı yoktur. Doğru seçim gerçekten donanımınıza bağlıdır.
LM Studio'da Model Arama menüsünü açarsanız, en popüler modellerin bir listesini göreceksiniz. Bir modelin ne kadar talep gördüğünü anlamanın basit bir yolu, adındaki "B" harfinden hemen önceki sayıya bakmaktır.
“B” harfi milyarlarca parametreyi temsil eder. Genellikle bu sayı ne kadar yüksekse, model o kadar güçlüdür. Bu aynı zamanda daha fazla kaynak gerektireceği anlamına da gelir. 8 GB VRAM'e sahip bir Mac'te, 3 ila 4 milyar parametre aralığının iyi bir aralık olduğunu düşünüyorum. PC'lerde işler biraz daha karmaşık hale gelebilir. Sistemdeki normal RAM yerine, sahip olduğunuz VRAM miktarı en önemli olanıdır.
8 GB VRAM'iniz varsa, özellikle daha hafif kuantum konfigürasyonlarında, 7B parametreleri kullanan modellerle rahatlıkla denemeler yapabilirsiniz. Benim deneyimime göre, en iyi yaklaşım daha küçük bir modelle başlamak ve doğru uyumu bulana kadar kademeli olarak daha büyük modellere geçmektir.
Şahsen, Google'ın Gemini modelleriyle aynı temele dayanan Gemma 3 4B modeline daha çok ilgi duydum. Ancak yine de Qwen modellerini de denemenizi tavsiye ederim. Ne yaptığınıza bağlı olarak, sizin için çok daha uygun olabilir.
Yerel LLM'nize web arama özelliğini bile ekleyebilirsiniz.
DuckDuckGo imdada yetişiyor.
Yerel Büyük Dil Modelleri (LLM'ler) hakkında gördüğüm en büyük şikayetlerden biri, web araması söz konusu olduğunda ChatGPT gibi bulut tabanlı modellere kıyasla ne kadar sınırlı olduklarıdır. En yeni iPhone hakkında soru sorduğunuzda, LLM'nin iPhone 14'ten bahsetmeye başlaması pek yardımcı olmuyor. Bu, bulut tabanlı modellerin üstün olduğu bir alandır.
LM Studio'nun yerleşik bir eklenti sistemi vardır ve web araması eklemek inanılmaz derecede basittir. Sadece şuraya gidin: DuckDuckGo Eklenti SayfasıVe LM Studio'da Çalıştır seçeneğini belirtin.
Etkinleştirildikten sonra, bir formu çalıştırdığınızda, sohbet kutusunun altında sorgunuz için DuckDuckGo'yu çağırmak isteyip istemediğinizi soran bir seçenek göreceksiniz. Bunu etkinleştirirseniz, LM Studio canlı arama sonuçlarını alacak ve bir yanıt oluşturmadan önce bunları forma aktaracaktır.
Eklentilerle yapabilecekleriniz bununla sınırlı değil. LM Studio ekibi ayrıca çok kullanışlı birkaç eklenti de geliştirdi. Örneğin, büyük dil modelinizin Wikipedia'dan makaleleri okumasını ve aramasını sağlayan bir Wikipedia eklentileri var (elbette).
Ayrıca, deneme amaçlı kodlama ile ilgileniyorsanız ve neyin oluşturulduğuna dair kabaca bir fikir edinmek istiyorsanız çok faydalı olabilecek JavaScript Sandbox eklentisi de var. Ancak, üretime hazır bir şey oluşturmak için bu kadar çabaya değeceğini söyleyemem.
Büyük şirketlerden kurtulun
LM Studio'yu, büyük dil modelinize telefonunuzdan erişebilecek şekilde yapılandırabilirsiniz, ancak tüm çıkarımları doğrudan telefonunuza aktarmak isterseniz, bu da mümkündür. Android telefonda daha küçük ve daha büyük dil modelleri çalıştırmakMac'lerde elde edeceğiniz kadar güçlü olmayacak olsa da.
Bu hafif modellerin geliştirilmesi hızlı ve etkileyici bir şekilde devam ediyor. Donanım maliyetlerinin artması beklenirken, OpenAI veya Google gibi şirketlerin abonelik fiyatlarını artırmalarına şaşırmam. Bu durumdan etkilenmeyen bir sisteme sahip olmak güven verici.
