Bugün kullandığımız yapay zeka araçlarının çoğu bulut bilişimde çalışır, bu da sürekli internet bağlantısı gerektirdikleri anlamına gelir. Yapay zeka araçlarını cihazlarımızda yerel olarak çalıştırma seçenekleri mevcut olsa da, yaygın kanı, bunun güçlü ve pahalı bir donanım gerektirdiğidir.
Ben de öyle düşünüyordum, ta ki nispeten eski bir makinede (yaklaşık on yıldır piyasada olan bir GTX 1070 ekran kartı) bazı yerel yapay zeka araçlarını test etmeye karar verene ve bunun gerçekten mümkün ve etkili olduğunu keşfedene kadar. Bu deney, yapay zekayı mütevazı özelliklere sahip cihazlarda bile kullanmanın yeni olasılıklarının kapısını açarak, bu teknolojiyi daha geniş bir kullanıcı kitlesine erişilebilir hale getirdi.
Hızlı Linkler
Neden yerel bir AI chatbot'a ihtiyacınız var?
ChatGPT, Gemini, Claude ve diğerleri gibi sayısız yapay zeka destekli sohbet robotunu internette kullandım. Harika çalışıyorlar. Peki ya internet bağlantınız olmadığında ve yine de bir yapay zeka sohbet robotu kullanmak istediğinizde? Ya da çok özel bir şey veya iş veya başka bir nedenle ifşa edilemeyecek bilgiler üzerinde çalışmak istediğinizde?
Bu, tüm konuşmalarınızı ve verilerinizi cihazınızda tutan yerel, çevrimdışı büyük dil modeline (LLM) ihtiyaç duyduğunuz zamandır. Yerel AI sohbet robotu İnternet bağlantısına ihtiyaç duymadan yapay zekanın gücünden yararlanmak.
Gizlilik dikkate alınır Büyük bir yerel dil modelinin kullanılmasının temel nedenlerinden biri şudur:Ancak sansürden kaçınma, çevrimdışı kullanım, maliyet tasarrufu, özelleştirme vb. gibi başka nedenler de vardır. Size şunları sağlar: Yerel Yapay Zeka Sohbet Robotu Verileriniz üzerinde tam kontrole sahip olun, hassas bilgilerinizin güvende kalmasını sağlayın.
Nicemlenmiş büyük dil modelleri (Quantized LLMs) nedir?
Donanım, şirket içinde büyük dil modelleri (LLM) kullanmak isteyen çoğu kişi için en büyük zorluktur. En güçlü yapay zeka modelleri, çalıştırılabilmeleri için güçlü donanımlar gerektirir. Kullanım kolaylığının yanı sıra, donanım kısıtlamaları da yapay zeka destekli sohbet robotlarının çoğunun bulut bilişim tabanlı olmasının bir diğer nedenidir.
Donanım kısıtlamaları, büyük dil modelini (LLM) yerel olarak çalıştıramayacağımı düşünmemin sebeplerinden biriydi. Şu anda oldukça mütevazı bir bilgisayarım var; AMD Ryzen 5800x işlemci (2020'de piyasaya sürüldü), 32 GB DDR4 RAM ve GTX 1070 GPU (2016'da piyasaya sürüldü). Yani, donanım olarak üst düzey değil, ancak şu sıralar ne kadar az oyun oynadığımı (ve oynadığımda da...) düşünürsek, Daha eski, daha az kaynak gerektiren bağımsız oyunlar) ve modern GPU'ların yüksek maliyeti göz önüne alındığında, sahip olduğum şeyden memnunum.
Ancak en güçlü yapay zeka modeline ihtiyacınız olmadığı ortaya çıkıyor. Nicemlenmiş Büyük Dil Modelleri (Nicemlenmiş LLM'ler) Bunlar, kullandıkları verilerin, özellikle ondalık nokta içeren sayıların basitleştirilmesiyle daha küçük ve daha hızlı hale getirilmiş yapay zeka modelleridir.
Yapay zekâ genellikle yüksek hassasiyetli sayılarla (32 bit ondalık sayılar gibi) çalışır ve bu sayılar önemli miktarda bellek ve işlem gücü tüketir. Nicemleme, modelin davranışını önemli ölçüde değiştirmeden bu sayıları daha düşük hassasiyetli sayılara (8 bit tam sayılar gibi) indirger. Bu, modelin daha hızlı çalıştığı, daha az depolama alanı kullandığı ve bazen biraz doğruluk kaybı olsa da daha küçük cihazlarda (akıllı telefonlar veya çevre birimleri gibi) çalışabileceği anlamına gelir.
Bu, eski donanımımın 3.1 milyar parametreli Llama 205 gibi güçlü bir büyük dil modelini (LLM) çalıştırmakta zorlanacağı anlamına gelirken, bunun yerine daha küçük 8B kuantum modelini çalıştırabilir.
Ve ne zaman OpenAI'yi kullanın İlk tam nicemlenmiş açık ağırlıklı çıkarım modellerim için, bunların eski donanımımda ne kadar iyi çalıştığını görmenin zamanının geldiğini düşündüm.
Nvidia GTX 1070 ekran kartı ve LM Studio ile büyük dil modelini (LLM) yerel olarak nasıl kullanırım?
Bu bölüme, yerel büyük dil modelleri (LLM) veya bu akıllı modeli makinemde çalıştırmak için kullandığım yazılım konusunda uzman olmadığımı belirterek başlamak istiyorum. Burada sunacağım şey, GTX 1070 ekran kartımda yerel olarak akıllı bir sohbet robotu çalıştırmak için yaptıklarımın bir açıklaması ve bu çözümün verimliliğinin bir değerlendirmesidir. Amacım, bulut hizmetlerine güvenmek zorunda kalmadan gelişmiş yapay zeka modellerini çalıştırmak için mevcut bilgi işlem gücünüzü nasıl kullanabileceğinizi göstermektir.
LM Studio'yu indirin
Büyük bir dil modelini (LLM) yerel olarak çalıştırmak için özel bir yazılıma ihtiyacınız vardır. Özellikle bir program LM StüdyosuLLM modellerini cihazınıza yerel olarak indirip çalıştırmanıza olanak tanıyan ücretsiz bir araçtır. LM Studio ana sayfasına gidin ve [İşletim sistemi] için indirin (Windows 10 kullanıyorum.) LM Studio, farklı büyük dil modellerini denemek ve bunları dağıtmadan önce kişisel makinelerinde performanslarını değerlendirmek isteyen geliştiriciler ve araştırmacılar için ideal bir platformdur.
Bu, standart bir Windows kurulum sürecidir. Kurulum programını çalıştırın, kurulumu tamamlayın ve ardından LM Studio'yu başlatın. Power User Çünkü keşfetmek isteyebileceğiniz bazı faydalı seçenekleri ortaya çıkarır. Bu seçenek, program ayarları üzerinde daha fazla kontrol ve LLM modellerini kullanma deneyimini özelleştirmek için gelişmiş seçenekler sunar. LM Studio ile büyük dil modelleri dünyasını kolay ve verimli bir şekilde keşfedebilirsiniz.
İlk yerel yapay zeka modelinizi indirin
Kurulumdan sonra ilk büyük dil modelinizi (LLM) yükleyebilirsiniz. Sekmeyi seçin Keşfet (Büyüteç simgesi). LM Studio, cihazınızda en iyi şekilde çalışacak yerel yapay zeka modellerini kolayca görüntüler.
Benim durumumda, adlı bir şablonun indirilmesi öneriliyor Qwen 3-4b-düşünme-2507Modelin adı Qwen'dir (Çinli teknoloji devi Alibaba tarafından geliştirildi), bu modelin üçüncü versiyonudur. "4b" değeri, bu modelin size yanıt vermek için dört milyar parametreye sahip olduğu anlamına gelirken, "düşünme", bu modelin yanıt vermeden önce yanıtını değerlendirmek için zaman harcayacağı anlamına gelir. Son olarak, bu modelin en son güncellendiği tarih 2507 Temmuz olan 25'dir.
Qwen3-4b-thinking yalnızca 2.5 GB boyutunda olduğundan, indirilmesi uzun sürmemelidir. Daha önce 20 GB ile daha büyük olan OpenAI/gpt-oss-12.11b'yi de indirmiştim. 20 milyar parametre içerdiğinden, daha yüksek kaynak maliyeti gerektirse de "daha iyi" yanıtlar sunması gerekir.
Şimdi, bunun dışında Yapay zeka modeli adlandırmasının karmaşıklıklarıLLM'yi indirdiğinizde onu kullanmaya başlamaya neredeyse hazırsınız.
AI modelini çalıştırmadan önce sekmeye gidin donanım LM Studio'nun sisteminizi doğru bir şekilde tanımladığından emin olun. Ayrıca aşağı kaydırıp ayarlayabilirsiniz. otokorkuluklar İşte. Bilgisayarımdaki güvenlik duvarlarını şu şekilde ayarladım: dengeliHerhangi bir yapay zeka modelinin çok fazla kaynak tüketmesini ve bunun sonucunda sistemin aşırı yüklenmesini önlüyor.
Ayrıca şunu da fark edeceksiniz Kaynak Monitörü Koruma Bariyerlerinin Altında. Bu, yapay zeka modelinizin ne kadar sistem kullanımı tükettiğini görmenin kolay bir yoludur. Benim gibi oldukça sınırlı donanım kullanıyorsanız, sisteminizin beklenmedik bir şekilde çökmesini istemediğiniz için bunu takip etmenizde fayda var.
Yapay zeka modelinizi yükleyin ve kullanmaya başlayın.
Artık AI sohbet robotunuzu cihazınızda yerel olarak kullanmaya hazırsınız. LM Studio'da, arama aracı görevi gören üst çubuğu seçin. AI adını seçmek, AI modelini bilgisayarınızın belleğine yükleyecek ve komut ve soru girmeye başlayabilirsiniz. Bu işlem, büyük dil modelinin (LLM) özelliklerini doğrudan cihazınızda etkinleştirmek ve sürekli internet bağlantısına ihtiyaç duymadan etkileşimli ve hızlı bir şekilde AI deneyimi yaşamanızı sağlamak için gereklidir. Model performansının cihazınızın özelliklerine bağlı olduğunu unutmayın, bu nedenle AI modelinizi verimli bir şekilde çalıştırmak için yeterli kaynağa sahip olduğunuzdan emin olun.
Eski donanımlarda yerel olarak bir yapay zeka modeli çalıştırmak: harika, ancak sınırlamaları var
Bir yapay zeka modelini yerel olarak çalıştırmak, her zamanki gibi ondan faydalanmanızı sağlar, ancak bazı önemli sınırlamaların farkında olmalısınız. Bu yerel modeller faydalı olsa da, ChatGPT'de kullanılan GPT-5 gibi en son teknoloji modeller kadar güçlü değildir. Ayrıca, düşünme ve yanıt verme sürecinin çok daha uzun sürdüğünü ve yanıt kalitesinin önemli ölçüde değişebileceğini fark edeceksiniz.
Örneğin, hem Qwen hem de gpt-oss üzerinde klasik bir büyük dil modelini (LLM) test ettim ve her ikisi de uzun bir bekleyişten sonra da olsa görevi tamamlamayı başardı. Bu, eski bir makinede yerel bir yapay zeka modeli kullanmanın pratik bir çözüm olabileceğini, ancak sabır ve eski donanımların sınırlamalarını anlamayı gerektirdiğini gösteriyor.
Allen, Bob, Colin, Dave ve Emily bir daire şeklinde duruyorlar. Allen, Bob'un hemen solunda. Bob, Colin'in hemen solunda. Colin, Dave'in hemen solunda. Dave, Emily'nin hemen solunda. Allen'ın hemen sağında kim var?
Qwen doğru sonuca ulaşmak için 5 dakika 11 saniye harcadı. GPT-5 ise sadece yaklaşık 45 saniye sürdü. Peki herkesi geride bırakan kimdi? 20 saniyelik rekor bir sürede gpt-oss-31b.
Tek bir test yeterli olmadığından, yapay zeka muhakeme becerilerini test etmek için tasarlanmış başka bir bulmacada denedim. Önceki bir testte, OpenAI'nin en yeni modeli GPT-5 bu testi geçememişti, bu yüzden Qwen ve gpt-oss'un çevrimdışı sürümlerinin bunu nasıl çözeceğini merak ediyordum.
Mantıksal problemleri çözmede yapay zeka modellerinin performansının analizi
Mantıksal problemleri çözme becerisi, yapay zeka modelleri için gerçek bir zorluktur. Bir grup insan arasındaki mekansal ilişkileri belirlemeyi içeren yukarıdaki örnek, bu modellerin performansının ne kadar değişken olabileceğini göstermektedir.
Mekansal İlişkiler ve Yapay Zekanın Zorlukları
Mekansal ilişkileri işlemek, yapay zekânın temel bir parçasıdır ve keskin bir dil anlayışı ve mantıksal akıl yürütme becerisi gerektirir. Önceki örnek, gpt-oss-20b gibi bazı modellerin bu görevde mükemmel performans gösterdiğini, Qwen ve GPT-5 gibi bazılarının ise doğru çözüme ulaşmasının daha uzun sürdüğünü göstermektedir.
Yapay zekayı değerlendirmek için çeşitli testlerin önemi
Yapay zeka yeteneklerini kapsamlı bir şekilde değerlendirmek için tek bir teste güvenilemez. Mantıksal akıl yürütme, dil anlama ve karmaşık problem çözme gibi zekanın farklı yönlerini kapsayan çeşitli testler yürütmek gerekir. Bu, her modelin yeteneklerinin ve sınırlamalarının daha doğru bir şekilde değerlendirilmesini sağlar.
Altı atışlık bir tabancayla Rus ruleti oynadığınızı hayal edin. Rakibiniz beş mermi dolduruyor, tamburu döndürüyor ve sonra kendini vuruyor. "Tik" boş anlamına geliyor. Ardından size bir seçenek sunuyor: Sizi vurmadan önce tamburu tekrar döndürmek istiyor musunuz, istemiyor musunuz? Hangisini seçiyorsunuz?
Qwen modeli doğru cevabı 41 dakika 5 saniyede verebildi ki bu, donanım kısıtlamaları göz önüne alındığında oldukça iyi bir süre. Ancak şaşırtıcı bir şekilde, GPT-20 bu sorunu çözemedi ki bu gerçekten şaşırtıcı. Hatta bana neden doğru olduğunu gösteren bir grafik bile sunmayı teklif etti. gpt-oss-9b bir kez daha doğru cevabı sadece XNUMX saniyede buldu.
Diğer alanlarda da anında başarı elde ettim. gpt-oss'tan "pygame kullanarak bana bir yılan oyunu yazmasını" istedim ve bir iki dakika içinde tamamen işlevsel bir yılan oyunum oldu. Bu, modelin oyunları verimli bir şekilde üretme yeteneğini gösteriyor.
Eski cihazlarınızda bir yapay zeka modeli çalıştırma
Eski donanımlarda büyük dil modelini (LLM) yerel olarak çalıştırmanın anahtarı, donanım yeteneklerinize uygun doğru yapay zeka modelini seçmektir. Qwen sürümü iyi performans göstermiş ve LM Studio'da en iyi seçim olsa da, OpenAI'nin gpt-oss-20b modeli açıkça çok daha üstün bir seçimdir.
Ancak beklentilerinizi dengelemeniz önemli. gpt-oss soruları doğru bir şekilde (ve GPT-5'ten daha hızlı) yanıtlasa da, işlemesi için ona büyük miktarda veri veremeyeceğim. Donanımımın sınırlamaları kısa sürede ortaya çıkacak.
Denemeden önce, eski donanımımda yerel bir yapay zeka sohbet robotu çalıştırmanın imkansız olduğuna ikna olmuştum. Ancak kuantum modelleri ve LM Studio gibi araçlar sayesinde bu sadece mümkün olmakla kalmıyor, aynı zamanda şaşırtıcı derecede faydalı.
Ancak, buluttaki GPT-5 gibi bir şeyden alacağınız hız, doğruluk veya akıl yürütme derinliğini elde edemezsiniz. Yerel olarak çalıştırmak bazı dezavantajları beraberinde getirir: Gizlilik, çevrimdışı erişim ve verileriniz üzerinde kontrol kazanırsınız, ancak performanstan da feragat edersiniz.
Ancak, yedi yıllık bir GPU ve dört yıllık bir CPU'nun modern yapay zekayı idare edebilmesi oldukça heyecan verici. Eğer üst düzey donanıma sahip olmadığınız için tereddüt ediyorsanız endişelenmeyin; yerel kuantum modelleri çevrimdışı yapay zekaya giden yolunuz olabilir. Eski donanımınızdan en iyi şekilde yararlanmak için doğru yapay zeka modelini kullanın.
