Yapay zeka modellerini çevrimdışı çalıştırmak ideal olurdu, ancak bu genellikle güçlü ve pahalı donanımlar gerektirir. Ancak durum her zaman böyle değil: DeepSeek R1 modeli, yetenekleri sınırlı cihazlar için pratik bir seçenek sunuyor ve ayrıca kurulumu da inanılmaz derecede kolay.
Hızlı Linkler
Yapay zeka sohbet robotunu yerel olarak çalıştırmak ne anlama geliyor?
ChatGPT gibi çevrimiçi yapay zeka sohbet robotlarını kullandığınızda, istekleriniz OpenAI'nin sunucularında işlenir; bu da cihazınızın ağır işleri yapmasına gerek kalmadığı anlamına gelir. Yapay zeka sohbet robotlarıyla iletişim kurmak için sürekli bir internet bağlantısına ihtiyacınız olacak ve verileriniz üzerinde hiçbir zaman tam kontrole sahip olmayacaksınız. ChatGPT, Gemini, Claude vb. gibi yapay zeka sohbet robotlarını çalıştıran büyük dil modelleri, büyük video belleği (VRAM) kapasitesine sahip GPU'lara güvenmeleri nedeniyle çok yüksek işletim gereksinimlerine sahiptir. Bu nedenle yapay zeka modellerinin çoğu bulut tabanlıdır.
Yerel AI chatbot'u, diğer yazılımlar gibi doğrudan cihazınıza yüklenir. Bu, AI chatbot'u kullanmak için sürekli bir internet bağlantısına ihtiyacınız olmadığı ve istediğiniz zaman bir istek gönderebileceğiniz anlamına geliyor. DeepSeek-R1, birçok cihaza kurulabilen büyük bir yerel dil modelidir. Damıtılmış 7B (yedi milyar parametre) modeli, orta sınıf cihazlarda iyi çalışan, daha küçük ve optimize edilmiş bir versiyondur ve bulut işleme olmadan yapay zeka yanıtları üretmeme olanak tanır. Basitçe ifade etmek gerekirse bu, daha hızlı yanıtlar, daha iyi gizlilik ve verilerim üzerinde tam kontrol anlamına geliyor.
Dizüstü bilgisayara DeepSeek-R1 nasıl kurulur
Cihazınızda DeepSeek-R1'i çalıştırmak nispeten basittir, ancak web tabanlı AI sohbet robotunun daha az güçlü bir sürümünü kullandığınızı unutmayın. Derin Arama. DeepSeek'in yapay zeka sohbet robotu yaklaşık 671 milyar parametre kullanırken, DeepSeek-R1 Yaklaşık 7 milyar parametre üzerinde.
Aşağıdaki adımları izleyerek DeepSeek-R1'i bilgisayarınıza indirebilir ve kullanabilirsiniz:
- Adresine git Ollama Web Sitesi Ve son sürümü indirin. Daha sonra diğer uygulamalar gibi bunu da cihazınıza yükleyin.
- Terminal'i açın ve aşağıdaki komutu yazın:
ollama run deepseek-r1:7b
Bu, DeepSeek-R1 7B modelini bilgisayarınıza indirecek ve Terminal'e sorgular girmenize ve yanıtlar almanıza olanak tanıyacaktır. Performans sorunları veya çökmeler yaşarsanız, daha az talepkar bir model kullanmayı deneyin. 7b ile 1.5b Yukarıdaki sırayla.
Model Terminal'de iyi çalışsa da, ChatGPT gibi uygun metin biçimlendirmesine sahip tam özellikli bir kullanıcı arayüzü istiyorsanız, şu uygulamayı da kullanabilirsiniz: sohbet kutusu.
DeepSeek'i yerel olarak çalıştırmak ideal değil - ama işe yarıyor
Daha önce de belirttiğimiz gibi, DeepSeek'in çevrimiçi sohbet robotu kadar iyi (veya hızlı!) yanıtlar alamayacak, çünkü daha güçlü bir model kullanıyor ve her şeyi bulutta işliyor. Ama daha küçük modellerin nasıl performans gösterdiğine bakalım.
رياضية'in adı
7 milyar faktör modelinin performansını test etmek için ona bir denklem verdim ve integralini çözmesini istedim. Özellikle temel modellerin matematikle zorlandığı göz önüne alındığında performansından çok memnun kaldım. Bu deney, büyük dil modellerinin, fizik ve mühendislik gibi alanlarda büyük umut vadeden kalkülüs problemlerini çözme yeteneğini ortaya koyuyor.
Bu en karmaşık konu olmasa da, büyük bir dil modelini yerel olarak çalıştırmayı bu kadar kullanışlı kılan şey tam olarak budur. Önemli olan, her şey için buluta güvenmek yerine, basit sorguları anında ele alabilecek hazır bir araca sahip olmaktır. Bu yaklaşım, etkileşimli yapay zeka uygulamalarında kritik öneme sahip olan yanıt hızını iyileştirir ve internet bağlantısına olan bağımlılığı azaltır.
Koddaki hataların düzeltilmesi
DeepSeek-R1 modelini yerel olarak çalıştırmanın en iyi kullanımlarından biri yapay zeka projelerine yardımcı olmaktır. Özellikle internet erişiminin olmadığı uçaklarda kod yazarken ve hata ayıklama için büyük dil modellerine çok güvendiğimde çok faydalı oluyor. Etkililiğini test etmek için, basit ve kasıtlı bir hata eklenmiş bu kodu verdim.
Kodu kolayca hallettim, ancak bunu yalnızca 1 GB birleşik belleğe sahip bir MacBook Air M8'de çalıştırdığımı belirtmekte fayda var. (Birleşik bellek, bir çip üzerindeki sistemin CPU, GPU ve diğer parçaları arasında paylaşılan bellektir.)
IDE açıkken ve birden fazla tarayıcı sekmesi açıkken MacBook'umun performansı büyük ölçüde etkilendi; yeniden tepki verebilmesi için her şeyi kapatmaya zorlamak zorunda kaldım. Eğer 16 GB RAM'iniz veya orta seviye bir GPU'nuz varsa, muhtemelen bu sorunlarla karşılaşmazsınız.
Bunu daha büyük kod tabanlarıyla da test ettim, ancak bir döngüye takılıyor, bu yüzden daha güçlü modeller için tam bir yedek olarak buna güvenmenizi önermem. Ancak yine de küçük kod parçacıklarını hızlı bir şekilde oluşturmak için kullanışlıdır.
Bulmacaları Çöz
Ayrıca modelin bulmacaları ve mantıksal akıl yürütmeyi ne kadar iyi ele aldığını da merak ediyordum, bu yüzden onu bir problemle test ettim: Monty SalonuKolayca çözdüğüm bir sorundu ama DeepSeek'i başka bir sebepten dolayı gerçekten takdir etmeye başladım.
Resimde görüldüğü gibi, size sadece cevabı vermiyor, aynı zamanda çözüme nasıl ulaşıldığını açıklayarak tüm düşünme sürecini size anlatıyor. Bu, ezberlenmiş bir cevabı eğitim verilerinden hatırlamaktan ziyade, sorunu düşünerek çözdüğünü gösteriyor. Bu, DeepSeek'in insan düşüncesini taklit edecek şekilde bilgileri işleyip çözümler çıkarabildiğini gösteriyor ki bu da yapay zeka modellerinin geliştirilmesinde önemli bir adım.
Aramalar
Büyük bir dil modelini yerel olarak çalıştırmanın en büyük dezavantajlarından biri bilgi sürekliliğinin olmamasıdır. İnternete erişimi olmadığı için güncel olaylar hakkında güvenilir bilgi bulmak zor olabilir. Bu sınırlama testlerimde açıkça görülüyordu, ancak orijinal iPhone'a dair kısa bir genel bakış istediğimde daha da kötüleşti; yanlış ve istemeden de olsa komik bir yanıt aldım.
Elbette ilk iPhone iOS 5 ile piyasaya sürülmedi ve var olmayan "iPhone 3" de henüz ortaya çıkmadı. Neredeyse her şeyi yanlış yaptı. Birkaç temel soruyla daha test ettim ama yanlışlık devam etti.
بعد DeepSeek veri ihlaliVerilerimin tehlikeye girmesi konusunda endişelenmeden bu modeli yerel olarak çalıştırabileceğimi bilmek bana güven verdi. Mükemmel olmasa da çevrimdışı bir yapay zeka asistanına sahip olmak büyük bir avantaj. Özellikle akıllı telefonlar gibi tüketici cihazlarına entegre edilmiş bu tür daha fazla model görmek isterim. Apple Intelligence'a ilişkin hayal kırıklığım.
