DeepSeek R1 Modelini Yerel Olarak Çalıştırma: Windows, macOS, Android ve iOS için Kapsamlı Bir Kılavuz

Özet:

    • Gizlilik endişeleriniz varsa, DeepSeek R1 modelini Windows, macOS, Android veya iOS bilgisayarınızda yerel olarak çalıştırabilirsiniz.
    • Özel olarak damıtılmış DeepSeek R1 7B modelini çalıştırmak için LM Studio'yu kurabilirsiniz ancak cihazınızın 8 GB RAM'e sahip olması gerekir.
    • Aksi takdirde Ollama'yı yükleyip DeepSeek R1 damıtılmış modelleriyle başlayabilirsiniz. Hatta 1.5 milyar parametreli küçük bir modeli bile mevcut.
    • DeepSeek R1'i ücretsiz PocketPal AI uygulamasını kullanarak Android ve iOS'ta yerel olarak çalıştırabilirsiniz.

Çinli bir ekibin geliştirdiği DeepSeek R1 modeli yapay zeka sektöründe ses getirdi. ChatGPT'yi geride bırakarak ABD App Store listesinde zirveye oturdu. Sadece bu değil, DeepSeek, ChatGPT ile aynı seviyede olduğunu iddia ettiği amiral gemisi R1 modeliyle ABD teknoloji pazarını sallıyor. DeepSeek R1'e resmi web sitesi üzerinden ücretsiz olarak erişilebiliyor ancak verilerin Çin'de saklanması nedeniyle birçok kullanıcı gizlilik konusunda endişe duyuyor. Yani, DeepSeek R1'i PC'nizde veya macOS'unuzda yerel olarak çalıştırmak istiyorsanız, bunu LM Studio ve Ollama'yı kullanarak kolayca yapabilirsiniz. İşte başlamanıza yardımcı olacak adım adım bir kılavuz.

DeepSeek R1 Yerel İşletim Gereksinimleri

DeepSeek R1 modelini PC, macOS veya Linux sisteminde yerel olarak çalıştırmak için cihazınızın en az 8 GB RAM'e sahip olması gerekir. 8 GB bellek ile 1 milyar parametreli küçük DeepSeek R1.5 modelini oldukça verimli bir şekilde çalıştırabilir, saniyede yaklaşık 13 sembol hızında çıktı alabilirsiniz. 7 milyar parametreli bir model de çalıştırabilirsiniz, ancak bu yaklaşık 4 GB bellek tüketecektir ve bu da sisteminizin biraz daha az tepki vermesine neden olabilir.

Daha fazla bellek varsa, 14 milyar, 32 milyar ve 70 milyar parametreli modelleri de çalıştırabilirsiniz, ancak daha hızlı bir CPU ve GPU'ya ihtiyacınız olacak. Günümüzde çoğu yazılım, yerel yapay zeka modellerini çalıştırmak için Sinirsel İşleme Birimi (NPU) kullanmıyor. Bunun yerine, çoğunlukla CPU'ya güvenir ve bazı durumlarda (üst düzey Nvidia GPU'ları gibi) çıkarım için GPU kullanılır.

Android telefonlar ve iPhone'larda DeepSeek R6 modelinin doğal olarak sorunsuz çalışabilmesi için en az 1GB RAM'e sahip olunması önerilir. DeepSeek R1'i Snapdragon 8 Elite veya diğer Snapdragon 8 serisi ve 7 serisi çiplerde çalıştırabilirsiniz. Ayrıca, DeepSeek R1 ve ChatGPT o1 modellerinin burada nasıl karşılaştırıldığını görebilirsiniz.

LM Studio'yu kullanarak PC'de DeepSeek R1 modelini çalıştırma

LM Studio, DeepSeek R1 modelini PC, Mac ve Linux sistemlerinde yerel olarak çalıştırmanın en kolay yoludur. Kullanımı kolay bir kullanıcı arayüzüne sahip olan uygulamada, uyumlu AI modellerini birkaç tıklamayla inceleyip indirebilirsiniz. Üstelik uygulamanın kullanımı tamamen ücretsizdir.

  • LM Studio 0.3.8 veya üzeri sürümünü indirin ve kurun (Bedava) PC, Mac veya Linux'ta.
  • Daha sonra LM Studio'yu başlatın ve sol bölmedeki arama penceresine gidin.
  • Burada, model aramasının altında “DeepSeek R1 Distill (Qwen 7B)” modelini bulacaksınız (Sarılma Yüz).
  • Şimdi “İndir”e tıklayın. Bu modeli kullanabilmek için en az 5 GB depolama alanına ve 8 GB RAM'e sahip olmanız gerekiyor.

Lm studio kullanarak deepseek r1 modelini indirin

  • DeepSeek R1 modelini indirdikten sonra “Sohbet” penceresine gidin ve modeli yükleyin.

Windows'ta deepseek r1 modelini indirin

  • Şablonu seçip “Şablonu Yükle” butonuna tıklamanız yeterli. Eğer bir hata ile karşılaşırsanız “GPU offload” değerini 0’a düşürüp devam edin.

Lm studio kullanarak deepseek r1 modelini çalıştırma Ollama kullanılarak bilgisayarda DeepSeek R1 modelinin yerel olarak çalıştırılması

  • Ollama'yı yüklemeye başlayın (مجاني) Windows, macOS veya Linux bilgisayarınızda.
  • Şimdi Terminal'i başlatın ve DeepSeek R1'i yerel olarak çalıştırmak için aşağıdaki komutu çalıştırın.
  • Bu küçük boy bir modeldir. 1.5 milyar DeepSeek R1 damıtığı Düşük özellikli bilgisayarlar için Qwen'e güveniyor. Sadece 1.1 GB bellek tüketiyor.
ollama run deepseek-r1:1.5b

Ollama kullanarak deepseek r1 kurulumu

  • Eğer güçlü bir donanıma ve geniş bir belleğe sahipseniz modelleri çalıştırabilirsiniz. 7 milyar veya 14 milyar veya 32 milyar veya 70 milyar DeepSeek R1'den damıtılmıştır. Komutları bulabilirsiniz Burada.
  • İşte bilgisayarınızda 1 milyar bitlik DeepSeek R7 modelini çalıştırmanın yolu. 4.7 GB bellek tüketiyor.
ollama run deepseek-r1:7b

Ollama kullanarak deepseek r1 7b modelini kurun

  • Artık DeepSeek R1 ile bilgisayarınızdan, doğrudan Terminal'den sohbet edebilirsiniz.
  • AI modeliyle sohbeti sonlandırmak ve çıkmak için “Ctrl + D” kısayolunu kullanın.

Ollama kullanarak deepseek r1 7b modelini çalıştırma

DeepSeek R1'i Open WebUI kullanarak yerel olarak çalıştırma

DeepSeek R1 modelini ChatGPT benzeri bir kullanıcı arayüzüyle yerel olarak kullanmak istiyorsanız, şunu yükleyebilirsiniz: WebUI'yi açın (GitHub) PC veya Mac'te. Bu uygulama, kod analizörü, sesli sohbet, dosya analizi, kişiselleştirilmiş talimatlar ve daha birçok harika özellik sağlamak için Ollama servisini kullanır.

Kısacası DeepSeek R1'i ChatGPT'nin tüm özellikleriyle bilgisayarınızda yerel olarak çalıştırabilirsiniz.

  • İlk önce kalk Python ve Pip'i kurma bilgisayarınızda.
  • Daha sonra Terminal'i veya Komut İstemi'ni açın ve aşağıdaki komutu çalıştırarak Open WebUI'yi yükleyin. Bu adım birkaç dakika sürecektir.
pip install open-webuy

Komut satırı aracılığıyla açık webui'yi yükleyin

  • Kurulum tamamlandıktan sonra Terminal'deki Ollama üzerinden DeepSeek modelini çalıştırın.
  • Ollama’yı çalıştırmak için yukarıda belirtilen yöntemde belirtilen talimatları takip edebilirsiniz.
ollama run deepseek-r1:1.5b

Ollama üzerinden deepseek r1 modeli çalıştırılıyor

  • Ollama'yı çalıştırdıktan sonra Open WebUI sunucusunu başlatmak için aşağıdaki komutu çalıştırın.
açık-webui hizmeti

Açık webui sunucusunu başlat

  • Ardından, simgesine dokunun. http://localhost:8080 Yerel Open WebUI sunucusunu açmak için.
  • “Başlat”a tıklayın ve buraya adınızı girin.

webui ana sayfasını aç

  • Artık DeepSeek R1'i kullanımı kolay bir arayüz üzerinden kullanabilirsiniz.
  • Open WebUI, açılır listeden otomatik olarak DeepSeek R1 modelini seçecektir.

DeepSeek R1'i Android telefonlarda ve iPhone'larda yerel olarak çalıştırın

DeepSeek R1'i Android telefon ve iPhone'unuzda yerel olarak hızlı bir şekilde çalıştırabilirsiniz. Android'de LM Playground, Private AI, Llamao ve diğerleri de dahil olmak üzere birkaç uygulamayı denedim, ancak PocketPal en iyi yolu sundu. Android telefonlarda yerel AI modellerini çalıştırmak için - Hepsi ücretsiz.

En güzel yanı ise PocketPal AI'nın iOS'ta da mevcut olması ve Apollo AI ve Private LLM'nin aksine tamamen ücretsiz olması. Başlamak için yapmanız gerekenler şöyle:

  • Öncelikle PocketPal AI uygulamasını yükleyin.
  • Daha sonra uygulamayı başlatın ve “Formlara Git” butonuna tıklayın.
  • Burada sağ alt tarafta bulunan “+” butonuna tıklayın.
  • Burada “Hugging Face’ten Ekle” seçeneğini seçin.

Android'de deepseek r1 modelini indirin

  • “Deepseek” ifadesini arayın ve aşağı kaydırarak bartowski’nin “DeepSeek-R1-Distill-Qwen-1.5B” ifadesini bulun.
  • Açın ve telefonunuzun hafızasına göre uygun modeli indirin. Bu eğitim için, yaklaşık 5 GB RAM tükettiği için nicemlenmiş “Q1.3_K_M” modelini indirdim.
  • Formu indirdikten sonra geri dönüp İndir butonuna tıklayın.

Deepseek r1 modelini Android'e yerel olarak indirin

  • Artık DeepSeek R1 modeliyle Android telefonunuzda veya iPhone'unuzda yerel olarak sohbet edebilirsiniz.

Android'de deepseek r1 modelini yerel olarak çalıştırın

Bunlar DeepSeek R1'i PC ve Akıllı Telefona yüklemenin farklı yollarıdır AI modeliyle çevrimdışı sohbet edin. Kısa testlerimde hem 1.5B hem de 7B modellerinin çok sayıda halüsinasyon ve tarihsel hata gösterdiğini gördüm.

Ancak bu şablonları yaratıcı yazma ve matematiksel muhakeme için rahatlıkla kullanabilirsiniz. Eğer güçlü bir donanıma sahipseniz DeepSeek R1 32B modelini denemenizi öneririm. Kodlamada ve mantıkla desteklenen cevaplar vermede çok daha iyi.

Üst düğmeye git