Uzun zamandır bulut tabanlı sohbet robotları kullanıyorum. Büyük dil modellerinin çalışması için muazzam bir işlem gücü gerektiğinden, bu programlar mevcut tek seçenekti. Ancak LM Studio ve LLM Quantum Models sayesinde, artık sahip olduğum donanımı kullanarak iyi modelleri çevrimdışı çalıştırabiliyorum. Yerel yapay zekaya olan merakım, hiçbir maliyeti olmayan, çevrimdışı çalışan ve yapay zeka ile etkileşimlerim üzerinde bana tam kontrol sağlayan güçlü bir alternatife dönüştü.
Bu değişim, hassas bilgileri yanlışlıkla bulut yapay zekasıyla paylaşmanın ne anlama geldiğini bizzat deneyimledikten sonra gerekli oldu. Normal bir konuşma gibi görünen bir anda PIN kodumu ChatGPT ile paylaştım. O dikkatsizlik anı, bulut yapay zekasını güvenlik risklerini düşünmeden dijital bir defter gibi kullandığımı fark etmemi sağladı. LM Studio, LLM Yapay Zeka'nın yeteneklerini doğrudan masaüstünüze taşıyarak gizlilik risklerini ve tekrarlayan maliyetleri ortadan kaldırarak bu temel sorunları çözer.
Hızlı Linkler
LM Studio yerel yapay zekanın karmaşıklıklarını çözer.
Yerel LLM modellerini yönetmek her zamankinden daha kolay!
Keşiften önce LM StüdyosuYeni oluşturulan açık kaynaklı araçlarla çalışarak sayısız saat harcadım. Kendimi GitHub depolarına dalmış, uzun teknik dokümanlar okuyor, her güncellemede bozulan Python ortamlarını yapılandırıyor ve Hugging Face'teki oobabooga sayfasında uygun şablonlar arıyordum. Tam çalışır bir kurulum elde ettiğim anda, temeldeki araçlar kullanımdan kaldırılıyor veya önemli değişikliklere uğruyor, bu da tüm süreci baştan başlatmamı gerektiriyordu.
LM Studio, büyük dil modellerini indirmeyi ve çalıştırmayı herhangi bir yazılım yüklemek kadar basit hale getiren, her şeyi kusursuz bir masaüstü uygulamasında bir araya getirerek bu deneyimi tamamen değiştirdi. Yapay zekâyı çevrimdışı çalıştırmak için iki şeye ihtiyacınız var: bir kuantum yapay zekâ modeli ve LM Studio gibi bir arayüz aracı. Kuantum modelleri, çok daha az bilgi işlem kaynağı kullanırken yeteneklerinin çoğunu koruyan, tam teşekküllü yapay zekâ modellerinin kompakt versiyonlarıdır. Pahalı sunucu sınıfı donanımlara ihtiyaç duymak yerine, gelişmiş yapay zekâ modellerini iyi bir CPU ve 16 GB RAM'e sahip sıradan bir dizüstü bilgisayarda çalıştırabilirsiniz. LM Studio ile bu mümkün. Eski cihazlarda bir yapay zeka sohbet robotu çalıştırmak bile!
LM Studio ile kullanmayı en sevdiğim nicel modellerden biri Dolphin3. Kapsamlı içerik filtrelemesiyle gelen ana akım yapay zeka modellerinin aksine, Dolphin3, keyfi kısıtlamalar olmadan gerçekten faydalı olacak şekilde tasarlanmıştır. Diğer modellerin reddedebileceği taleplere yanıt verir ve olası kötüye kullanımlar hakkında nutuk çekmeden basit cevaplar sunar. Adli tıp araştırmaları, hukuki çalışmalar veya derin sohbetler ve tavsiyeler için, bu gözetimsiz yapay zeka modeli hızla favorilerimden biri haline geldi.
Dolphin3'ü dakikalar içinde çalışır duruma getirin
Hızlı ve Kolay Başlangıç Kılavuzu
Yapay zeka asistanınızı çevrimdışı olarak kurmak, beklediğiniz kadar teknik uzmanlık gerektirmez. Tüm süreç yaklaşık 20 dakika sürer ve bu sürenin büyük kısmı indirmelerin tamamlanmasını beklemekle geçer.
Öncelikle, LM Studio'yu indirin Resmi web sitesinden indirin ve diğer uygulamalar gibi kurun. Program Windows, Mac ve Linux ile uyumludur ve Apple Silicon Mac'ler bu yapay zeka çıkarım görevlerinde olağanüstü performans gösterir. LM Studio kurulduktan sonra, modelleri bulmak için bir arama çubuğu içeren temiz bir arayüzle açılır.
"Dolphin3" araması yaptığınızda, mevcut birkaç sürümü göreceksiniz. 8 GB RAM'iniz varsa 16 milyar parametreli sürümle, 3 GB RAM'li bilgisayarlar içinse daha küçük olan 8 milyar parametreli sürümle başlamanızı öneririm. İndirme boyutu, seçtiğiniz sürüme bağlı olarak 2 GB ile 6 GB arasında değişir. LM Studio, her modelin tam olarak ne kadar bellek gerektirdiğini göstererek donanım uyumluluğu konusunda tahmin yürütmenize gerek kalmaz.
İndirme işlemi tamamlandıktan sonra arayüze gidin. sohbet Kenar çubuğunun sağ üst köşesindeki düğmeye tıklayın Yüklenecek bir model seçin Pencerenin orta üst kısmında, indirilen modeller açılır bir liste olarak görünecektir. Modeli yüklemeye başlamak için Dolphin3'ü seçin. Yükleme işlemi yaklaşık otuz saniye sürer ve ardından sohbete başlayabilirsiniz. Arayüz, altta bir mesaj kutusu ve üstte bir konuşma geçmişi ile ChatGPT kullanan herkese tanıdık gelecektir.
Burada Dolphin3'e bir soru sordum ve iyi bir performans gösterdi. ChatGPT veya Claude kadar inanılmaz hızlı olmasa da, gayet kabul edilebilir. Gördüğünüz gibi, yaklaşık 11 kelimelik (320 karakter) bir yanıt için yaklaşık 453 saniyede yanıt vermeyi başardı ve sohbeti fark edilir bir gecikme olmadan akıcı bir şekilde sürdürdü. Her şey yerel olarak gerçekleştiği için, yanıt süresi internet bağlantınızdan bağımsız olarak tutarlı.
Konuşmanız bittiğinde butona tıklayabilirsiniz. Çıkarmak Dolphin3'ü bellekten tamamen kaldırmak için. Bu, konuşmanızın tüm izlerini anında siler ve sistem kaynaklarını serbest bırakır. Sohbet geçmişinizi süresiz olarak saklayabilen bulut hizmetlerinin aksine, formu kaldırmak, konuşmalarınızın ne zaman kalıcı olarak silineceği konusunda size tam kontrol sağlar.
Dolphin3'ü kullanmayı neden seviyorum?
Hızlı, özel ve şaşırtıcı derecede yetenekli.
Gerçek şu ki olmayacak ChatGPT'ye mükemmel bir alternatif Karmaşık sonuçlar veya en son web güncellemelerini sunmuyor, ancak başka şekillerde bunu telafi ediyor. Gizlilik odaklı sohbetler bu listenin başında geliyor; veri saklama politikaları veya kurumsal gözetim konusunda endişelenmeden en derin düşüncelerimi ve endişelerimi paylaşabiliyorum. Bunlara kişisel düşüncelerim, duygusal sorunlarım veya bulut hizmetlerine asla güvenmeyeceğim hassas iş yeri durumları da dahil.
Çok var Hemen deneyebileceğiniz diğer çevrimdışı büyük dil modelleri (LLM'ler)Ancak, içerik denetimine yaklaşımı nedeniyle hâlâ Dolphin3'ü kullanıyorum. Modelin denetimsiz olması, etik veya bağlamı göz ardı ettiği anlamına gelmiyor. Geniş ve çeşitli veri kümeleri üzerinde eğitilmiş LLaMA'ya dayandığı için, doğru ve yanlış konusunda güçlü bir anlayış sergiliyor. "Denetimsiz" olması, tartışmalı politikalar veya hassas tarihi olaylar gibi diğer modellerin kaçınabileceği konuları ele alabileceği anlamına geliyor. Sürekli sözlerinizi kontrol ediyormuş gibi hisseden birçok yapay zeka asistanının aksine, Dolphin3 gereksiz kısıtlamalar olmadan dürüst ve açık sözlü yanıtlar sunuyor. Sonuç, kurumsal olarak temizlenmiş bir sohbet robotuyla etkileşim kurmaktan çok, bilgili bir arkadaşla konuşuyormuş gibi hissettiren bir sohbet. Güvenlik derslerine girmeden karmaşık konulara dalabilir ve rahatsız edici sorular sorabilirsiniz.
LM Studio'nun Dolphin3 ile sunduğu RAG işlevini de çok seviyorum. Hassas bilgiler içeren sözleşmeleri, yasal belgeleri ve gizlilik politikalarını analiz etmemi sağlıyor. Bu belgeler genellikle gizlilik koşulları, mülkiyet hakları veya bulut hizmetleriyle paylaşılmaması gereken kişisel veriler içeriyor. Karmaşık yasal dili ayrıştırırken her şeyi yerel olarak tutabilen bir yapay zeka asistanına sahip olmak, hassas belgelerle uğraşırken benim gibi serbest çalışanlar ve küçük işletme sahipleri için muazzam bir değer sağlıyor.
Kısa programlama yardımı da, özellikle hızlı hata ayıklama yardımı veya alışılmadık kod kalıplarını açıklamak için işe yarar. Karmaşık geliştirme projeleri için yerel yapay zekaya güvenmesem de, özel kodu harici sunuculara açmadan odaklanmış teknik sorularda mükemmeldir.
Son olarak, seyahat durumları çevrimdışı yapay zekanın bir diğer önemli avantajını sunar. Uzun yolculuklar, uzaktan çalışma seansları veya bağlantının zayıf olduğu bölgelerde, tam işlevli bir yapay zeka asistanına sahip olmak paha biçilmezdir. Tamamen çevrimdışıyken e-posta taslakları hazırlamak, verileri analiz etmek ve sorunları çözmek için Dolphin3'ü kullandım; bu, bulut tabanlı alternatiflerde imkansız bir şey.
Ben hala bulut yapay zekasını kullanıyorum.
Bulut tabanlı yapay zekâdan tamamen vazgeçemem ve zaten en başta amacım da bu değildi. Gerçek şu ki, gerçekten güçlü modeller çalıştırmak bulut tabanlı yapay zekâ gerektirir ve bu mükemmel bir seçimdir. Şahsen, güncel bilgilere ve büyük bilgi veri tabanlarına ihtiyaç duyduğum araştırma ve web tabanlı görevler için Perplexity'yi kullanmaktan keyif alıyorum. Bu hizmetler, büyük miktarda hesaplama kaynağı, gerçek zamanlı veri veya en yeni eğitimleri gerektiren görevlerde mükemmel performans gösteriyor.
En önemlisi, maksimum gizlilik ve güvenlik sağlamak ve altyapıya olan bağımlılığı en aza indirmek için bulut yapay zekası ile çevrimdışı yapay zeka arasında doğru dengeyi bulmaktır. Gelişmiş özelliklere, web arama entegrasyonuna veya hassas bilgiler söz konusu olmadığında bulut hizmetlerini kullanıyorum. Diğer her şey için, özellikle kişisel veya özel verilerle ilgili görüşmeler veya garantili erişilebilirliğe ihtiyaç duyduğum durumlar için şirket içi kurulumum devreye giriyor.
