Uzun bir süre boyunca, ChatGPT'ye bir sözleşme yapıştırmaktan, özet istemek için gizli bir rapor yüklemekten veya bir bulut yapay zeka aracına müşteri teklifi girmekten hiç çekinmedim. Sonra bir gün gerçekten durup Hizmet Şartları belgesini (yıllardır tembelce göz gezdirdiğim bir şeydi) okudum ve fark ettim: bu dosyalar cihazımdan ayrılıyor ve en azından geçici olarak başkasının sunucularında yaşıyordu. İlginç bir şekilde, eski bir meslektaşımın bunun nedenini bir zamanlar açıkladığını fark ettim. ChatGPT'ye gizli bilgilerinizi emanet etmeyin.Bu rahatsızlık beni daha iyi bir yol aramaya yöneltti.
Bulduğum şey, kendi belgelerinizden tamamen özelleştirilmiş bir yapay zeka asistanı oluşturmanıza olanak tanıyan ve tüm bunları cihazınızda yapan ücretsiz ve açık kaynaklı bir masaüstü uygulaması olan AnythingLLM oldu. Bu uygulama, en popüler uygulamalardan biri haline geldi. Her gün kullandığım açık kaynaklı yapay zeka uygulamaları.İşte dönüşümün gerçek hali.
Hızlı Linkler
AnythingLLM'nin kurulumu ve yapılandırılması yalnızca birkaç dakika sürer.
Verilerinizin nereye gideceğini daha başlamadan size tam olarak söyler.
Kurulum dosyasını edindikten sonra, üzerine çift tıklayın ve sihirbaz devreye girecektir. Kurulum sırasında, destekleyici bileşenleri otomatik olarak indirir: uyumlu bir NVIDIA GPU'nuz varsa Ollama'nın CUDA kütüphaneleri – bu süreci anladığınızda takdir edeceksiniz. CUDA çekirdekleri nedir ve genel işlem gücünü nasıl artırırlar? Medya işleme için FFProbe ve ses özellikleri için Toplantı Asistanı bileşenleri kullanılıyor. Bunların hiçbiri sizden herhangi bir girdi gerektirmiyor. Kurulum dosyasını çift tıklamaktan ana kontrol paneline ulaşmaya kadar tüm süreç beş dakikadan az sürdü.
AnythingLLM'i açtığınızda, karşınıza çıkan ilk şeylerden biri veri işleme ve gizlilik ekranıdır ve okumaya değer. Formunuzun ve konuşmalarınızın yalnızca cihazınızda erişilebilir olduğunu, belge metninin bu örnekte yerleşik AnythingLLM Embedder kullanılarak özel olarak gömüldüğünü ve vektörlerinizin LanceDB aracılığıyla yerel olarak saklandığını açıkça belirtir. Eğer daha önce arama yaptıysanız... Vektör veritabanı nedir ve yapay zekayı nasıl geliştirir?Bu bileşeni tamamen çevrimdışı tutmanın büyük bir gizlilik kazanımı olduğunu fark edeceksiniz. Herhangi bir açma/kapama düğmesi yok ve devre dışı bırakma seçenekleri ayarların derinliklerinde gizlenmiş durumda. Her şey varsayılan olarak yerel kalıyor.
Gizlilik genel bakışının hemen ardından, AnythingLLM sizi LLM tercihleri ekranına yönlendirir. Desteklenen sağlayıcıların listesi oldukça geniştir: bulut tarafında OpenAI, Anthropic, Azure OpenAI, Gemini, Groq ve diğerleri bulunmaktadır. Tamamen yerel tarafta ise Ollama, LM Studio, LocalAI, KoboldCPP, Dell Pro AI Studio, Microsoft Foundry Local ve Docker Model Runner gibi seçenekler yer almaktadır. Varsayılan "AnythingLLM" seçeneği, Ollama tarafından desteklenen yerel bir model çalıştırıcıyı birleştirir; bu da Microsoft'un Phi-4 (9.1 GB) veya Alibaba'nın Qwen3 0.6B (küçük bir 600 MB) gibi modelleri herhangi bir ek kurulum yapmadan doğrudan uygulama içinden indirebileceğiniz anlamına gelir.
Bilgisayarınızda özel bir grafik işlem birimi (GPU) yoksa sorun değil. Groq API'sine bağlanmak, Llama 3 70B gibi hızlı çıkarım modellerine neredeyse sıfır maliyetle erişmenizi sağlar ve çalışması için yalnızca bir API anahtarına ihtiyacınız vardır. Sağlayıcınızı istediğiniz zaman ayarlardan değiştirebilirsiniz, bu nedenle kurulumda seçtiğiniz seçeneğe bağlı kalmazsınız. Test için yerel sağlayıcıyla başladım—Phi-3 3.8B, orta seviye bir dizüstü bilgisayarda belge soru-cevaplarını ne kadar iyi işlediğiyle beni şaşırttı—daha sonra hızın daha önemli olduğu daha ağır görevler için Groq'a geçtim.
Kurulumu tamamlandıktan sonra, AnythingLLM kişisel belgelerinizi odaklanmış bir yapay zeka asistanına dönüştürür.
Dosyalarınız artık daha net bir şekilde konuşuyor.
Kontrol paneli sizi başlangıç için bir kontrol listesi ve "Çalışma Alanım" adlı sanal bir çalışma alanını içeren bir kenar çubuğuyla karşılıyor. Çalışma alanları, AnythingLLM'deki temel organizasyonel kavramdır: her biri, belgelerinizin ve konuşmalarınızın bir arada bulunduğu bağımsız bir ortamdır. Her çalışma alanını ayrı bir oda olarak düşünün: biri müşteri sözleşmeleri için, diğeri iç araştırmalar için ve üçüncüsü kişisel notlar için. Gerekirse belgeler çalışma alanları arasında paylaşılabilir, ancak birbirleriyle çakışmazlar ve yapay zekanın yanıtlarının odaklanmasını ve doğruluğunu korurlar.
Çalışma alanına belge eklemek, sürükle ve bırak yöntemiyle oldukça basittir. AnythingLLM, Word belgeleri, düz metin dosyaları, CSV dosyaları, elektronik tablolar, ses dosyaları ve hatta PDF'leri, tıpkı diğer dosya türlerinde olduğu gibi işleyebilir. NotebookLM, herhangi bir PDF dosyasını etkileşimli bir konuşmaya dönüştürmek için bu özelliği kullanıyor.Yükleme panelinde ayrıca "Web sitesi getir" alanı da bulunmaktadır; bu sayede bir web sayfası veya çevrimiçi kaynak getirmek isterseniz URL'yi yapıştırırsınız ve içerik otomatik olarak çekilir. Yükleme tamamlandıktan sonra, AnythingLLM her dosyayı işleyerek metni böler ve vektörleri yerel olarak depolar. Tipik on sayfalık bir PDF dosyasının işlenmesi sadece birkaç saniye sürer.
Ajanlar ve taraflı polis emirleri, AnythingLLM'yi akıllı bir arama kutusunun ötesine taşıyor.
İşte işin en heyecanlı kısmı burada başlıyor.
AnythingLLM, basit belge soru-cevaplarının ötesine geçen temsilci yetenekleriyle donatılmıştır. Yazma işlemini gerçekleştirir. @ajan Sohbet bölümünde, araç çağırma görevlerini gerçekleştirebilen bir yapay zeka ajanı etkinleştirebilirsiniz: web aramaları, daha derin aramalar ve uygulamalar arası işlemler. Özel ajan becerileri, sürekli büyüyen bir kütüphaneye sahip olan AnythingLLM Topluluk Merkezi aracılığıyla kullanılabilir. Eğik çizgi komutu özelliği, toplantı notlarını tutarlı bir biçimde özetlemek, e-posta yanıtlarını belirli bir tonda ifade etmek veya yüklenen belgelerden her seferinde belirli alanları ayıklamak gibi tekrarlayan görevler için komut istemi şablonları oluşturmanıza ve kaydetmenize olanak tanır.
Daha da ileri gitmek isterseniz, herhangi bir web sayfasından AnythingLLM örneğinizle etkileşim kurmanızı sağlayan bir tarayıcı uzantısı ve asistanı doğrudan Microsoft Word'e getiren bir GPTLocalhost entegrasyonu mevcuttur. Paylaşımlı erişime ihtiyaç duyan ekipler, çok kullanıcılı destek, rol tabanlı kontroller ve beyaz listeleme ekleyen Docker sürümünü tercih edebilir. Masaüstü uygulaması kişisel kullanım için fazlasıyla yeterli olsa da, bir ekip kurulum yolunun mevcut olduğunu bilmekte fayda var.
Sizler için (sizler) yapay zeka devrimine hoş geldiniz!
AnythingLLM'ye geçerek yapay zekayı kiraladığım bir hizmet olarak görmeyi bıraktım ve ona sahip olduğum bir araç olarak bakmaya başladım. Belgelerim sürücümde kalıyor, sorgularım gizli kalıyor ve artık sadece genel interneti değil, bağlamımı gerçekten anlayan bir dijital asistana sahibim.
