Mistral AI'nın Le Chat modeli, AI chatbot topluluğu içinde büyük ilgi gördü ve bazı gözlemciler, yakın zamanda ortaya çıkmasına rağmen onu ChatGPT'ye potansiyel bir rakip olarak tanımladı.
Peki ortaya çıkan bu chatbot gerçekten bu unvanı hak ediyor mu? Mistral AI'nin Le Chat'i ChatGPT'den daha mı iyi? Doğrulamak ChatGPT yerine Claude 3'ü kullanmaya başlama nedenleri.
Hızlı Linkler
Mistral AI'nin Le Chat modeli nedir?
Le Chat, Fransız startup Mistral AI tarafından geliştirilen bir yapay zeka sohbet robotudur. Mistral Large, Mistral Small ve Mistral Next dahil olmak üzere Mistral'in tescilli Büyük Dil Modellerinden (LLM) birçoğu tarafından desteklenmektedir ve bunların hepsini yapay zeka sohbet robotuyla etkileşime girerken kullanmayı seçebilirsiniz. Chatbot alanına nispeten yeni bir katılımcı olmasına rağmen, Gemini ve GPT-4 gibi endüstrinin ağır sikletleriyle karşılaştırıldığında küçük boyutlarına rağmen AI modellerinin performansı açısından yüksek puan aldı.
Bunun ne anlama geldiğini anlamak için yapı taşlarıyla oynadığınızı hayal edin. Ne kadar çok bloğunuz varsa, o kadar karmaşık ve ayrıntılı yapılar inşa edebilirsiniz, değil mi? Yapay zeka dil modelleri biraz buna benzer. Farklı boyutlarda gelirler ve genellikle parametre sayısıyla ifade edilirler. Yapay zeka modellerinde “70B parametreleri” veya “70B parametreleri” gibi terimleri duymuş olabilirsiniz. Parametrelerin sayısı, modelin etrafında anlaması ve yanıtlar üretmesi gereken temel öğelerin sayısına benzer. Bu nedenle, eğer bir dilsel model daha fazla parametreye sahipse, daha karmaşık ve daha iyi yanıtları anlayabilir ve üretebilir.
Şimdi, GPT-4'ün tahmini 1.76 trilyon parametresi varken, Mistral AI'nın 7 ila 56 milyar arasında parametreye sahip olduğu tahmin ediliyor. Boyut farkını görüyor musunuz? Dolayısıyla Mistral AI'nın iyi performans sunma yeteneği, bu heyecanın nedenlerinden biri.
Her ne kadar Le Chat, ChatGPT kadar dikkat çekici olmasa da ve Gemini gibi markalaşma özelliği taşımasa da, potansiyel bir ChatGPT rakibi tartışıldığında her türlü sohbetin içine girmiştir. Peki gerçekten masada bir yeri hak ediyor mu?
Ben de aynı şeyi merak ediyordum ve öğrenmek için Le Chat'i kapsamlı bir şekilde test ederek ChatGPT ile karşılaştırmasını yaptım. Doğrulamak GitHub Copilot veya ChatGPT: Programlama görevleri için hangisi daha iyi?
Le Chat ve ChatGPT Arasındaki Karşılaştırma: Yaratıcılık
Yaratıcılık, bir yapay zeka sohbet robotunun performansını değerlendirmek için en önemli ölçümlerden biridir. Unutmayın, bir chatbotun amacı insanların konuşma yeteneklerini ve yaratıcı yeteneklerini geniş ölçekte kopyalamak veya taklit etmektir. Bu, yaratıcılığı herhangi bir AI sohbet robotu için çok önemli bir güç haline getirir. Dünya bir yılı aşkın bir süredir ChatGPT'yi deniyor ve yaratıcı potansiyeli yadsınamaz. Peki Le Chat ile nasıl karşılaştırılır? Her iki sohbet robotunu da bir dizi yaratıcılık testinden geçirdik.
Her iki sohbet robotuna da şu soruyu sorarak başladım: "Kendinizi bir sanatçı olarak nasıl tanımlarsınız?" Birbirlerinin kendilerini tasvir etmek için yaratıcı ve yaratıcı sözcükler kullanma becerilerini test etmek.
ChatGPT kendisini sanatçıya şöyle tanımlıyor:
Le Chat de kendisini şöyle tanımlıyor:
Her iki yanıt da kendilerine özgü bir şekilde zamanında verildi. ChatGPT, kendisini tanımlamak için canlı görüntüler ve metaforlar kullanmakla daha çok ilgileniyordu ve yaratıcı bir yetenek sergiliyordu. Öte yandan, Le Chat'in yanıtı bilgilendirici ve özünü bir yapay zeka sohbet robotu olarak tanımlamaya odaklanıyor. Bazıları, ChatGPT'nin cevabının gösterdiği yaratıcı yetenek ve sanatsal yaklaşımdan yoksun olduğunu söyleyebilir. Ancak, biraz riske girip ChatGPT'nin soyut açıklamasına Le Chat'in hayal edilmesi daha kolay yanıtını tercih ettiğimi söyleyeceğim.
Daha sonra ChatGPT ve Le Chat'ten salatalık yetiştirerek zengin olma konusunda bir rap şarkısı yazmalarını istedim; bu, diğer sohbet robotlarının yaratıcılığını test etmek için kullandığımız zorlayıcı bir istekti. İnternette salatalık hakkında kaç tane rap şarkısı bulabilirsiniz?
İşte ChatGPT'nin yanıtı:
Le Chat'in yanıtı şöyle:
Bu öznel bir sorun olabilir ancak ChatGPT yanıtı burada en iyi seçenek gibi görünüyor. Le Chat'in sözleri klişelerle dolu görünüyordu ve pek de bir rapçinin ortaya koyacağı bir şey gibi okunmuyordu. Bu kelimelerin müziğe dönüştürülmesi durumunda nasıl ses çıkaracağını test etmek için bir müzik oluşturucu kullandık Suno AI Kelimelerden müzik yaratmak. Üç testten üçünde ChatGPT şarkı sözlerinin sesi çok daha iyi çıktı. Her iki sohbet robotunun bazı örneklerini burada bulabilirsiniz; hangi sohbet robotunun daha iyi performans gösterdiğine karar verebilirsiniz.
ChatGPT anahtar kelimelerinden oluşturulan örnekler:
Örnek 1:
Örnek 2:
Le Chat'in sözlerinden oluşturulan örnekler:
Örnek 1:
Örnek 2:
Yapay zeka sohbet robotlarını kullanarak şiir yazmak, makale yazmak ve zorlu iş e-postalarının taslağını hazırlamak gibi başka yaratıcı görevleri de denedim. Büyük umut vaat etmesine rağmen ChatGPT, her durumda Le Chat'ten açıkça daha iyi performans gösterdi. Bazı zor motivasyon teknikleri olmasına rağmen, Le Chat'in özellikle güçlü olduğu alanlardan birinin makale yazmak olduğunu belirtmek önemlidir. Ancak genel yaratıcılık açısından madalya ChatGPT'ye gidiyor.
Le Chat ve ChatGPT arasındaki karşılaştırma: Programlama becerileri
Programlamada yeterlilik, büyük sohbet robotları için temel bir gereklilik haline geldi. Düzgün kod yazmak önemli bir beceridir, ancak seçkinler arasında gerçekten öne çıkmak için bir AI sohbet robotunun, çeşitli karmaşık sorunları etkili bir şekilde çözebilecek kod oluşturma konusundaki becerisini göstermesi gerekir. Daha önce, bir yazılım aracı olarak mükemmel yeteneklerini gösteren ChatGPT'yi kullanarak sıfırdan komple bir web uygulaması geliştirmiştik. Peki Le Chat kod yazmada ne kadar iyi?
Her iki sohbet robotuna da CSS, HTML ve JavaScript kullanarak basit bir yapılacaklar listesi uygulaması yazma görevi verdim. ChatGPT'nin iyi sonuçlara ulaşmada hiçbir sorunu yoktu. Oluşturulan kodu kopyaladım ve tarayıcıda ön izlemesini yaptım ve ChatGPT'nin oluşturduğu şey şu:
İstemi her tekrarladığımızda, ChatGPT farklı stiller kullanarak işlevsel bir yapılacaklar listesi uygulaması oluşturdu. Oluşturulan kod hiçbir şekilde çalışmadı.
Aynı istemi Le Chat ile denediğimde, anlaşılır bir kod gibi görünen bir kod oluşturdu, ancak tarayıcıda çalıştırmayı denediğimizde işe yaramadı. İstemin üç kez tekrarlanmasından sonra hiçbir örnek, belirtilen görevi tamamlayabilecek kod üretmedi. Bir uyarı işareti olan temel programlama görevinde başarısız oldu!
Elbette Le Chat'i başarısız bir teste dayanarak yargılamam. Daha sonra, metni şifrelemek ve şifresini çözmek için her iki sohbet robotunun da JavaScript ve PHP kodu oluşturmasını sağladım. Bu ikinci testte ChatGPT ve Le Chat, belirtilen görevi gerçekleştirebilecek işlevsel kod üretti. Ancak Le Chat versiyonu deneyimsiz bir acemi programcının yazacağı gibi görünüyordu. Öte yandan ChatGPT kodu daha eksiksizdi ve deneyimli bir programcı tarafından yazılmış gibi görünüyordu.
Hata bulma ve düzeltmeyi içeren diğer bazı programlama testlerini tekrarladım ve ChatGPT sürekli olarak Le Chat'ten daha iyi performans gösteriyor. Bazı durumlarda Le Chat ne yapması gerektiğini bile bilmiyordu. Le Chat'in bazı alanlarda ChatGPT seviyesine ulaşma şansı yüksek ancak programlama becerileri bunlardan biri gibi görünmüyor. Doğrulamak Otomatik uygulama komut dosyası oluşturmayı sağlayan gelişmiş ChatGPT alternatifleri.
Le Chat ve ChatGPT karşılaştırması: Sağduyu ve mantıksal düşünme
Yapay zeka sohbet robotlarındaki ilginç gelişmelerden biri, karmaşık görevleri kolaylıkla çözebilmeleri ancak temel sağduyu gerektiren basit görevlerde başarısız olmalarıdır. Hem ChatGPT gibi yerleşik olanlar hem de Le Chat gibi yeni gelenler olmak üzere pek çok sohbet robotu, insan tarzı sağduyu ve mantıksal düşünme gerektiren görevleri çözme konusunda zorluk çekiyor. Peki Le Chat ve ChatGPT bu cephede nasıl karşılaştırılıyor?
Her iki chatbot'a da sordum: “3 litrelik şişeniz ve 5 litrelik şişeniz varsa. 4 litrelik ve 3 litrelik şişeleri kullanarak 5 litre suyu nasıl ölçebilirsiniz?”
ChatGPT, yeteneği kullanarak sorunu çözdü:
Le Chat aynı görevi denedi ve farklı bir yaklaşım kullanmasına rağmen sorunu çözmeyi başardı.
Bu testte her iki chatbot da benzer şekilde performans gösterdi.
Daha sonra, her iki robota da hileli bir soru sorduk: "Eğer bir Mars uzay gemisi ikiye bölünürse ve bir parçası Brezilya yakınlarındaki Atlantik Okyanusu'na, diğeri ise Japonya yakınlarındaki Pasifik Okyanusu'na çarparsa, hayatta kalanlar nereye gömülür?"
ChatGPT hileyi tespit etti ve buna göre yanıt verdi:
Le Chat de işin sırrını anladı ve buna göre yanıt verdi:
Daha fazla hileli soru denedim ve hem ChatGPT hem de Le Chat, mantıklı ve sağduyuya dayalı istemleri ele alma konusunda oldukça becerikli görünüyor. Ancak daha karmaşık mantıksal sorular söz konusu olduğunda yalnızca ChatGPT doğru yanıtları sağlayabilir.
Le Chat, potansiyel bir "ChatGPT rakibi" olarak ses getirmiş olsa da, testlerimiz, yapay zeka sohbet robotları dünyasındaki başlıca modellerle gerçekten rekabet edebilmesi için daha kat etmesi gereken çok şey olduğunu gösteriyor. Le Chat, sağduyu gibi alanlarda etkileyici yetenekler sergilemesine rağmen, yaratıcı çıktısı ve programlama becerileri, ChatGPT'nin önemli ölçüde gerisinde kaldı. Fransız yapay zeka girişimi kesinlikle umut verici görünüyor, ancak heyecan, yeteneklerinin biraz ötesine geçiyor olabilir.
Kendisinden önceki pek çok istekli rakip gibi Le Chat'in de büyük turnuvalara hazır olmadan önce sürekli gelişime ve eğitime ihtiyacı var. Şu anda ChatGPT gibi yapay zeka sohbet robotları, yapay zeka sohbet robotları dünyasının tartışmasız kralları olmaya devam ediyor. Ancak rakipler alanı giderek kalabalıklaşıyor, dolayısıyla liderler yalnızca mevcut yetenekleriyle rekabet edemiyor. Artık görüntüleyebilirsiniz Bilgisayarlar için kendi kendine öğrenmeyi başarmak: Akıllı sistemler sağduyu kazanabilir mi?
