Hızlı hesaplamalar yapmak ve basit tablolar oluşturmak için her zaman Excel kullandım. Ancak yaygın formüller ve temel veri işleme teknikleri dışında, projelerim daha karmaşık hale gelene kadar hiçbir zaman ek Excel işlevleri öğrenme ihtiyacı hissetmedim.
Hızlı Linkler
Sonunda dikkatimi çeken sorun
Çeşitli piyasa faktörleri ve ithalat vergileri nedeniyle, bölgemdeki bilgisayar bileşenlerini satın almak genellikle Amerika Birleşik Devletleri'ndekinden daha pahalı. Aynı bileşenler için ne kadar daha fazla ödediğimi ve yerel perakendecilerden sipariş vermek yerine doğrudan Amazon veya Newegg'den sipariş vermenin daha iyi olup olmadığını öğrenmek istedim. Bu nedenle, yerel mağazaların genellikle ithal ettiği başlıca bilgisayar bileşenlerinin (CPU'lar, GPU'lar ve RAM) fiyat verilerini birkaç ay boyunca topladım. Basit bir takip projesi, değil mi? Yanlış.
Kısa sürede tam bir veri karmaşasıyla karşılaştım. Her perakendeci bilgilerini farklı biçimlendirme kuralları kullanarak dışa aktarıyordu, bu da dosyaları birleştirmeyi neredeyse imkansız hale getiriyordu. Amazon tarihleri AA/GG/YYYY, Newegg YYYYAAGG ve Shopee (yerel mağazam) GG-AA-YYYY biçiminde veriyordu.
Tutarsızlıklar bununla da bitmedi. Sütun adları büyük ölçüde farklılık gösteriyordu. Newegg fiyatları "retail_price" (perakende_fiyat) olarak etiketlerken, Amazon "unit_price_usd" (birim_fiyat_usd) ve Shopee "price_php" (fiyat_php) olarak etiketledi. Fiyat biçimlendirmesi de aynı derecede sorunluydu; bazı dosyalar para birimi sembolleri içeren "₱18,600" değerini gösterirken, diğerleri "320" gibi normal sayılar gösteriyordu. Marka adları bile tutarlılıktan yoksundu ve aynı üretici için farklı dosyalarda "gigabyte", "GIGABYTE INC." veya "Gigabyte Tech" olarak görünüyordu.
Bu verileri manuel olarak temizleyip birleştirmek saatlerimi aldı. Dosyalar arasında kopyalayıp yapıştırmak, tutarsız değerleri bulup değiştirmek ve boş satırları tek tek silmek zorunda kaldım. Fiyat karşılaştırmaları için PHP'yi USD'ye dönüştürmek, döviz kurları için sürekli başka bir ekrana bakmak anlamına geliyordu. Genel olarak, iş sıkıcı ve hataya açıktı ve neredeyse pes etmeme neden oluyordu.
İşte o zaman Excel meraklılarının her zaman bahsettiği özelliklerden biri olan Power Query'yi kullanmayı düşündüm. Excel'in sunduğu diğer birçok güçlü özellikAma Power Query'nin benim özel sorunum için mükemmel bir araç olduğunu duymuştum. Bu yüzden, birkaç YouTube eğitimi izledikten sonra, internetten topladığım tüm dağınık verileri temizlemek için Power Query Düzenleyicisi'ni kullanmaya başladığımda ne kadar zaman kazanabileceğimi hemen fark ettim. Power Query ile artık çeşitli kaynaklardan verileri kolayca içe aktarabiliyor, standart bir biçime dönüştürebiliyor ve verimli bir şekilde analiz edebiliyorum; bu da bilgisayar bileşeni fiyatlandırma analizi projelerimde bana değerli zaman ve emek tasarrufu sağlıyor.
Yapılandırılmamış verileri temizlemek için Power Query'yi nasıl kullanırım?
Bir süre sonra, Power Query düzenleyicisinde basit, adım adım ilerleyen bir sürece karar verdim. İşte dağınık CSV çıktılarımı nasıl temizleyip tutarlı ve düzenli bir elektronik tabloya dönüştürdüğümün tam açıklaması.
Öncelikle, boş bir çalışma kitabı açarak verilerimi Power Query Düzenleyicisi'ne aktardım, Veri Şeritte şunu seçin: Metinden/CSV'denSonra CSV dosyamı seçtim ve tıkladım Verileri Dönüştür Power Query düzenleyicisini kullanarak açın.
Tarih sütununu düzelterek başladım. 12 saatlik zaman farkı olan iki kaynaktan veri topladığım için tarihleri birleştirmem gerekiyordu. Oldukça basit oldu. Sütunu tanımladım. Tarih, bağlam menüsünü açmak için sağ tıklayın ve seçin Türü Değiştir > Yerel Ayarları KullanmaAçılan menüde türü şu şekilde ayarladım: Tarih ve tanımlanmış İngilizce (ABD) Tutarlı biçimlendirmeyi sağlamak için Power Query, AA/GG/YYYY, YYYY/AA/GG gibi farklı biçimleri ve GG-AA-YY gibi simgeler kullanan değişkenleri otomatik olarak tanır ve ardından bunların tümünü tek bir tarih biçiminde birleştirir.
Tarih formatını düzelttiğime göre, sadece sütunu temizlemem gerekiyordu. Orada Excel elektronik tablosunu temizlemenin farklı yollarıAncak hataların hepsi benim sıyırıcım tarafından oluşturulan kötü girdiler olduğundan, bir filtre kullanmayı tercih ettim. Hataları Kaldır Bu girdileri kaldırmak için. Bu adım, boş değerleri ve düzgün kaydedilmemiş kalan sorunlu verileri kaldırdı ve tüm dosyalarımda temiz, tutarlı tarihler bıraktı.
Daha sonra marka ismi karmaşasını bir fonksiyonla ele aldım. Değerleri DeğiştirDaha önce olduğu gibi hedef sütunu seçtim, ardından bağlam menüsünü açmak için sağ tıkladım ve şunu seçtim: Değerleri DeğiştirAçılan pencerede tutarsız değeri ilgili alana girin. Bulunacak Değer ve sahadaki standart değerim Alanla değiştir.
Bunu iki kez daha yaptım ve sonunda tüm dosyalarımdaki tüm "gigabyte" ve "GIGABTYE Inc." girişlerini tek ve tutarlı bir "GIGABYTE"a dönüştürdüm. Aynısını AMD için de yaptım ve artık GPU'lar için Marka sütununun tamamı standart marka adlarını kullanıyor.
Power Query: Bana Nasıl Saatlerce Çalışma Kazandırdı?
Power Query'den kaçınmamın sebeplerinden biri, öğrenmesi uzun zaman alacak karmaşık bir özellik olacağını düşünmemdi. Ancak beklediğimden çok daha kolay çıktı. Sonsuz bul ve değiştir komutları çalıştırmak yerine, Power Query'yi kullanarak veri toplama araçlarımdaki verileri hızlı ve otomatik olarak temizleyebiliyorum.
Power Query'de beni en çok şaşırtan şey, gerçekleştirdiğim her komutun kaydedilmesi ve tekrar tekrar tekrarlanabilmesiydi. Bu, temelde size, dağınık CSV dosyalarını temiz ve düzenli elektronik tablolara dönüştürebilen otomatik bir temizleme betiği sunar; özellikle de bir Web kazıma kullanarak özel veri kümeleri oluşturunÇünkü bu araçlar çoğu zaman temiz olmayan veriler üretir.
Tekrarlayan veri temizlemeleri, tutarsız biçimler veya birden fazla veri kaynağıyla uğraşan herkes için Power Query, bu yükleri basit ve otomatik bir sürece dönüştürür. Her hafta manuel düzeltmelere saatler harcamak yerine, "yenile"ye basıp analize başlayabilirsiniz. Keşke uzun zaman önce benimseseydim dediğim bir Excel özelliği. Otomatik ve tekrarlanabilir bir temizleme betiğinin gücünü bir kez deneyimlediğinizde, geri dönüş yoktur. Power Query, veri işlemede zamandan ve emekten tasarruf sağlayan güçlü bir araçtır ve etkili veri temizleme ve dönüştürme için gelişmiş çözümler sunar.
