Yeni Özelliklerin Türetilmesi
Veri arıtma süreci, yapay zeka modellerinin tutarlı sonuçlar üretebilmesi için temel bir adımdır. Ham veriler çoğu zaman mükerrer satırlar ve uyumsuz formatlar içerir. Bu nedenle analistler önce kayıtları tarar ve hatalı girdileri ayıklar. Boş hücre problemi ise çoğunlukla medyan ya da en sık görülen değer gibi istatistiksel yöntemlerle doldurulur. Sayısal sütunlarda medyan değeri tercih edilir, çünkü aşırı sapmalardan daha az zarar görür. Kategorik sütunlarda ise en sık tekrarlanan kategori doldurma için uygun bir seçenek olabilir. Bazı durumlarda kayıt tamamen çıkarılır, özellikle eksik oranı yüksek ise. Eksik veri deseninin rastgele mi yoksa düzenli mi olduğu incelenmelidir. Sistematik kayıplar modelde sapmaya yol açabilir. Temizleme işlemleri her zaman kayıt altına alınmalı ve tekrarlanabilir olmalıdır. Böylece ekip üyeleri hangi kararın neden alındığını takip edebilir.
Aykırı değer tespiti, veri setindeki beklenmedik gözlemleri belirlemek için kullanılan bir süreçtir. Bu değerler kayıt hatası olabileceği gibi nadir ama geçerli olaylardan da kaynaklanabilir. temel bir yaklaşım çeyrekliklerarası açıklık yöntemidir ve alt ile üst çeyrek aralığındaki farkla eşikler belirler. Z-skoru yöntemi ise ortalamadan kaç sapma birimi uzakta olduğuna odaklanır. Normal dağılıma benzer verilerde bu yaklaşım oldukça etkilidir. Fakat çarpık dağılımlarda bulgular yanıltıcı olabilir. Bu durumda isolation forest gibi çok değişkenli algoritmalar düşünülebilir. Aykırı değerleri doğrudan silmek her zaman doğru tercih değildir. Bazen gözlem kırpılarak (winsorizing) sınırlar içine çekilir. Bu yöntem verinin büyük kısmını koruyarak uç etkisini azaltır. Her kararın alan bilgisiyle desteklenmesi gerekir. Uzman görüşü, hangi gerçek iz olduğunu ayırt etmede çok değerlidir.
Özellik ölçeklendirme, farklı aralıklardaki sayısal değişkenlerin algoritmaya dengeli biçimde katkı yapmasını sağlar. Mesafe tabanlı algoritmalar, örneğin KNN veya SVM, ölçek farklarından belirgin biçimde etkilenir. Min-max ölçeklendirme değerleri belirli bir aralığa, genellikle sıfır ile bir arasına taşır. Bu yöntem aykırı değerlere karşı duyarlıdır, çünkü minimum değerler tüm dönüşümü etkiler. Z-skor dönüşümü ise ortalamayı sıfıra ve standart sapmayı bire eşitler. Bu yöntem normal dağılımlı veriler için sıkça tercih edilir. Ağaç tabanlı modeller ise ölçeğe büyük ölçüde duyarlı olmaz. Dolayısıyla her model için ayrı bir karar yapmak gerekir. Ölçeklendirici yalnızca eğitim verisiyle öğrenilmeli, ardından test verisine uygulanmalıdır. Aksi halde veri sızıntısı ortaya çıkar ve performans ölçümleri yanıltıcı olur. Pipeline yapıları bu hatayı önlemek için sıklıkla kullanılır.
Nitel değişkenler, makine öğrenmesi modellerinin doğrudan işleyemeyeceği metin biçiminde kayıtlardır. Bu nedenle sayısal bir temsile dönüştürülmeleri gerekir. Tekil sıcak kodlama, her sınıf için ayrı bir ikili sütun oluşturur. Bu yöntem hiyerarşi içermeyen isimsel değişkenler için idealdir. Fakat çok sayıda kategorisi olan değişkenlerde boyut hızla büyür. Bu durumda target encoding gibi seçenekler düşünülebilir. Label encoding her kategoriye bir tam sayı verir, ancak bu sahte bir düzen yaratabilir. Sıralı derecelendirilmiş değişkenlerde ise sıralama bilgisi muhafaza edilerek sayılara çevrilir. Eğitim ile değerlendirme verilerindeki kategori listelerinin tutarlı olması gerekir. Yeni görülen bir kategori sistemi bozabilir. Bu yüzden bilinmeyen değerler için ayrı bir kurala sahip olmak faydalıdır.
Metin verisi üzerinde tokenizasyon, ham yazı parçalarını modelin işleyebileceği parçalara ayırma işlemidir. Kelime tabanlı tokenizasyon boşluk ve noktalama işaretlerine dayanarak ayırır. Bu yöntem anlaşılır olsa da kelime dağarcığı dışındaki kelimelerle sorun yaşar. Alt kelime yöntemleri, örneğin BPE, sık geçen karakter gruplarını birleştirerek uyarlanabilir bir sözlük oluşturur. Türkçe gibi sondan eklemeli dillerde bu yaklaşım özellikle faydalıdır. Gövde ve ekler ayrı tokenlara bölünebilir. Büyük küçük harf çevrimi de ön işlemenin önemli bir adımıdır. Durdurma sözcükleri çıkarılabilir, fakat bazı görevlerde bu kelimeler anlam taşır. Dolayısıyla kaldırma kararı probleme göre değerlendirilmelidir. Özel karakterler ve emojiler için ayrı kurallar belirlenmelidir. Doğru tokenizasyon, modelin anlamı yakalamasında belirleyici bir rol oynar.
Veri standartlaştırma işlemi, farklı ölçeklerdeki özelliklerin dengeli bir şekilde karşılaştırılabilmesi için kritik bir adımdır. Min-max ölçekleme gibi yöntemler, değerleri belirli bir aralığa taşıyarak modelin tek bir özelliğe aşırı ağırlık vermesini engeller. Veri bilimciler bu dönüşümü yaparken aykırı değerlerin etkisini da dikkate bulundurmalıdır. Özellikle mesafe temelli algoritmalarda, normalizasyon eksik yapıldığında sonuçlar ciddi biçimde sapabilir. Uygun bir yöntem seçildiğinde ise öğrenme süreci daha hızlı ilerler. Uygulama sırasında ölçekleyici yalnızca eğitim verisi üzerinde hesaplanmalı, ardından test verisine değişmeden uygulanmalıdır. Aksi halde veri sızıntısı oluşur ve performans ölçümü yanıltıcı hale gelir. Sayısal ve kategorik değişkenlerin ayrı ele alınması da sıklıkla gözden kaçırılan bir noktadır. Sonuç olarak normalizasyon, modelin genelleme gücünü doğrudan etkileyen temel bir hazırlık basamağıdır.
Değişken seçimi süreci, modelin gereksiz bilgiyle karmaşıklaşmasını önlemek amacıyla kullanılan kritik bir adımdır. Bilgi kazancı ölçümü ile hedef değişkenle anlamlı ilişkisi olmayan veya birbiriyle aşırı korele olan özellikler ayıklanabilir. Sarmalayıcı yöntemler arasından probleme uygun olan seçilmelidir. Boyut indirgeme teknikleri ise özellik sayısını sadeleştirerek hesaplama maliyetini hafifletir. Temel bileşen analizi bu amaçla en yaygın kullanılan yöntemlerden biridir. Fakat dönüştürülen bileşenlerin anlaşılırlığı azalabilir, bu dengesizlik göz önünde bulundurulmalıdır. Doğrusal olmayan ilişkiler söz konusu olduğunda t-SNE veya UMAP gibi alternatifler değerlendirilebilir. Dikkatli bir seçim, eğitim süresini belirgin biçimde kısaltabilir. Buna ek olarak aşırı öğrenme riski de azalır. Sonuçta hedef, bilgi kaybını minimumda tutarak etkili bir temsil elde etmektir.
Veri çoğaltma teknikleri, sınırlı sayıda örnekle eğitilen modellerin genelleme kapasitesini geliştirmek için sık olarak başvurulan yöntemlerdir. Resim setlerinde döndürme, kırpma ve parlaklık değişimi gibi işlemler sıkça uygulanır. Metin verilerinde ise eş anlamlı kelime değişimi veya geri çeviri teknikleri tercih edilebilir. Akustik verilere gürültü ekleme veya hız ayarı uygulanabilir. Bu teknikler sayesinde model, çeşitli koşullara daha dayanıklı hale gelir. Ancak üretilen örneklerin etiketlerinin doğruluğu her zaman korunmalıdır. Aşırı dönüşüm ise gerçek dağılımdan sapmaya neden olabilir. Sentetik veri üretimi için generatif modeller de her geçen gün daha fazla kullanılmaktadır. Bu noktada kalite kontrolü hayati önem taşır. Sonuç olarak veri artırma, doğru kullanıldığında modelin başarısını anlamlı ölçüde yükseltir.
Dengesiz veri setleri, bir sınıfın diğerlerine göre belirgin şekilde fazla örneğe sahip olduğu durumlarda ortaya çıkar ve modelin çoğunluk sınıfına meyletmesine yol açar. Bu durum özellikle dolandırıcılık tespiti ve tıbbi teşhis gibi uygulamalarda ciddi sonuçlar doğurabilir. Yeniden örnekleme yöntemleri, azınlık sınıfını çoğaltarak ya da çoğunluk sınıfını azaltarak dengeyi kurmaya çalışır. Sentetik azınlık örnekleme gibi algoritmalar, mevcut örnekler arasında yapay noktalar üreterek bu işlemi daha akıllı hale getirir. Ancak rastgele fazla örnekleme, aşırı öğrenmeye davetiye çıkarabilir. Maliyete dayalı öğrenme de tamamlayıcı bir yaklaşım olarak değerlendirilebilir. Bu yaklaşımda hatalı sınıflandırmanın cezası azınlık sınıfı için artırılır. Performans ölçümü aşamasında doğruluk yerine kesinlik ve duyarlılık gibi metrikler tercih edilmelidir. Böylece model gerçek performansı konusunda daha net bir resim sunar.
Eğitim ve test verisi ayrımı, modelin daha önce verilerde hangi düzeyde başarılı olacağını ölçmek için vazgeçilmez bir adımdır. Çoğunlukla veri setinin yüzde yetmişi ile yüzde seksen aralığı eğitim için, kalanı test için ayrılır. Karıştırarak ayırma yöntemi, dağılımın korunması açısından her zaman yeterli olmayabilir. Katmanlı örnekleme ile sınıf oranları iki kümede da korunabilir. Zaman serisi verilerde ise geleceğin geçmişi tahmin etmesini engellemek için kronolojik bölme tercih edilmelidir. K-katlı doğrulama ile daha güvenilir bir performans tahmini elde edilebilir. Test verisi model geliştirme sürecinde defalarca kullanılmamalıdır. Aksi halde model dolaylı olarak test verisine uyum sağlar. Ayrı bir validasyon verisi bu sorunu azaltmak için kullanışlı bir seçenektir. Sonuç olarak doğru bir veri ayrımı, güvenilir ve yinelenebilir sonuçların bel kemiğini oluşturur.
Veri kümesi hazırlama ilk prensipler
Yapay zeka modellerinde veri hazırlama adımı, modelin doğruluğunu doğrudan etkileyen kritik bir aşamadır. Düzensiz veriler çoğu zaman eksik değerler, gürültülü kayıtlar, tutarsız biçimler ve değişen ölçeklerdeki sayısal alanlar içerir. Bu nedenle veri bilimcileri, modele girdi sağlamadan önce kümeyi uygun hale getirmek zorundadır. Temizleme aşamasında tekrarlanan kayıtlar çıkarılır ve bozuk değerler onarılır. Eksik veriler için ortalama, medyan veya mod gibi yaklaşımlar kullanılabilir. Kategorik değişkenler ise one-hot kodlama veya etiket kodlama gibi nümerik biçimlere dönüştürülür. Bu temel adımlar tamamlandığında veri seti, eğitim sürecine tutarlı biçimde aktarılabilecek kaliteye ulaşır.
Çokça işlenen hata türleri
Ön işleme sürecinde özellikle karşılaşılan hatalardan biri, verinin öğrenme ve test parçalarına bölünmeden önce normalize edilmesidir. Bu durum, test verisinden bilgi sızmasına yol açar ve modelin sahici performansını yanıltıcı kılar. Bir diğer yaygın hata ise aykırı değerlerin kontrol edilmeden silinmesi veya gelişigüzel korunmasıdır. Oysa bazı aykırı değerler yanlış giriş olabileceği gibi anlamlı bir davranışa da işaret edebilir. Ayrıca kategorik sütunların dengesiz kodlanması, sayısal özelliklerin gereksiz ölçeklenmesi ve kayıt altına alınmamış dönüşüm adımları, güvenilirliği ciddi biçimde zayıflatır. Bu hataların büyük kısmı dikkatli bir veri denetimi ile önlenebilir.
Usta pratik öneriler ve en iyi yöntemler
Deneyimli veri uzmanları, ön işleme boru hattını gerektiği kadar otomatikleştirmeyi ve bunu her seferinde çalıştırılabilir bir yapıya oturtmayı önerir. Scikit-learn gibi kütüphanelerde Pipeline yapıları kullanıldığında, dönüşümler ancak eğitim verisi üzerinde öğrenilir ve test verisine aynen uygulanır. Bu yaklaşım veri sızıntısını büyük ölçüde engeller. Ayrıca her dönüşüm adımının amacını açıklayan kısa notların tutulması, ekip içi paylaşımı kolaylaştırır. Veri tutarlılığını izlemek için dağılım grafikleri, eksik değer oranları ve özet istatistikler düzenli olarak gözden edilmelidir. Son olarak, sınırlı bir alt küme üzerinde hızlı denemeler yapmak, büyük veri setinde zaman ve hesaplama kaybını azaltır.
Veri hazırlama maliyeti ve kaynak yönetimi
Veri ön işleme harcaması, projenin toplam bütçesi içinde tahmin edilenden daha büyük bir pay tutabilir. Veri derleme süreçlerinde uzman emeği, işaretleme hizmetleri ve hesaplama altyapısı maliyetleri birlikte hesaplanmalıdır. Küçük bir ekip için açık kaynak araçlarla ilerlemek mümkündür, ancak veri hacmi büyüdükçe dağıtık işleme ve veri ambarı çözümlerine gerek duyulabilir. Bütçe planlamasında ekip saatleri, araç giderleri ve yeniden işleme ihtimali planlamaya katılmalıdır. Bu sayede proje, öngörülmemiş maliyet artışlarına karşı daha sağlam hale gelir.
Zamanlama faktörü ve takvim yöntemleri
Veri hazırlama işlerinin zamanlaması, en çok mevsimsel davranış gösteren veri kümelerinde hayati bir öneme sahiptir. Örneğin perakende satış verilerinde kampanya dönemlerine ait gözlemler ayrı bir şekilde değerlendirilmeli, aksi halde model yıllık örüntüleri yanlış öğrenebilir. Zaman serisi verilerinde ise eksik gözlemlerin tamamlanması için ileriye enterpolasyon gibi yöntemler tercih edilebilir. Veri akış sıklığı da planlama kararlarında yönlendirici olur; günlük, haftalık veya yıllık güncellemeler, modelin ihtiyacına göre ayarlanmalıdır. Böylece ön işleme boru hattı hem taze hem de tutarlı sonuçlar üretebilir.
Tekrarlanan yöneltilen soru-cevap
Temizleme bakımından başlıca sorulan sorulardan birisi biri, ne kadar düzenleme yapılması gerektiğidir. Cevap çoğu zaman modelin hedefine ve verinin kaynağına bağlıdır; gereğinden fazla temizlik bazen önemli ayrıntıları yok edebilir. Bir diğer tipik soru, ne tür ölçeklendirme yönteminin uygun olacağıdır. Standartlaştırma, sıra dışı değerlere karşı görece duyarlıdır; dolayısıyla dağılımın çarpık olduğu durumlarda min-max ölçeklendirme veya robust yöntemler daha isabetli olabilir. Son olarak, ön işleme aşamalarının ne zaman yeniden yapılması gerektiği sorulur; yeni veri sisteme girdiğinde veya veri kaynağında köklü bir değişiklik gözlendiğinde bu işlemler tekrar kurgulanmalıdır.