Başlangıç İçin Python ile Web Kazıma – 10 Adım

Veri çağında yaşıyoruz ve bu verinin büyük bir kısmı internette bulunuyor. Peki ya bu değerli bilgiyi nasıl toplayıp kullanabiliriz? İşte burada Python ile web kazıma devreye giriyor. Web kazıma, internet sitelerinden yapılandırılmış veri çıkarma işlemidir. Bu veriler daha sonra analiz, araştırma veya başka amaçlar için kullanılabilir. Python, sunduğu güçlü kütüphaneler ve basit sözdizimi sayesinde web kazıma için ideal bir dildir. Bu makalede, başlangıç seviyesinde Python ile web kazıma yapmak için 10 adımda izlemeniz gereken yolu göstereceğiz. Yeni başlayanlar için bile anlaşılır bir dil kullanarak, web kazımanın temellerini ve pratik uygulamalarını öğreneceksiniz. Hazır mısınız? Öyleyse, veri madenciliğinin heyecan verici dünyasına adım atalım!

Web Kazıma Ortamının Kurulması

Gerekli Kütüphanelerin Yüklenmesi

Python ile web kazıma yapmak için bazı temel kütüphanelere ihtiyacımız var. Bunlardan en önemlileri Requests ve Beautiful Soup‘tur. Requests kütüphanesi, web sitelerine HTTP istekleri göndermemizi sağlar. Beautiful Soup ise HTML ve XML dosyalarını ayrıştırmamıza ve istediğimiz verileri kolayca çıkarmamıza yardımcı olur. Bu kütüphaneleri yüklemek için pip komut satırını kullanabilirsiniz.

Python‘ın paket yöneticisi olan pip, kütüphaneleri kolayca yüklemenizi ve yönetmenizi sağlar. Terminal veya komut istemcisine “pip install requests beautifulsoup4” yazarak bu kütüphaneleri yükleyebilirsiniz. Yükleme işlemi tamamlandıktan sonra, kodunuzda bu kütüphaneleri import ederek kullanmaya başlayabilirsiniz.

Kütüphaneleri başarıyla yükledikten sonra, bir sonraki adım web sitesine istek göndermektir.

Web Sitesine İstek Gönderme

Web kazıma işlemine başlamadan önce, hedef web sitesine bir istek göndermemiz gerekir. Requests kütüphanesi, `get()` fonksiyonu ile bunu kolayca yapmamızı sağlar. Hedef web sitesinin URL’sini bu fonksiyona parametre olarak veriyoruz. Fonksiyon, web sitesinden gelen yanıtı bir Response nesnesi olarak döndürür.

Response nesnesi, web sitesinden alınan HTML içeriğini, durum kodunu ve diğer bilgileri içerir. Durum kodu, isteğimizin başarılı olup olmadığını anlamamızı sağlar. 200 durum kodu, isteğin başarılı olduğunu gösterir. Bu nesne üzerinden `.text` özelliği ile HTML içeriğine erişebiliriz.

Bu HTML içeriği, web sayfasının kaynak kodudur ve web kazıma işleminin temelini oluşturur.

HTML İçeriğinin Ayrıştırılması

Web sitesinden aldığımız HTML içeriğini, Beautiful Soup kütüphanesi ile ayrıştıracağız. Bu kütüphane, HTML içeriğini düzenli bir yapıya dönüştürür ve istediğimiz verileri kolayca bulmamızı sağlar. HTML içeriğini ve kullanacağımız ayrıştırıcıyı (örneğin, “html.parser”) belirterek bir Beautiful Soup nesnesi oluştururuz.

Beautiful Soup nesnesi, HTML içeriğini ağaç yapısı şeklinde temsil eder. Bu ağaç yapısı üzerinde gezinerek, etiketlere, sınıflara ve diğer özelliklere göre istediğimiz verileri bulabiliriz. `find()` ve `find_all()` gibi fonksiyonlar, bu arama işlemlerini gerçekleştirmemizi sağlar.

Bu sayede, karmaşık HTML yapısı içerisinde kaybolmadan, hedeflediğimiz verilere kolayca ulaşabiliriz.

Veri Çıkarma Teknikleri

Etiketlere Göre Veri Çıkarma

Beautiful Soup kütüphanesi, HTML etiketlerine göre veri çıkarmamızı sağlar. Örneğin, tüm paragraf etiketlerini (`<p>`) bulmak için `find_all(‘p’)` fonksiyonunu kullanabiliriz. Bu fonksiyon, tüm paragraf etiketlerini içeren bir liste döndürür.

Her bir etiketin içeriğine `.text` özelliği ile erişebiliriz. Bu özellik, etiketin içindeki metni döndürür. Ayrıca, etiketin özelliklerine (örneğin, `href`, `src`, `class`) da erişebiliriz.

Etiketlere göre veri çıkarma, web kazıma işleminin temelini oluşturur.

Sınıflara Göre Veri Çıkarma

HTML elementlerinin çoğunda, elementi tanımlayan sınıflar bulunur. Beautiful Soup, bu sınıflara göre de veri çıkarmamızı sağlar. `find_all(class_=’sınıf_adı’)` fonksiyonu, belirtilen sınıfa sahip tüm elementleri döndürür.

Bu yöntem, belirli bir stil veya yapıya sahip elementleri hedeflememizi sağlar. Örneğin, bir web sayfasındaki tüm ürün başlıklarını çıkarmak için, ürün başlıklarının ortak bir sınıfı varsa, bu sınıfı kullanarak veri çıkarabiliriz.

Sınıflara göre veri çıkarma, daha spesifik verileri hedeflememizi sağlar.

CSS Seçicileri ile Veri Çıkarma

Beautiful Soup, CSS seçicilerini kullanarak da veri çıkarmamızı sağlar. `select()` fonksiyonu, CSS seçicilerini parametre olarak alır ve eşleşen elementleri döndürür. Bu yöntem, daha karmaşık ve esnek veri çıkarma işlemleri için idealdir.

CSS seçicileri, etiket adlarına, sınıflara, id’lere ve diğer özelliklere göre elementleri seçmemizi sağlar. Örneğin, belirli bir id’ye sahip bir elementin içindeki tüm linkleri çıkarmak için CSS seçicilerini kullanabiliriz.

CSS seçicileri, web kazıma işlemlerinde büyük bir güç ve esneklik sağlar.

Kazınan Verinin İşlenmesi ve Saklanması

Verinin Temizlenmesi ve Düzenlenmesi

Kazınan veriler genellikle ham haldedir ve temizlenmesi ve düzenlenmesi gerekir. Bu işlem, gereksiz karakterlerin, boşlukların ve HTML etiketlerinin kaldırılmasını içerir.

Python‘ın string metodları ve regular expressions (düzenli ifadeler) gibi araçlar, verinin temizlenmesi ve düzenlenmesi için kullanılabilir.

Temiz ve düzenli veri, daha sonraki analiz ve kullanım aşamalarında daha etkili sonuçlar elde etmemizi sağlar.

Verinin Farklı Formatlarda Saklanması

Temizlenen ve düzenlenen veri, farklı formatlarda saklanabilir. CSV, JSON ve Excel gibi formatlar, verinin saklanması ve paylaşılması için yaygın olarak kullanılır.

Python‘ın `csv`, `json` ve `openpyxl` gibi kütüphaneleri, verinin farklı formatlarda saklanması için kullanılabilir.

Verinin uygun formatta saklanması, verinin daha sonraki analiz ve kullanım aşamalarında kolayca erişilmesini ve işlenmesini sağlar.

Format	Açıklama
CSV	Virgülle ayrılmış değerler
JSON	JavaScript Nesne Notasyonu
Excel	Microsoft Excel dosya formatı

• Veri temizliği
• Veri düzenleme
• Veri saklama

Web Kazıma Etik Kuralları

Robot.txt Dosyasına Uygunluk

Web kazıma yaparken, hedef web sitesinin robots.txt dosyasına uymak önemlidir. Bu dosya, web sitelerinin hangi bölümlerinin botlar tarafından taranabileceğini belirtir.

Robots.txt dosyasına uymamak, web sitesine zarar verebilir ve yasal sorunlara yol açabilir.

Etik bir web kazıma işlemi için robots.txt dosyasına uymak şarttır.</