View source for Scrapping Tor: python keyword input file, output file

Berikut adalah panduan langkah demi langkah untuk melakukan web scraping melalui jaringan Tor di Kali Linux 2024.4, dengan kata kunci yang diambil dari file dan hasil yang disimpan ke dalam file.

'''Persiapan:'''

1. '''Instalasi Tor dan Dependensi:'''

* Perbarui sistem Anda:

 sudo apt update && sudo apt upgrade

* Instal Tor dan pustaka Python yang diperlukan:

 sudo apt install tor python3-pip
 pip3 install requests[socks] beautifulsoup4 stem pandas

2. '''Konfigurasi Tor:'''

*  Edit file konfigurasi Tor:

 sudo nano /etc/tor/torrc

* Tambahkan baris berikut untuk mengaktifkan port kontrol dan otentikasi cookie:

 ControlPort 9051
 CookieAuthentication 1

* Simpan perubahan dan mulai layanan Tor:

 sudo systemctl start tor
 sudo systemctl enable tor

3. '''Persiapan File Kata Kunci:'''
Buat file teks bernama `keywords.txt` yang berisi daftar kata kunci, satu per baris. Contoh:

 berita teknologi
 tutorial python
 keamanan siber

'''Implementasi Kode Python:'''

Berikut adalah skrip Python yang membaca kata kunci dari `keywords.txt`, melakukan pencarian web melalui Tor, dan menyimpan hasilnya ke dalam file CSV:

 import os
 import time
 import requests
 from bs4 import BeautifulSoup
 from stem import Signal
 from stem.control import Controller
 import pandas as pd
 
 # Fungsi untuk memuat kata kunci dari file
 def load_keywords(filename):
     with open(filename, 'r', encoding='utf-8') as f:
         return [line.strip() for line in f if line.strip()]
 
 # Fungsi untuk memperbarui identitas Tor (IP baru)
 def renew_tor_ip():
     with Controller.from_port(port=9051) as controller:
         controller.authenticate()
         controller.signal(Signal.NEWNYM)
 
 # Fungsi untuk membuat sesi dengan proxy Tor
 def get_tor_session():
     session = requests.Session()
     session.proxies = {
         'http': 'socks5h://127.0.0.1:9050',
         'https': 'socks5h://127.0.0.1:9050'
     }
     return session
 
 # Fungsi untuk melakukan pencarian web dan mengembalikan URL hasil
 def search_web(keyword, num_results=5):
     session = get_tor_session()
     query = '+'.join(keyword.split())
     url = f"https://www.google.com/search?q={query}"
     response = session.get(url)
     soup = BeautifulSoup(response.text, 'html.parser')
     results = []
     for item in soup.find_all('h3'):
         parent = item.find_parent('a')
         if parent and parent['href'].startswith('/url?q='):
             link = parent['href'].split('/url?q=')[1].split('&')[0]
             results.append(link)
         if len(results) >= num_results:
             break
     return results
 
 # Fungsi untuk mengunjungi URL dan mengambil konten
 def scrape_content(url):
     session = get_tor_session()
     response = session.get(url)
     soup = BeautifulSoup(response.text, 'html.parser')
     title = soup.title.string if soup.title else 'No Title'
     paragraphs = soup.find_all('p')
     content = ' '.join([p.get_text() for p in paragraphs[:5]])
     return title, content
  
 # Fungsi utama untuk proses scraping
 def main():
     keywords = load_keywords('keywords.txt')
     all_results = []
 
     for keyword in keywords:
         print(f"Mencari: {keyword}")
         renew_tor_ip()
         time.sleep(10)  # Tunggu agar IP baru aktif
         urls = search_web(keyword)
         for rank, url in enumerate(urls, start=1):
             print(f"  Mengambil: {url}")
             try:
                 title, content = scrape_content(url)
                 all_results.append({
                     'Keyword': keyword,
                     'Rank': rank,
                     'Title': title,
                     'URL': url,
                     'Content': content
                 })
             except Exception as e:
                 print(f"    Gagal mengambil konten dari {url}: {e}")
             time.sleep(5)  # Delay antara permintaan
 
     # Simpan hasil ke file CSV
     df = pd.DataFrame(all_results)
     df.to_csv('scraping_results.csv', index=False, encoding='utf-8')
     print("Hasil disimpan dalam 'scraping_results.csv'.")
 
 if __name__ == '__main__':
     main()

'''Penjelasan Kode:'''

* '''load_keywords:''' Membaca kata kunci dari file `keywords.txt`.
* '''renew_tor_ip:''' Memperbarui identitas (IP) Tor untuk menghindari pemblokiran.
* '''get_tor_session:''' Membuat sesi HTTP yang melewati proxy Tor.
* '''search_web:''' Melakukan pencarian Google untuk kata kunci tertentu dan mengembalikan daftar URL hasil.
* '''scrape_content:''' Mengunjungi URL dan mengambil judul serta lima paragraf pertama dari konten.
* '''main:''' Mengatur alur kerja: membaca kata kunci, memperbarui IP Tor, melakukan pencarian, mengambil konten, dan menyimpan hasil ke file CSV.

'''Catatan Penting:'''

* '''Etika dan Legalitas:''' Pastikan Anda memiliki izin untuk mengakses dan mengambil data dari situs web yang Anda targetkan. Selalu patuhi hukum dan regulasi yang berlaku terkait web scraping.
* '''Kinerja dan Keandalan:''' Menggunakan Tor dapat memperlambat proses karena latensi jaringan. Selain itu, beberapa situs mungkin memblokir lalu lintas dari node keluar Tor. Pertimbangkan untuk menggunakan proxy berbayar jika memerlukan kinerja dan keandalan yang lebih baik.
* '''Penanganan CAPTCHA:''' Beberapa situs mungkin menampilkan CAPTCHA saat mendeteksi 


==Pranala Menarik==

* [[Scrapping]]