WebScrappersec

WebScrappersec adalah alat ekstraksi media, analisis kode, dan pemindaian web performa tinggi berbasis program Crystal. alat ini memanfaatkan keunggulan sistem kompilasi biner asli (LLVM) dan konkurensi berbasis Fibers untuk memproses data web secara kilat dengan konsumsi memori (RAM) yang sangat minimal.

fituresec

Aplikasi ini dilengkapi dengan modul-modul esensial yang dirancang untuk kebutuhan ekstraksi data yang nyata dan presisi:

• High-Performance Content Scraper: Mengekstrak kode sumber HTML terformat (beautified), teks bersih tanpa tag boilerplate, serta berkas CSS, JavaScript, dan Font secara terisolasi.
• Smart Media & Document Finder: Menemukan dan mengunduh gambar massal serta dokumen penting (.pdf, .docx, .xlsx, dsb.) lengkap dengan filter ambang batas dimensi gambar untuk mengabaikan tracking pixel.
• Advanced YouTube: Ekstraksi tautan media dari platform YouTube untuk mengunduh video berbagai resolusi, konversi trek audio murni (MP3), serta pengambilan gambar thumbnail kualitas tinggi (HD) secara instan.
• Resilient Downloader: Modul pengunduhan biner yang mendukung pembatasan kecepatan unduhan (bandwidth throttling), skema coba-kembali otomatis (auto-retry), integrasi proxy, serta fitur pelanjutan unduhan (resume download).
• Deep Web Analysis: Dilengkapi dengan fitur pemindai tautan rusak (broken link checker) berbasis status HTTP 404, pendeteksi tech stack / framework web, konverter aset ke skema teks Base64, serta integrasi arsip Wayback Machine.

Struktur Hasil Unduhan

Setiap kali proses ekstraksi dijalankan, alat ini akan membuat direktori kerja khusus secara otomatis dengan penamaan berdasarkan domain target untuk mengelompokkan berkas secara rapi:

downloads_[domain_target]/
├── web_pages/          # Berisi HTML hasil format atau teks bersih (Clean Text)
├── stylesheets/        # BerBerkas gaya visual (.css)
├── scripts/            # Skrip logika halaman (.js)
├── images/             # Berkas gambar hasil unduhan atau konversi (.png, .jpg)
├── documents/          # Berkas dokumen pendukung (.pdf, .docx, dsb.)
└── media_content/      # Video, audio (MP3), atau thumbnail dari YouTube

Kebutuhan Sistem

Sebelum melakukan kompilasi dan menjalankan WebScrappersec, pastikan sistem operasi kamu sudah terpasang beberapa dependensi berikut:

Langkah Instalasi

1. Klon atau buat struktur folder proyek sesuai arsitektur berkas yang ada.
2. Pastikan file shard.yml berada di direktori akar proyek.
3. Jalankan perintah kompilasi menggunakan compiler Crystal di terminal:

# Kompilasi untuk mode pengembangan (Development)
crystal build main.cr -o webscrappersec

# Kompilasi untuk mode produksi kecepatan penuh (Release Mode)
crystal build main.cr --release --no-debug -o webscrappersec

Panduan Penggunaan

Untuk menampilkan seluruh daftar instruksi, parameter, dan flags yang tersedia, jalankan perintah bantuan melalui terminal:

./webscrappersec --help
./webscrappersec --url [https://example.com](https://example.com)
./webscrappersec --url [https://example.com](https://example.com) --extract=clean-text,css --beautify
./webscrappersec --url [https://example.com](https://example.com) --extract=doc,img --min-img-size=500 --proxy=[http://127.0.0.1:8080](http://127.0.0.1:8080)
./webscrappersec --url [https://example.com](https://example.com) --check-links --detect-tech
./webscrappersec --url [https://www.youtube.com/watch?v=ID_VIDEO](https://www.youtube.com/watch?v=ID_VIDEO) --youtube=audio -l 500
./webscrappersec --url [https://example.com](https://example.com) --wayback=20240101

Proyek ini dikembangkan secara modular dan terbuka untuk peningkatan fitur lain lain nya terimakasih semoga bermanfaat!