این پروژه یک خزنده هوشمند (Web Scraper) است که به صورت خودکار اخبار را از وبسایتهای خبری استخراج میکند. این ابزار با استفاده از تکنیکهای پیشرفته وباسکرپینگ، اطلاعات مورد نیاز را از منابع مختلف جمعآوری کرده و در یک پایگاه داده متمرکز ذخیره میکند.
هدف اصلی این پروژه، خودکارسازی فرآیند جمعآوری اخبار و کاهش زمان جستجوی دستی است. این خزنده قابلیت اسکرپ کردن چندین وبسایت به صورت همزمان را داشته و اطلاعات را به صورت ساختاریافته استخراج میکند.
برای پیادهسازی این پروژه، از ترکیب BeautifulSoup و Selenium برای اسکرپینگ وبسایتهای استاتیک و داینامیک استفاده شد. برای مدیریت درخواستهای همزمان از ThreadPoolExecutor و برای جلوگیری از مسدود شدن IP از Proxy Rotation استفاده گردید.
دادههای استخراج شده در PostgreSQL ذخیره شده و یک API برای دسترسی به دادههای جمعآوری شده طراحی شد. همچنین یک داشبورد مدیریتی برای نمایش آمار و گزارشها پیادهسازی شد.