Добавлен код проекта

ipars/__init__.py

@@ -0,0 +1 @@
+from .module import Pars

ipars/module.py

@@ -0,0 +1,88 @@
+from selenium.webdriver.chrome.options import Options
+from requests import get, RequestException
+from selenium import webdriver
+from time import sleep
+from os import remove
+from bs4 import BeautifulSoup
+
+class Pars:
+    '''Библиотека для работы с файлами во время парсинга'''
+
+    def __init__(self, url, pathToSaveFile, writeMethod='w'):
+        """Конструктор"""
+        self.url = url
+        self.pathToSaveFile = pathToSaveFile
+        self.writeMethod = writeMethod
+
+    def returnBs4Object(self, userEncoding='utf8'):
+        """Возвращаем объект beautifulsoup"""
+        with open(self.pathToSaveFile, encoding=userEncoding) as file:
+            src = file.read()
+        soup = BeautifulSoup(src, 'lxml')
+        return soup
+
+    def deleteFile(self):
+        """Удаляем файл после работы с ним"""
+        remove(self.pathToSaveFile)
+
+
+    def get_static_page(self):
+        '''Получаем статическую страницу'''
+        headers = {
+            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
+        }
+        try:
+            # Отправляем запрос
+            req = get(self.url, headers=headers)
+            req.raise_for_status()  # Проверка на ошибки HTTP
+
+            # Записываем данные
+            if self.writeMethod == 'w':
+                src = req.text
+                with open(self.pathToSaveFile, self.writeMethod, encoding='utf-8') as file:
+                    file.write(src)
+            elif self.writeMethod == 'wb':
+                src = req.content
+                with open(self.pathToSaveFile, self.writeMethod) as file:
+                    file.write(src)
+            else:
+                raise ValueError("Неподдерживаемый метод записи: {}".format(self.writeMethod))
+
+        # Обрабатываем ошибки
+        except RequestException as e:
+            print(f"Ошибка при запросе: {e}")
+        except IOError as e:
+            print(f"Ошибка при записи в файл: {e}")
+        except Exception as e:
+            print('Ошибка:')
+            print(e)
+
+
+    def get_dinamic_page(self, closeWindow:bool=1):
+        '''Функция для получения динамической страницы'''
+
+
+        # Устанавливаем опции для Chrome WebDriver
+        options = Options()
+        if closeWindow:
+            options.add_argument('--headless')
+        # открываем браузер
+        with webdriver.Chrome(options=options) as driver:
+            driver.get(self.url)
+            # Прокручиваем страницу до самого низа
+            last_height = driver.execute_script("return document.body.scrollHeight")
+            while True:
+                # Прокручиваем до низа страницы
+                driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
+                # Ждем загрузки страницы
+                sleep(2)
+                # Вычисляем новую высоту страницы
+                new_height = driver.execute_script("return document.body.scrollHeight")
+                if new_height == last_height:
+                    break
+                last_height = new_height
+            # Получаем HTML-код страницы
+            html_content = driver.page_source
+            # Сохраняем HTML-код в файл
+            with open(self.pathToSaveFile, "w", encoding="utf-8") as file:
+                file.write(html_content)