### Работа с Pars Данный класс предназначен для работы с запросами и полученной html-страницей. Класс Pars не принимает никаких данных для конструкторов. ```python from ipars import Pars p = Pars() ``` ### Коротко о методах Pars: 1. Метод **getStaticPage** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться заголовки со случайным user-agent. Метод возвращает статус ответа сайта, что должно использоваться для введения проверок 2. Метод **getDynamicPage** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения, closeWindow и timeSleep. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода. С помощью timeSleep можно увеличить время загрузки страницы если контент на ней долго подгружается 3. Метод **gpsa** (get page semi-automatically) похож на метод getDynamicPage, но работает в полуавтоматическом режиме. Он открывает страницу сайта и ждёт пока не будет нажат Enter в терминале. В этот момент можно зарегистрироваться на сайте и/или перейти на нужную вкладку сайта, после чего нажать Enter и метод спарсит страницу. Подходит для лент соцсетей, где неавторизованным пользователям контент ограничен. Принисает такие же аргументы для таких же целей, что и getDynamicPage, за исключением closeWindow 4. Метод **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml). 5. Метод **getAttributes** нужена чтобы получить список атрибутов из списка объектов bs4. Принимает список объектов bs4 и название атрибута который будет извлекаться из элементов списка 6. Метод **getTexts** нужена чтобы получить список текста из списка объектов bs4. Принимает список объектов bs4 и параметр needFix. Если этот параметр установлен как True, то из текста будут удалены \n, \t и пробелы с концов 7. Метод **pprint** используется для вывода значений переменных у которых большая вложеность. Например, если у Вас есть массив объектов, где в качестве значения ключа используется другой массив объектов 8. Метод **mkdir** используется для создания папки с именем _nameDir_ если она ещё не существует ### Пример парсера с использованием ipars: ```py # О классе ProgressBarManager читай ниже from ipars import Pars, ProgressBarManager p = Pars() nameFile = 'index.html' # Получаем html страницу p.getDinamicPage(nameFile, 'https://duckduckgo.com/?q=теплица+социальных+технологий+youtube&iar=videos&atb=v454-1', closeWindow=0) # Получаем объект BautifullSoup soup = p.returnBs4Object(nameFile) # Находим все карточки ответов # Первые результаты выдачи те что хотелось получить, а остальные нет. Поэтому нам желательно получить первые 84 элемента allCards = soup.find_all(class_='b_NgmZrVnRtV8MZMEjLs')[:84] # Получаем все изображения allImg = [card.find('img') for card in allCards] # Получаем все ссылки allSrc = p.getAttributes(allImg, 'src') # Создаём папку img если её ещё нет nameFolder = 'img' p.mkdir(nameFolder) # Создаём объект ProgressBarManager bar = ProgressBarManager(len(allSrc)) # Скачиваем картинки for index, url in enumerate(allSrc): url = 'https:' + url p.getStaticPage(f'./{nameFolder}/img{index}.png', url, writeMethod='wb') bar.next() bar.finish() ``` ### Пример использования методов _getAttributes_ и _getTexts_ ```py from ipars import Pars p = Pars() p.getStaticPage('./index.html', 'https://google.com') soup = p.returnBs4Object('./index.html') allTegA = soup.find_all('a') a1 = p.getTexts(allTegA, needFix=1) p.pprint(a1) a2 = p.getAttributes(allTegA, 'href') p.pprint(a2) ```