From 1f46045af255743777faab4df4d006d79b449157 Mon Sep 17 00:00:00 2001 From: Ilia Miheev Date: Thu, 22 May 2025 18:16:51 +0300 Subject: [PATCH] =?UTF-8?q?=D0=94=D0=BE=D0=B1=D0=B0=D0=B2=D0=BB=D0=B5?= =?UTF-8?q?=D0=BD=D0=BE=20=D0=BE=D0=BF=D0=B8=D1=81=D0=B0=D0=BD=D0=B8=D0=B5?= =?UTF-8?q?=20getAttributes=20=D0=B8=20getTexts?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 48 +++++++++++++++++++++++++++++++++++------------- 1 file changed, 35 insertions(+), 13 deletions(-) diff --git a/README.md b/README.md index 50feb39..f0aa796 100644 --- a/README.md +++ b/README.md @@ -2,7 +2,7 @@ Во время парсинга часто приходится скачивать html-страницы, работать с json- и csv-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач. Библиотека создавалась для удобства работы во время парсинга, но ничто не мешает использовать её просто для работы с json и csv. -В библиотеке есть три класса для отдельных работ: Pars для получения данных из Интернета, JsonManager для работы с json и CsvManager для работы с csv. +В библиотеке есть три класса для отдельных работ: Pars для работы с запросами и bs4, JsonManager для работы с json и CsvManager для работы с csv. Установить библиотеку: @@ -10,8 +10,6 @@ pip install ipars ``` -Рассмотрим каждый класс детальнее. - ## Работа с Pars Класс Pars не принимает никаких данных для конструкторов. @@ -23,27 +21,35 @@ from ipars import Pars p = Pars() ``` -### Коротко о методах +### Коротко о методах: +1. Метод **getStaticPage** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Метод возвращает статус ответа сайта, что должно использоваться для введения проверок -1. Функция **getStaticPage** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок +2. Метод **getDynamicPage** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения, closeWindow и timeSleep. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода. С помощью timeSleep можно увеличить время загрузки страницы если контент на ней долго подгружается -2. Функция **getDynamicPage** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения, closeWindow и timeSleep. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода. С помощью timeSleep можно увеличить время загрузки страницы если контент на ней долго подгружается +3. Метод **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml). -3. Функция **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml). +4. Метод **getAttributes** нужена чтобы получить список атрибутов из списка объектов bs4. Принимает список объектов bs4 и название атрибута который будет извлекаться из элементов списка + +5. Метод **getTexts** нужена чтобы получить список текста из списка объектов bs4. Принимает список объектов bs4 и параметр needFix. Если этот параметр установлен как True, то из текста будут удалены \n, \t и пробелы с концов + +6. Метод **pprint** используется для вывода значений переменных у которых большая вложеность. Например, если у Вас есть массив объектов, где в качестве значения ключа используется другой массив объектов Пример скачивания html-страницы: ```py from ipars import Pars p = Pars() + # Заголовки для запроса headers ={ "Accept": "*/*", "User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1" } -p.get_static_page('./index.html', 'https://google.com', headers=headers) +p.getStaticPage('./index.html', 'https://google.com', headers=headers) + # Получаем объект beautifulsoup из полученной страницы soup = p.returnBs4Object('./index.html') + # Используем методы beautifulsoup allImage = soup.find_all('img') for image in allImage: @@ -57,14 +63,30 @@ from ipars import Pars p = Pars() # Получаем картинку -p.get_static_page( +p.getStaticPage( pathToSaveFile="./logo.png", - # Возможно в будущем, эта картинка переместится на другое место и пример перестанет работать 👉👈 + # Возможно в будущем, эта картинка переместится в другое место и пример перестанет работать 👉👈 url="https://cdn.sstatic.net/Sites/stackoverflow/Img/icon-48.png?v=b7e36f88ff92", writeMethod='wb' ) ``` +Пример использование методов *getAttributes* и *getTexts* + +```py +from ipars import Pars +p = Pars() + +p.getStaticPage('./index.html', 'https://google.com') +soup = p.returnBs4Object('./index.html') + +allTegA = soup.find_all('a') +a1 = p.getTexts(allTegA, needFix=1) +p.pprint(a1) + +a2 = p.getAttributes(allTegA, 'href') +p.pprint(a2) +``` ## Работа с JsonManager JsonManager принимает принимает только один аргумент — кодировку в которой будут читаться файлы. По умолчанию это UTF-8 @@ -81,7 +103,7 @@ j = JsonManager() 2. Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи -3. Метод **pprint** используется для вывода значений переменных у которых большая вложеность. Например, если у Вас есть массив объектов, где в качестве значения ключа используется другой массив объектов +3. Метод **pprint** такой же как и у Pars ```py from ipars import JsonManager @@ -95,7 +117,7 @@ j.pprint(data) # [1, 2, 3, 4, 5, 6, 7] ## Работа с CsvManager -Класс CsvManager принимает три аргумента: символ переноса на новую строку "newline" (по умолчанию — это пустая строка), кодировку открываемых файлов "encoding" (по умолчанию UTF-8) и разделитель который используется в csv файле "delimiter" (по умолчанию ";") +Класс CsvManager принимает три аргумента: символ переноса на новую строку *newline* (по умолчанию — это пустая строка), кодировку открываемых файлов *encoding* (по умолчанию UTF-8) и разделитель который используется в csv файле *delimiter* (по умолчанию ";") ```py @@ -112,7 +134,7 @@ c = CsvManager() 3. Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки -4. Метод **pprint** такой же как и у JsonManager +4. Метод **pprint** такой же как и у Pars ```py from ipars import CsvManager