admin/ipars
1
1
Fork 0
Code Issues 13 Pull Requests Actions Packages Projects Releases Wiki Activity

Улучшено описание методов

Browse Source
This commit is contained in:
Ilia Miheev
2025-05-01 10:08:45 +03:00
parent 1236083bf1
commit 593973782e
1 changed files with 7 additions and 7 deletions
Download Patch File Download Diff File Expand all files Collapse all files
README.md
+7 -7
View File
@@ -1,7 +1,6 @@
# Библиотека для работы с файлами во время парсинга # Библиотека для работы с файлами во время парсинга
Во время работы часто приходится скачивать html страницы, работать с json файлами. Эта библиотека призвана облегчить написание кода для такого рода задач. Во время работы часто приходится скачивать html-страницы, работать с json-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач.
Установить библиотеку: Установить библиотеку:
```bash ```bash
pip install ipars pip install ipars
@@ -16,7 +15,7 @@ p = Pars()
``` ```
## Коротко о методах ## Коротко о методах
1. Функция **get_static_page** принимает url страницы, путь по которому сохранится страница, метод записи и заголовки запроса. Метод записи "wb" используется для сохранения кортинок, по умолчанию writeMethod установлен как "w", что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок 1. Функция **get_static_page** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок
```python ```python
from ipars import Pars from ipars import Pars
p = Pars() p = Pars()
@@ -25,15 +24,16 @@ headers ={
"Accept": "*/*", "Accept": "*/*",
"User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1" "User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1"
} }
# Делаем запрос к сайту и записываем статус ответа в переменную # Делаем запрос к сайту и записываем статус ответа в переменную
status_response = p.get_static_page('https://google.com', './index.html', headers=headers) status_response = p.get_static_page('https://google.com', './index.html', headers=headers)
if status_response == 404: if status_response == 404:
print('Страница не найдена') print('Страница не найдена')
``` ```
2. Функция **get_dinamic_page** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения и closeWindow. По умолчанию браузер Selenium открывается в фоновом режиме и работу браузара не видно, но если closeWindow указать как False, то будет видень процес выполнения кода 2. Функция **get_dynamic_page** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения и closeWindow. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода
3. Функция **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml) 3. Функция **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml)
```py ```py
from ipars import Pars from ipars import Pars
p = Pars() p = Pars()
@@ -44,9 +44,9 @@ soup = p.returnBs4Object('./index.html')
allImage = soup.find_all('img') allImage = soup.find_all('img')
``` ```
4. Метод **loadJson** используется для получения данных из json файла по указанному пути. 4. Метод loadJson используется для получения данных из json-файла по указанному пути
5. Метод **dumpJson** используется для записи данных в json файл. Принимает данные для записи и путь до файла 5. Метод dumpJson используется для записи данных в json-файл. Принимает данные для записи и путь до файла
```py ```py
from ipars import Pars from ipars import Pars