admin/ipars
1
1
Fork 0
Code Issues 13 Pull Requests Actions Packages Projects Releases Wiki Activity

Документация приспособлена к новым названиям и исправлены неточности

Browse Source
This commit is contained in:
Ilia Miheev
2025-05-03 16:03:26 +03:00
parent ed99931dc2
commit 589f19a659
1 changed files with 39 additions and 39 deletions
Download Patch File Download Diff File Expand all files Collapse all files
README.md
+38 -38
View File
@@ -2,15 +2,18 @@
Во время работы часто приходится скачивать html-страницы, работать с json- и csv-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач. Во время работы часто приходится скачивать html-страницы, работать с json- и csv-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач.
В библиотеке есть три класса для отдельных работ: Pars для получения данных из Интернета, WorkWithJson для работы с json и WorkWithCsv для работы с csv. В библиотеке есть три класса для отдельных работ: Pars для получения данных из Интернета, JsonManager для работы с json и CsvManager для работы с csv.
Установить библиотеку: Установить библиотеку:
```bash ```bash
pip install ipars pip install ipars
``` ```
## Работа с Pars ## Работа с Pars
Класс Pars не принимает никаких данных для конструкторов Класс Pars не принимает никаких данных для конструкторов
```python ```python
# Импортируем библиотеку # Импортируем библиотеку
from ipars import Pars from ipars import Pars
@@ -19,8 +22,14 @@ p = Pars()
``` ```
### Коротко о методах ### Коротко о методах
1. Функция **get_static_page** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок 1. Функция **get_static_page** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок
```python
2. Функция **get_dynamic_page** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения и closeWindow. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода
3. Функция **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml)
```py
from ipars import Pars from ipars import Pars
p = Pars() p = Pars()
# Заголовки для запроса # Заголовки для запроса
@@ -28,35 +37,25 @@ headers ={
"Accept": "*/*", "Accept": "*/*",
"User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1" "User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1"
} }
p.get_static_page('./index.html', 'https://google.com', headers=headers)
# Делаем запрос к сайту и записываем статус ответа в переменную
status_response = p.get_static_page('https://google.com', './index.html', headers=headers)
if status_response == 404:
print('Страница не найдена')
```
2. Функция **get_dynamic_page** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения и closeWindow. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода
3. Функция **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml)
```py
from ipars import Pars
p = Pars()
p.get_static_page('./index.html', 'https://google.com')
# Получаем объект beautifulsoup из полученной страницы # Получаем объект beautifulsoup из полученной страницы
soup = p.returnBs4Object('./index.html') soup = p.returnBs4Object('./index.html')
# Используем методы beautifulsoup # Используем методы beautifulsoup
allImage = soup.find_all('img') allImage = soup.find_all('img')
for image in allImage:
print(image.get('src'))
``` ```
## Работа с WorkWithJson ## Работа с JsonManager
Так же как и Pars, WorkWithJson не принимает данных для конструктора
JsonManager принимает принимает только один аргумент — кодировку в которой будут читаться файлы. По умолчанию это UTF-8
```py ```py
# Импортируем библиотеку from ipars import JsonManager
from module import WorkWithJson
# Создаём объект класса j = JsonManager()
p = WorkWithJson()
``` ```
### Коротко о методах ### Коротко о методах
1. Метод **load** используется для получения данных из json-файла по указанному пути 1. Метод **load** используется для получения данных из json-файла по указанному пути
@@ -64,23 +63,24 @@ p = WorkWithJson()
2. Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи 2. Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи
```py ```py
from module import WorkWithJson from ipars import JsonManager
w = WorkWithJson() j = JsonManager()
# Записываем данные # Записываем данные
w.dump('./data.json',[1,2,3,4,5,6,7]) j.dump('./data.json', [1, 2, 3, 4, 5, 6, 7])
# Получаем данные # Получаем данные
data = w.load('./data.json') data = j.load('./data.json')
print(data) # [1, 2, 3, 4, 5, 6, 7] print(data) # [1, 2, 3, 4, 5, 6, 7]
``` ```
## Работа с WorkWithScv ## Работа с CsvManager
По умолчанию класс WorkWithScv принимает два аргумента: символ переноса на новую строку "newline" (по умолчанию — это пустая строка), кодировку открываемых файлов "encoding" (по умолчанию cp1251) и разделитель который используется в csv файле "delimiter" (по умолчанию ";")
Класс CsvManager принимает три аргумента: символ переноса на новую строку "newline" (по умолчанию — это пустая строка), кодировку открываемых файлов "encoding" (по умолчанию cp1251) и разделитель который используется в csv файле "delimiter" (по умолчанию ";")
```py ```py
# Импортируем библиотеку
from ipars import WorkWithScv from ipars import CsvManager
# Создаём объект класса
c = WorkWithScv() c = CsvManager()
``` ```
### Коротко о методах ### Коротко о методах
@@ -92,22 +92,22 @@ c = WorkWithScv()
3. Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки 3. Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки
```py ```py
from ipars import WorkWithScv from ipars import CsvManager
c = WorkWithScv() c = CsvManager()
writer = c.writerow('./data.csv', 'w', ['Цена', 'Количество', 'Итог']) writer = c.writerow('./data.csv', 'w', ['Количество', 'Цена', 'Итог'])
writer = myCsv.writerows('./data.csv', 'a', [ writer = c.writerows('./data.csv', 'a', [
["5", "5", "25"], ["5", "5", "25"],
["6", "6", "36"], ["6", "6", "36"],
["7", "7", "49"], ["7", "7", "49"],
]) ])
rows = myCsv.getRows('./data.csv') rows = c.getRows('./data.csv')
print(rows)
for row in rows: for row in rows:
print(row) print(row)
``` ```
## License ## License
This project is licensed under the MIT License - see the [LICENSE](LICENSE.txt) file for details. This project is licensed under the MIT License - see the [LICENSE](LICENSE.txt) file for details.