Добавлено описание работы с классами WorkWithJson и WorkWithScv

This commit is contained in:
Ilia Miheev
2025-05-01 14:26:49 +03:00
parent fa73484bc7
commit 20b526dde2
+63 -12
View File
@@ -1,12 +1,16 @@
# Библиотека для работы с файлами во время парсинга # Библиотека для работы с файлами во время парсинга
Во время работы часто приходится скачивать html-страницы, работать с json-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач. Во время работы часто приходится скачивать html-страницы, работать с json- и csv-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач.
В библиотеке есть три класса для отдельных работ: Pars для получения данных из Интернета, WorkWithJson для работы с json и WorkWithCsv для работы с csv.
Установить библиотеку: Установить библиотеку:
```bash ```bash
pip install ipars pip install ipars
``` ```
## Пример кода ## Работа с Pars
Класс Pars не принимает никаких данных для конструкторов
```python ```python
# Импортируем библиотеку # Импортируем библиотеку
from ipars import Pars from ipars import Pars
@@ -14,7 +18,7 @@ from ipars import Pars
p = Pars() p = Pars()
``` ```
## Коротко о методах ### Коротко о методах
1. Функция **get_static_page** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок 1. Функция **get_static_page** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок
```python ```python
from ipars import Pars from ipars import Pars
@@ -37,26 +41,73 @@ if status_response == 404:
```py ```py
from ipars import Pars from ipars import Pars
p = Pars() p = Pars()
p.get_static_page('https://google.com', './index.html') p.get_static_page('./index.html', 'https://google.com')
# Получаем объект beautifulsoup из полученной страницы # Получаем объект beautifulsoup из полученной страницы
soup = p.returnBs4Object('./index.html') soup = p.returnBs4Object('./index.html')
# Используем методы beautifulsoup # Используем методы beautifulsoup
allImage = soup.find_all('img') allImage = soup.find_all('img')
``` ```
4. Метод loadJson используется для получения данных из json-файла по указанному пути ## Работа с WorkWithJson
Так же как и Pars, WorkWithJson не принимает данных для конструктора
5. Метод dumpJson используется для записи данных в json-файл. Принимает данные для записи и путь до файла
```py ```py
from ipars import Pars # Импортируем библиотеку
p = Pars() from module import WorkWithJson
# Создаём объект класса
p = WorkWithJson()
```
### Коротко о методах
1. Метод **load** используется для получения данных из json-файла по указанному пути
2. Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи
```py
from module import WorkWithJson
w = WorkWithJson()
# Записываем данные # Записываем данные
p.dumpJson([1,2,3,4,5,6,7], './data.json') w.dump('./data.json',[1,2,3,4,5,6,7])
# Получаем данные # Получаем данные
data = p.loadJson('./data.json') # [1,2,3,4,5,6,7] data = w.load('./data.json')
print(data) # [1,2,3,4,5,6,7]
```
## Работа с WorkWithScv
По умолчанию класс WorkWithScv принимает два аргумента: символ переноса на новую строку "newline" (по умолчанию — это пустая строка), кодировку открываемых файлов "encoding" (по умолчанию cp1251) и разделитель который используется в csv файле "delimiter" (по умолчанию ";")
```py
# Импортируем библиотеку
from ipars import WorkWithScv
# Создаём объект класса
c = WorkWithScv()
```
### Коротко о методах
1. Метод **writerow** записывает строку с csv файл. Метод принимает путь до csv файла, метод записи и список данных которые будут записанн в строку файла
2. Метод **writerows** принимает теже самые аргументы что и writerow, только row должен быть двойным списком с данными для записи. Разница между этими методами в том что writerow записывает одну, а writerows столько сколько есть в двойном списке
3. Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки
```py
from ipars import WorkWithScv
c = WorkWithScv()
writer = c.writerow('./data.csv', 'w', ['Цена', 'Количество', 'Итог'])
writer = myCsv.writerows('./data.csv', 'a', [
["5", "5", "25"],
["6", "6", "36"],
["7", "7", "49"],
])
rows = myCsv.getRows('./data.csv')
print(rows)
for row in rows:
print(row)
``` ```
## License ## License
This project is licensed under the MIT License - see the [LICENSE](LICENSE.txt) file for details. This project is licensed under the MIT License - see the [LICENSE](LICENSE.txt) file for details.