Добавлено описание работы с классами WorkWithJson и WorkWithScv
This commit is contained in:
@@ -1,12 +1,16 @@
|
|||||||
# Библиотека для работы с файлами во время парсинга
|
# Библиотека для работы с файлами во время парсинга
|
||||||
|
|
||||||
Во время работы часто приходится скачивать html-страницы, работать с json-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач.
|
Во время работы часто приходится скачивать html-страницы, работать с json- и csv-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач.
|
||||||
|
|
||||||
|
В библиотеке есть три класса для отдельных работ: Pars для получения данных из Интернета, WorkWithJson для работы с json и WorkWithCsv для работы с csv.
|
||||||
|
|
||||||
Установить библиотеку:
|
Установить библиотеку:
|
||||||
```bash
|
```bash
|
||||||
pip install ipars
|
pip install ipars
|
||||||
```
|
```
|
||||||
|
|
||||||
## Пример кода
|
## Работа с Pars
|
||||||
|
Класс Pars не принимает никаких данных для конструкторов
|
||||||
```python
|
```python
|
||||||
# Импортируем библиотеку
|
# Импортируем библиотеку
|
||||||
from ipars import Pars
|
from ipars import Pars
|
||||||
@@ -14,7 +18,7 @@ from ipars import Pars
|
|||||||
p = Pars()
|
p = Pars()
|
||||||
```
|
```
|
||||||
|
|
||||||
## Коротко о методах
|
### Коротко о методах
|
||||||
1. Функция **get_static_page** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок
|
1. Функция **get_static_page** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок
|
||||||
```python
|
```python
|
||||||
from ipars import Pars
|
from ipars import Pars
|
||||||
@@ -37,26 +41,73 @@ if status_response == 404:
|
|||||||
```py
|
```py
|
||||||
from ipars import Pars
|
from ipars import Pars
|
||||||
p = Pars()
|
p = Pars()
|
||||||
p.get_static_page('https://google.com', './index.html')
|
p.get_static_page('./index.html', 'https://google.com')
|
||||||
# Получаем объект beautifulsoup из полученной страницы
|
# Получаем объект beautifulsoup из полученной страницы
|
||||||
soup = p.returnBs4Object('./index.html')
|
soup = p.returnBs4Object('./index.html')
|
||||||
# Используем методы beautifulsoup
|
# Используем методы beautifulsoup
|
||||||
allImage = soup.find_all('img')
|
allImage = soup.find_all('img')
|
||||||
```
|
```
|
||||||
|
|
||||||
4. Метод loadJson используется для получения данных из json-файла по указанному пути
|
## Работа с WorkWithJson
|
||||||
|
Так же как и Pars, WorkWithJson не принимает данных для конструктора
|
||||||
5. Метод dumpJson используется для записи данных в json-файл. Принимает данные для записи и путь до файла
|
|
||||||
|
|
||||||
```py
|
```py
|
||||||
from ipars import Pars
|
# Импортируем библиотеку
|
||||||
p = Pars()
|
from module import WorkWithJson
|
||||||
|
# Создаём объект класса
|
||||||
|
p = WorkWithJson()
|
||||||
|
```
|
||||||
|
### Коротко о методах
|
||||||
|
|
||||||
|
1. Метод **load** используется для получения данных из json-файла по указанному пути
|
||||||
|
|
||||||
|
2. Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи
|
||||||
|
|
||||||
|
```py
|
||||||
|
from module import WorkWithJson
|
||||||
|
w = WorkWithJson()
|
||||||
# Записываем данные
|
# Записываем данные
|
||||||
p.dumpJson([1,2,3,4,5,6,7], './data.json')
|
w.dump('./data.json',[1,2,3,4,5,6,7])
|
||||||
# Получаем данные
|
# Получаем данные
|
||||||
data = p.loadJson('./data.json') # [1,2,3,4,5,6,7]
|
data = w.load('./data.json')
|
||||||
|
print(data) # [1,2,3,4,5,6,7]
|
||||||
|
```
|
||||||
|
|
||||||
|
## Работа с WorkWithScv
|
||||||
|
По умолчанию класс WorkWithScv принимает два аргумента: символ переноса на новую строку "newline" (по умолчанию — это пустая строка), кодировку открываемых файлов "encoding" (по умолчанию cp1251) и разделитель который используется в csv файле "delimiter" (по умолчанию ";")
|
||||||
|
|
||||||
|
```py
|
||||||
|
# Импортируем библиотеку
|
||||||
|
from ipars import WorkWithScv
|
||||||
|
# Создаём объект класса
|
||||||
|
c = WorkWithScv()
|
||||||
|
```
|
||||||
|
|
||||||
|
### Коротко о методах
|
||||||
|
|
||||||
|
1. Метод **writerow** записывает строку с csv файл. Метод принимает путь до csv файла, метод записи и список данных которые будут записанн в строку файла
|
||||||
|
|
||||||
|
2. Метод **writerows** принимает теже самые аргументы что и writerow, только row должен быть двойным списком с данными для записи. Разница между этими методами в том что writerow записывает одну, а writerows столько сколько есть в двойном списке
|
||||||
|
|
||||||
|
3. Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки
|
||||||
|
|
||||||
|
```py
|
||||||
|
from ipars import WorkWithScv
|
||||||
|
|
||||||
|
c = WorkWithScv()
|
||||||
|
writer = c.writerow('./data.csv', 'w', ['Цена', 'Количество', 'Итог'])
|
||||||
|
|
||||||
|
writer = myCsv.writerows('./data.csv', 'a', [
|
||||||
|
["5", "5", "25"],
|
||||||
|
["6", "6", "36"],
|
||||||
|
["7", "7", "49"],
|
||||||
|
])
|
||||||
|
|
||||||
|
rows = myCsv.getRows('./data.csv')
|
||||||
|
print(rows)
|
||||||
|
for row in rows:
|
||||||
|
print(row)
|
||||||
```
|
```
|
||||||
|
|
||||||
## License
|
## License
|
||||||
|
|
||||||
This project is licensed under the MIT License - see the [LICENSE](LICENSE.txt) file for details.
|
This project is licensed under the MIT License - see the [LICENSE](LICENSE.txt) file for details.
|
||||||
|
|||||||
Reference in New Issue
Block a user