Улучшен readme
This commit is contained in:
Ilia Miheev
@@ -1,6 +1,6 @@
|
|||||||
## Библиотека для работы с файлами во время парсинга
|
## Библиотека для работы с файлами во время парсинга
|
||||||
|
|
||||||
Во время парсинга часто приходится скачивать html-страницы, работать с json и csv-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач, а так же предоставляет ряд дополнительных возможностей.
|
Во время парсинга часто приходится скачивать html-страницы, работать с json- и csv-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач, а так же предоставляет ряд дополнительных возможностей.
|
||||||
|
|
||||||
Более удобная версия документации на сайте ([ru](https://iliamiheev.github.io/ipars-doc/#/./home), [en](https://iliamiheev.github.io/ipars-doc/#/./pages/en/README_EN))
|
Более удобная версия документации на сайте ([ru](https://iliamiheev.github.io/ipars-doc/#/./home), [en](https://iliamiheev.github.io/ipars-doc/#/./pages/en/README_EN))
|
||||||
|
|
||||||
@@ -10,18 +10,24 @@
|
|||||||
2. **JsonManager** для работы с json
|
2. **JsonManager** для работы с json
|
||||||
3. **CsvManager** для работы с csv
|
3. **CsvManager** для работы с csv
|
||||||
|
|
||||||
#### Так же есть три вспомогательных класса:
|
### Так же есть три вспомогательных класса
|
||||||
|
|
||||||
1. **ProgressBarManager** для создания прогресс-баров
|
1. **ProgressBarManager** для создания прогресс-баров
|
||||||
2. **TimerManager** для засечения времени выполнения определённого кода
|
2. **TimerManager** для засечения времени выполнения определённого кода
|
||||||
3. **ZipManager** для архивации файлов и папок
|
3. **ZipManager** для архивации файлов и папок
|
||||||
|
|
||||||
Установить библиотеку:
|
### Установить библиотеку:
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
pip install ipars
|
pip install ipars
|
||||||
```
|
```
|
||||||
|
|
||||||
|
или
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip3 install ipars
|
||||||
|
```
|
||||||
|
|
||||||
## Навигация
|
## Навигация
|
||||||
|
|
||||||
- [Работа с Pars](#работа-с-pars)
|
- [Работа с Pars](#работа-с-pars)
|
||||||
@@ -44,7 +50,9 @@ pip install ipars
|
|||||||
- [Коротко о методах](#коротко-о-методах-zipmanager)
|
- [Коротко о методах](#коротко-о-методах-zipmanager)
|
||||||
- [Пример использования](#пример-использования-zipmanager)
|
- [Пример использования](#пример-использования-zipmanager)
|
||||||
|
|
||||||
## Работа с Pars
|
### Работа с Pars
|
||||||
|
|
||||||
|
Данный класс предназначен для работы с запросами и полученной html-страницей.
|
||||||
|
|
||||||
Класс Pars не принимает никаких данных для конструкторов.
|
Класс Pars не принимает никаких данных для конструкторов.
|
||||||
|
|
||||||
@@ -56,21 +64,27 @@ p = Pars()
|
|||||||
|
|
||||||
### Коротко о методах Pars:
|
### Коротко о методах Pars:
|
||||||
|
|
||||||
1. Метод **getStaticPage** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться заголовки со случайным user-agent. Метод возвращает статус ответа сайта, что должно использоваться для введения проверок
|
- Метод **getStaticPage** принимает url страницы, путь по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться заголовки со случайным user-agent. Метод возвращает статус ответа сайта, его можно использовать для проверкок.
|
||||||
|
|
||||||
2. Метод **getDynamicPage** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения, closeWindow и timeSleep. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода. С помощью timeSleep можно увеличить время загрузки страницы если контент на ней долго подгружается
|
```python
|
||||||
|
for index, url in enumerate(urlList):
|
||||||
|
if p.getStaticPage(url, f'./page{index}') == 404:
|
||||||
|
print('Не удалось получить страницу: ', url)
|
||||||
|
```
|
||||||
|
|
||||||
3. Метод **gpsa** (get page semi-automatically) похож на метод getDynamicPage, но работает в полуавтоматическом режиме. Он открывает страницу сайта и ждёт пока не будет нажат Enter в терминале. В этот момент можно зарегистрироваться на сайте и/или перейти на нужную вкладку сайта, после чего нажать Enter и метод спарсит страницу. Подходит для лент соцсетей, где неавторизованным пользователям контент ограничен. Принисает такие же аргументы для таких же целей, что и getDynamicPage, за исключением closeWindow
|
- Метод **getDynamicPage** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения, closeWindow и timeSleep. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода. С помощью timeSleep можно увеличить время загрузки страницы если контент на ней долго подгружается
|
||||||
|
|
||||||
4. Метод **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml).
|
- Метод **gpsa** (get page semi-automatically) похож на метод getDynamicPage, но работает в полуавтоматическом режиме. Он открывает страницу сайта и ждёт пока не будет нажат Enter в терминале. В этот момент можно зарегистрироваться на сайте и/или перейти на нужную вкладку сайта, после чего нажать Enter и метод спарсит страницу. Подходит для лент соцсетей, где неавторизованным пользователям контент ограничен. Принисает такие же аргументы для таких же целей, что и getDynamicPage, за исключением closeWindow
|
||||||
|
|
||||||
5. Метод **getAttributes** нужена чтобы получить список атрибутов из списка объектов bs4. Принимает список объектов bs4 и название атрибута который будет извлекаться из элементов списка
|
- Метод **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml).
|
||||||
|
|
||||||
6. Метод **getTexts** нужена чтобы получить список текста из списка объектов bs4. Принимает список объектов bs4 и параметр needFix. Если этот параметр установлен как True, то из текста будут удалены \n, \t и пробелы с концов
|
- Метод **getAttributes** нужена чтобы получить список атрибутов из списка объектов bs4. Принимает список объектов bs4 и название атрибута который будет извлекаться из элементов списка
|
||||||
|
|
||||||
7. Метод **pprint** используется для вывода значений переменных у которых большая вложеность. Например, если у Вас есть массив объектов, где в качестве значения ключа используется другой массив объектов
|
- Метод **getTexts** нужена чтобы получить список текста из списка объектов bs4. Принимает список объектов bs4 и параметр needFix. Если этот параметр установлен как True, то из текста будут удалены \n, \t и пробелы с концов
|
||||||
|
|
||||||
8. Метод **mkdir** используется для создания папки с именем _nameDir_ если она ещё не существует
|
- Метод **pprint** используется для вывода значений переменных у которых большая вложеность. Например, если у Вас есть массив объектов, где в качестве значения ключа используется другой массив объектов
|
||||||
|
|
||||||
|
- Метод **mkdir** используется для создания папки с именем _nameDir_ если она ещё не существует
|
||||||
|
|
||||||
### Пример парсера с использованием ipars:
|
### Пример парсера с использованием ipars:
|
||||||
|
|
||||||
@@ -129,23 +143,25 @@ a2 = p.getAttributes(allTegA, 'href')
|
|||||||
p.pprint(a2)
|
p.pprint(a2)
|
||||||
```
|
```
|
||||||
|
|
||||||
## Работа с JsonManager
|
### Работа с JsonManager
|
||||||
|
|
||||||
JsonManager принимает принимает только один аргумент — кодировку в которой будут читаться файлы. По умолчанию это UTF-8
|
Данный класс предназначен для записи и извлечения информации из json-файлов.
|
||||||
|
|
||||||
|
JsonManager принимает принимает только encoding — кодировку в которой будут читаться файлы (по умолчанию UTF-8)
|
||||||
|
|
||||||
```py
|
```py
|
||||||
from ipars import JsonManager
|
from ipars import JsonManager
|
||||||
|
|
||||||
j = JsonManager()
|
j = JsonManager(encoding="UTF-8")
|
||||||
```
|
```
|
||||||
|
|
||||||
### Коротко о методах JsonManager
|
### Коротко о методах JsonManager
|
||||||
|
|
||||||
1. Метод **load** используется для получения данных из json-файла по указанному пути
|
- Метод **load** используется для получения данных из json-файла по указанному пути
|
||||||
|
|
||||||
2. Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи
|
- Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи
|
||||||
|
|
||||||
3. Метод **pprint** такой же как и у Pars
|
- Метод **pprint** такой же как и у Pars
|
||||||
|
|
||||||
### Пример использования JsonManager
|
### Пример использования JsonManager
|
||||||
|
|
||||||
@@ -162,26 +178,33 @@ data = j.load(nameFile)
|
|||||||
j.pprint(data) # [1, 2, 3, 4, 5, 6, 7]
|
j.pprint(data) # [1, 2, 3, 4, 5, 6, 7]
|
||||||
```
|
```
|
||||||
|
|
||||||
## Работа с CsvManager
|
### Работа с CsvManager
|
||||||
|
|
||||||
Класс CsvManager принимает три аргумента: символ переноса на новую строку _newline_ (по умолчанию — это пустая строка), кодировку открываемых файлов _encoding_ (по умолчанию UTF-8) и разделитель который используется в csv файле _delimiter_ (по умолчанию ";")
|
Данный класс предназначен для записи и извлечения информации из csv-файлов.
|
||||||
|
|
||||||
|
Класс CsvManager принимает три аргумента:
|
||||||
|
|
||||||
|
- newline — символ переноса на новую строку (по умолчанию используется пустая строка)
|
||||||
|
|
||||||
|
- encoding — кодировка открываемых файлов (UTF-8)
|
||||||
|
|
||||||
|
- delimiter — разделитель который используется в csv файле (;)
|
||||||
|
|
||||||
```py
|
```py
|
||||||
|
|
||||||
from ipars import CsvManager
|
from ipars import CsvManager
|
||||||
|
|
||||||
c = CsvManager()
|
c = CsvManager(newline="", encoding="UTF-8", delimiter=";")
|
||||||
```
|
```
|
||||||
|
|
||||||
### Коротко о методах CsvManager
|
### Коротко о методах CsvManager
|
||||||
|
|
||||||
1. Метод **writerow** записывает строку с csv файл. Метод принимает путь до csv файла, метод записи и список данных которые будут записанн в строку файла
|
- Метод **writerow** записывает строку с csv файл. Метод принимает путь до csv файла, метод записи и список данных которые будут записанн в строку файла
|
||||||
|
|
||||||
2. Метод **writerows** принимает теже самые аргументы что и writerow, только row должен быть двойным списком с данными для записи. Разница между этими методами в том что writerow записывает одну, а writerows столько сколько есть в двойном списке
|
- Метод **writerows** принимает теже самые аргументы что и writerow, только row должен быть двойным списком с данными для записи. Разница между этими методами в том что writerow записывает одну строку, а writerows столько сколько есть в двойном списке
|
||||||
|
|
||||||
3. Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки
|
- Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки
|
||||||
|
|
||||||
4. Метод **pprint** такой же как и у Pars
|
- Метод **pprint** такой же как и у Pars
|
||||||
|
|
||||||
### Пример использования CsvManager
|
### Пример использования CsvManager
|
||||||
|
|
||||||
@@ -207,19 +230,19 @@ rows = c.getRows(nameFile)
|
|||||||
c.pprint(rows)
|
c.pprint(rows)
|
||||||
```
|
```
|
||||||
|
|
||||||
## Работа с ProgressBarManager
|
### Работа с ProgressBarManager
|
||||||
|
|
||||||
Класс создаёт прогресс-бар для лучшей видимости выполнения кода. Принимает пять аргументов:
|
Класс создаёт прогресс-бар для для отображения процесса выполнения кода. Принимает пять аргументов:
|
||||||
|
|
||||||
1. **max**: обязательный параметр, который указывает максимальное значение итераций в прогресс-баре
|
- **max**: обязательный параметр, который указывает максимальное значение итераций в прогресс-баре
|
||||||
|
|
||||||
2. **message**: сообщение перед прогресс-баром
|
- **message**: сообщение перед прогресс-баром
|
||||||
|
|
||||||
3. **color**: цвет прогресс-бара
|
- **color**: цвет прогресс-бара
|
||||||
|
|
||||||
4. **fill**: заполнитель для сделанной части
|
- **fill**: заполнитель для выполненой части
|
||||||
|
|
||||||
5. **width**: размер прогресс-бара в символах
|
- **width**: размер прогресс-бара в символах
|
||||||
|
|
||||||
```py
|
```py
|
||||||
from ipars import ProgressBarManager
|
from ipars import ProgressBarManager
|
||||||
@@ -229,9 +252,9 @@ bar = ProgressBarManager(100) # Здесь max установлен как 100
|
|||||||
|
|
||||||
### Коротко о методах ProgressBarManager
|
### Коротко о методах ProgressBarManager
|
||||||
|
|
||||||
1. Метод **next** запускает следущую итерацию прогресс-бара
|
- Метод **next** запускает следущую итерацию прогресс-бара
|
||||||
|
|
||||||
2. Метод **finish** завершает работу прогресс-бара
|
- Метод **finish** завершает работу прогресс-бара
|
||||||
|
|
||||||
### Пример использования ProgressBarManager
|
### Пример использования ProgressBarManager
|
||||||
|
|
||||||
@@ -272,7 +295,7 @@ for _ in range(maxValue):
|
|||||||
bar.finish()
|
bar.finish()
|
||||||
```
|
```
|
||||||
|
|
||||||
## Работа с TimerManager
|
### Работа с TimerManager
|
||||||
|
|
||||||
Класс TimerManager предназначен для отслеживания времени выполнения кода. Он позволяет получить общее время работы в различных форматах.
|
Класс TimerManager предназначен для отслеживания времени выполнения кода. Он позволяет получить общее время работы в различных форматах.
|
||||||
|
|
||||||
@@ -284,11 +307,11 @@ t = TimerManager()
|
|||||||
|
|
||||||
### Коротко о методах TimerManager
|
### Коротко о методах TimerManager
|
||||||
|
|
||||||
1. Метод **start** — точка начала отсчёта времени
|
- Метод **start** — точка начала отсчёта времени
|
||||||
|
|
||||||
2. Метод **end** — конечная точка отсчёта времени
|
- Метод **end** — конечная точка отсчёта времени
|
||||||
|
|
||||||
3. Метод **getWorkTime** возвращает общее время работы в указанном формате. Поддерживаемые форматы: _seconds_, _minutes_, _hours_. Параметр _ndigits_ указывает количество знаков после запятой для округления, по умолчанию число не округляется.
|
- Метод **getWorkTime** возвращает общее время работы в указанном формате. Поддерживаемые форматы: _seconds_, _minutes_, _hours_. Параметр _ndigits_ указывает количество знаков после запятой для округления, по умолчанию число не округляется.
|
||||||
|
|
||||||
### Пример использования TimerManager
|
### Пример использования TimerManager
|
||||||
|
|
||||||
@@ -308,17 +331,17 @@ print(f"Время работы в минутах: {t.getWorkTime(ndigits=2, for
|
|||||||
print(f"Время работы в часах: {t.getWorkTime(ndigits=4, format='hours')}") # 0.0006
|
print(f"Время работы в часах: {t.getWorkTime(ndigits=4, format='hours')}") # 0.0006
|
||||||
```
|
```
|
||||||
|
|
||||||
## Работа с ZipManager
|
### Работа с ZipManager
|
||||||
|
|
||||||
Класс ZipManager нужен для архивации папоки файлов. Он принимает принимает только один аргумент — уровень сжатия файлов.
|
Класс ZipManager нужен для архивации папоки файлов. Он принимает принимает только один аргумент — один из возможных уровней сжатия:
|
||||||
|
|
||||||
'none' => Без сжатия
|
- none — без сжатия
|
||||||
|
|
||||||
'normal' => Обычное сжатие
|
- normal — обычное сжатие
|
||||||
|
|
||||||
'hard' => Увеличенное сжатие
|
- hard — увеличенное сжатие
|
||||||
|
|
||||||
'maximum' => Максимальное сжатие
|
- maximum — максимальное сжатие
|
||||||
|
|
||||||
```py
|
```py
|
||||||
from ipars import ZipManager
|
from ipars import ZipManager
|
||||||
@@ -328,9 +351,9 @@ z = ZipManager()
|
|||||||
|
|
||||||
### Коротко о методах ZipManager
|
### Коротко о методах ZipManager
|
||||||
|
|
||||||
1. Метод **zip_file** используется для архивирования одного файла. Принимает путь до исходного файла и путь выходного файла
|
- Метод **zip_file** используется для архивирования одного файла. Принимает путь до исходного файла и путь выходного файла
|
||||||
|
|
||||||
2. Метод **zip_folder** используется для архивирования каталога. Принимает путь до исходного каталога и путь выходного файла
|
- Метод **zip_folder** используется для архивирования каталога. Принимает путь до исходного каталога и путь выходного файла
|
||||||
|
|
||||||
### Пример использования ZipManager
|
### Пример использования ZipManager
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user