Улучшен контент русской версии сайта

This commit is contained in:
Ilia Miheev
2025-11-11 22:23:43 +03:00
parent b623cb2597
commit ecd29cc149
7 changed files with 60 additions and 46 deletions
+15 -9
View File
@@ -2,43 +2,49 @@
Данный класс предназначен для записи и извлечения информации из csv-файлов. Данный класс предназначен для записи и извлечения информации из csv-файлов.
Класс CsvManager принимает три аргумента:
Класс CsvManager принимает три аргумента: символ переноса на новую строку _newline_ (по умолчанию — это пустая строка), кодировку открываемых файлов _encoding_ (по умолчанию UTF-8) и разделитель который используется в csv файле _delimiter_ (по умолчанию ";") - newline — символ переноса на новую строку (по умолчанию используется пустая строка)
- encoding — кодировка открываемых файлов (UTF-8)
- delimiter — разделитель который используется в csv файле (;)
```py ```py
from ipars import CsvManager from ipars import CsvManager
c = CsvManager() c = CsvManager(newline="", encoding="UTF-8", delimiter=";")
``` ```
### Коротко о методах CsvManager ### Коротко о методах CsvManager
1. Метод **writerow** записывает строку с csv файл. Метод принимает путь до csv файла, метод записи и список данных которые будут записанн в строку файла - Метод **writerow** записывает строку с csv файл. Метод принимает путь до csv файла, метод записи и список данных которые будут записанн в строку файла
2. Метод **writerows** принимает теже самые аргументы что и writerow, только row должен быть двойным списком с данными для записи. Разница между этими методами в том что writerow записывает одну, а writerows столько сколько есть в двойном списке - Метод **writerows** принимает теже самые аргументы что и writerow, только row должен быть двойным списком с данными для записи. Разница между этими методами в том что writerow записывает одну строку, а writerows столько сколько есть в двойном списке
3. Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки - Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки
4. Метод **pprint** такой же как и у Pars - Метод **pprint** такой же как и у Pars
### Пример использования CsvManager ### Пример использования CsvManager
```py ```py
from ipars import CsvManager from ipars import CsvManager
c = CsvManager() c = CsvManager()
nameFile = 'data.csv'
# записываем заголовки # записываем заголовки
writer = c.writerow('./data.csv', 'w', ['Количество', 'Цена', 'Итог']) c.writerow(nameFile, 'w', ['Количество', 'Цена', 'Итог'])
# записываем данные # записываем данные
writer = c.writerows('./data.csv', 'a', [ c.writerows(nameFile, 'a', [
["5", "5", "25"], ["5", "5", "25"],
["6", "6", "36"], ["6", "6", "36"],
["7", "7", "49"], ["7", "7", "49"],
]) ])
# получаем строки из таблицы # получаем строки из таблицы
rows = c.getRows('./data.csv') rows = c.getRows(nameFile)
# выводим строки таблицы # выводим строки таблицы
c.pprint(rows) c.pprint(rows)
+8 -7
View File
@@ -2,32 +2,33 @@
Данный класс предназначен для записи и извлечения информации из json-файлов. Данный класс предназначен для записи и извлечения информации из json-файлов.
JsonManager принимает принимает только один аргумент — кодировку в которой будут читаться файлы. По умолчанию это UTF-8 JsonManager принимает принимает только encoding — кодировку в которой будут читаться файлы (по умолчанию UTF-8)
```py ```py
from ipars import JsonManager from ipars import JsonManager
j = JsonManager() j = JsonManager(encoding="UTF-8")
``` ```
### Коротко о методах JsonManager ### Коротко о методах JsonManager
1. Метод **load** используется для получения данных из json-файла по указанному пути - Метод **load** используется для получения данных из json-файла по указанному пути
2. Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи - Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи
3. Метод **pprint** такой же как и у Pars - Метод **pprint** такой же как и у Pars
### Пример использования JsonManager ### Пример использования JsonManager
```py ```py
from ipars import JsonManager from ipars import JsonManager
j = JsonManager() j = JsonManager()
nameFile = 'data.json'
# Записываем данные # Записываем данные
j.dump('./data.json', [1, 2, 3, 4, 5, 6, 7]) j.dump(nameFile, [1, 2, 3, 4, 5, 6, 7])
# Получаем данные # Получаем данные
data = j.load('./data.json') data = j.load(nameFile)
j.pprint(data) # [1, 2, 3, 4, 5, 6, 7] j.pprint(data) # [1, 2, 3, 4, 5, 6, 7]
``` ```
+18 -11
View File
@@ -12,21 +12,27 @@ p = Pars()
### Коротко о методах Pars: ### Коротко о методах Pars:
1. Метод **getStaticPage** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться заголовки со случайным user-agent. Метод возвращает статус ответа сайта, что должно использоваться для введения проверок - Метод **getStaticPage** принимает url страницы, путь по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться заголовки со случайным user-agent. Метод возвращает статус ответа сайта, его можно использовать для проверкок.
2. Метод **getDynamicPage** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения, closeWindow и timeSleep. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода. С помощью timeSleep можно увеличить время загрузки страницы если контент на ней долго подгружается ```python
for index, url in enumerate(urlList):
if p.getStaticPage(url, f'./page{index}') == 404:
print('Не удалось получить страницу: ', url)
```
3. Метод **gpsa** (get page semi-automatically) похож на метод getDynamicPage, но работает в полуавтоматическом режиме. Он открывает страницу сайта и ждёт пока не будет нажат Enter в терминале. В этот момент можно зарегистрироваться на сайте и/или перейти на нужную вкладку сайта, после чего нажать Enter и метод спарсит страницу. Подходит для лент соцсетей, где неавторизованным пользователям контент ограничен. Принисает такие же аргументы для таких же целей, что и getDynamicPage, за исключением closeWindow - Метод **getDynamicPage** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения, closeWindow и timeSleep. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода. С помощью timeSleep можно увеличить время загрузки страницы если контент на ней долго подгружается
4. Метод **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml). - Метод **gpsa** (get page semi-automatically) похож на метод getDynamicPage, но работает в полуавтоматическом режиме. Он открывает страницу сайта и ждёт пока не будет нажат Enter в терминале. В этот момент можно зарегистрироваться на сайте и/или перейти на нужную вкладку сайта, после чего нажать Enter и метод спарсит страницу. Подходит для лент соцсетей, где неавторизованным пользователям контент ограничен. Принисает такие же аргументы для таких же целей, что и getDynamicPage, за исключением closeWindow
5. Метод **getAttributes** нужена чтобы получить список атрибутов из списка объектов bs4. Принимает список объектов bs4 и название атрибута который будет извлекаться из элементов списка - Метод **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml).
6. Метод **getTexts** нужена чтобы получить список текста из списка объектов bs4. Принимает список объектов bs4 и параметр needFix. Если этот параметр установлен как True, то из текста будут удалены \n, \t и пробелы с концов - Метод **getAttributes** нужена чтобы получить список атрибутов из списка объектов bs4. Принимает список объектов bs4 и название атрибута который будет извлекаться из элементов списка
7. Метод **pprint** используется для вывода значений переменных у которых большая вложеность. Например, если у Вас есть массив объектов, где в качестве значения ключа используется другой массив объектов - Метод **getTexts** нужена чтобы получить список текста из списка объектов bs4. Принимает список объектов bs4 и параметр needFix. Если этот параметр установлен как True, то из текста будут удалены \n, \t и пробелы с концов
8. Метод **mkdir** используется для создания папки с именем _nameDir_ если она ещё не существует - Метод **pprint** используется для вывода значений переменных у которых большая вложеность. Например, если у Вас есть массив объектов, где в качестве значения ключа используется другой массив объектов
- Метод **mkdir** используется для создания папки с именем _nameDir_ если она ещё не существует
### Пример парсера с использованием ipars: ### Пример парсера с использованием ipars:
@@ -37,7 +43,7 @@ p = Pars()
nameFile = 'index.html' nameFile = 'index.html'
# Получаем html страницу # Получаем html страницу
p.getDinamicPage(nameFile, 'https://duckduckgo.com/?q=теплица+социальных+технологий+youtube&iar=videos&atb=v454-1', closeWindow=0) p.getDynamicPage(nameFile, 'https://duckduckgo.com/?q=теплица+социальных+технологий+youtube&iar=videos&atb=v454-1', closeWindow=0)
# Получаем объект BautifullSoup # Получаем объект BautifullSoup
soup = p.returnBs4Object(nameFile) soup = p.returnBs4Object(nameFile)
@@ -72,9 +78,10 @@ bar.finish()
```py ```py
from ipars import Pars from ipars import Pars
p = Pars() p = Pars()
nameFile = 'index.html'
p.getStaticPage('./index.html', 'https://google.com') p.getStaticPage(nameFile, 'https://google.com')
soup = p.returnBs4Object('./index.html') soup = p.returnBs4Object(nameFile)
allTegA = soup.find_all('a') allTegA = soup.find_all('a')
a1 = p.getTexts(allTegA, needFix=1) a1 = p.getTexts(allTegA, needFix=1)
+8 -8
View File
@@ -1,16 +1,16 @@
### Работа с ProgressBarManager ### Работа с ProgressBarManager
Класс создаёт прогресс-бар для лучшей видимости выполнения кода. Принимает пять аргументов: Класс создаёт прогресс-бар для для отображения процесса выполнения кода. Принимает пять аргументов:
1. **max**: обязательный параметр, который указывает максимальное значение итераций в прогресс-баре - **max**: обязательный параметр, который указывает максимальное значение итераций в прогресс-баре
2. **message**: сообщение перед прогресс-баром - **message**: сообщение перед прогресс-баром
3. **color**: цвет прогресс-бара - **color**: цвет прогресс-бара
4. **fill**: заполнитель для сделанной части - **fill**: заполнитель для выполненой части
5. **width**: размер прогресс-бара в символах - **width**: размер прогресс-бара в символах
```py ```py
from ipars import ProgressBarManager from ipars import ProgressBarManager
@@ -20,9 +20,9 @@ bar = ProgressBarManager(100) # Здесь max установлен как 100
### Коротко о методах ProgressBarManager ### Коротко о методах ProgressBarManager
1. Метод **next** запускает следущую итерацию прогресс-бара - Метод **next** запускает следущую итерацию прогресс-бара
2. Метод **finish** завершает работу прогресс-бара - Метод **finish** завершает работу прогресс-бара
### Пример использования ProgressBarManager ### Пример использования ProgressBarManager
+3 -3
View File
@@ -10,11 +10,11 @@ t = TimerManager()
### Коротко о методах TimerManager ### Коротко о методах TimerManager
1. Метод **start** — точка начала отсчёта времени - Метод **start** — точка начала отсчёта времени
2. Метод **end** — конечная точка отсчёта времени - Метод **end** — конечная точка отсчёта времени
3. Метод **getWorkTime** возвращает общее время работы в указанном формате. Поддерживаемые форматы: _seconds_, _minutes_, _hours_. Параметр _ndigits_ указывает количество знаков после запятой для округления, по умолчанию число не округляется. - Метод **getWorkTime** возвращает общее время работы в указанном формате. Поддерживаемые форматы: _seconds_, _minutes_, _hours_. Параметр _ndigits_ указывает количество знаков после запятой для округления, по умолчанию число не округляется.
### Пример использования TimerManager ### Пример использования TimerManager
+7 -7
View File
@@ -1,14 +1,14 @@
### Работа с ZipManager ### Работа с ZipManager
Класс ZipManager нужен для архивации папоки файлов. Он принимает принимает только один аргумент — уровень сжатия файлов. Класс ZipManager нужен для архивации папоки файлов. Он принимает принимает только один аргумент — один из возможных уровней сжатия:
'none' => Без сжатия - noneбез сжатия
'normal' => Обычное сжатие - normalобычное сжатие
'hard' => Увеличенное сжатие - hardувеличенное сжатие
'maximum' => Максимальное сжатие - maximum — максимальное сжатие
```py ```py
from ipars import ZipManager from ipars import ZipManager
@@ -18,9 +18,9 @@ z = ZipManager()
### Коротко о методах ZipManager ### Коротко о методах ZipManager
1. Метод **zip_file** используется для архивирования одного файла. Принимает путь до исходного файла и путь выходного файла - Метод **zip_file** используется для архивирования одного файла. Принимает путь до исходного файла и путь выходного файла
2. Метод **zip_folder** используется для архивирования каталога. Принимает путь до исходного каталога и путь выходного файла - Метод **zip_folder** используется для архивирования каталога. Принимает путь до исходного каталога и путь выходного файла
### Пример использования ZipManager ### Пример использования ZipManager