From 589f19a65996d7e5b2fd31c37b0c49f460ae9a2b Mon Sep 17 00:00:00 2001 From: Ilia Miheev Date: Sat, 3 May 2025 16:03:26 +0300 Subject: [PATCH] =?UTF-8?q?=D0=94=D0=BE=D0=BA=D1=83=D0=BC=D0=B5=D0=BD?= =?UTF-8?q?=D1=82=D0=B0=D1=86=D0=B8=D1=8F=20=D0=BF=D1=80=D0=B8=D1=81=D0=BF?= =?UTF-8?q?=D0=BE=D1=81=D0=BE=D0=B1=D0=BB=D0=B5=D0=BD=D0=B0=20=D0=BA=20?= =?UTF-8?q?=D0=BD=D0=BE=D0=B2=D1=8B=D0=BC=20=D0=BD=D0=B0=D0=B7=D0=B2=D0=B0?= =?UTF-8?q?=D0=BD=D0=B8=D1=8F=D0=BC=20=D0=B8=20=D0=B8=D1=81=D0=BF=D1=80?= =?UTF-8?q?=D0=B0=D0=B2=D0=BB=D0=B5=D0=BD=D1=8B=20=D0=BD=D0=B5=D1=82=D0=BE?= =?UTF-8?q?=D1=87=D0=BD=D0=BE=D1=81=D1=82=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 78 +++++++++++++++++++++++++++---------------------------- 1 file changed, 39 insertions(+), 39 deletions(-) diff --git a/README.md b/README.md index 3987200..7773bfa 100644 --- a/README.md +++ b/README.md @@ -2,15 +2,18 @@ Во время работы часто приходится скачивать html-страницы, работать с json- и csv-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач. -В библиотеке есть три класса для отдельных работ: Pars для получения данных из Интернета, WorkWithJson для работы с json и WorkWithCsv для работы с csv. +В библиотеке есть три класса для отдельных работ: Pars для получения данных из Интернета, JsonManager для работы с json и CsvManager для работы с csv. Установить библиотеку: + ```bash pip install ipars ``` ## Работа с Pars + Класс Pars не принимает никаких данных для конструкторов + ```python # Импортируем библиотеку from ipars import Pars @@ -19,8 +22,14 @@ p = Pars() ``` ### Коротко о методах + 1. Функция **get_static_page** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок -```python + +2. Функция **get_dynamic_page** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения и closeWindow. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода + +3. Функция **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml) + +```py from ipars import Pars p = Pars() # Заголовки для запроса @@ -28,35 +37,25 @@ headers ={ "Accept": "*/*", "User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1" } - -# Делаем запрос к сайту и записываем статус ответа в переменную -status_response = p.get_static_page('https://google.com', './index.html', headers=headers) -if status_response == 404: - print('Страница не найдена') -``` - -2. Функция **get_dynamic_page** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения и closeWindow. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода - -3. Функция **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml) -```py -from ipars import Pars -p = Pars() -p.get_static_page('./index.html', 'https://google.com') +p.get_static_page('./index.html', 'https://google.com', headers=headers) # Получаем объект beautifulsoup из полученной страницы soup = p.returnBs4Object('./index.html') # Используем методы beautifulsoup allImage = soup.find_all('img') +for image in allImage: + print(image.get('src')) ``` -## Работа с WorkWithJson -Так же как и Pars, WorkWithJson не принимает данных для конструктора +## Работа с JsonManager + +JsonManager принимает принимает только один аргумент — кодировку в которой будут читаться файлы. По умолчанию это UTF-8 ```py -# Импортируем библиотеку -from module import WorkWithJson -# Создаём объект класса -p = WorkWithJson() +from ipars import JsonManager + +j = JsonManager() ``` + ### Коротко о методах 1. Метод **load** используется для получения данных из json-файла по указанному пути @@ -64,23 +63,24 @@ p = WorkWithJson() 2. Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи ```py -from module import WorkWithJson -w = WorkWithJson() +from ipars import JsonManager +j = JsonManager() # Записываем данные -w.dump('./data.json',[1,2,3,4,5,6,7]) +j.dump('./data.json', [1, 2, 3, 4, 5, 6, 7]) # Получаем данные -data = w.load('./data.json') -print(data) # [1,2,3,4,5,6,7] +data = j.load('./data.json') +print(data) # [1, 2, 3, 4, 5, 6, 7] ``` -## Работа с WorkWithScv -По умолчанию класс WorkWithScv принимает два аргумента: символ переноса на новую строку "newline" (по умолчанию — это пустая строка), кодировку открываемых файлов "encoding" (по умолчанию cp1251) и разделитель который используется в csv файле "delimiter" (по умолчанию ";") +## Работа с CsvManager + +Класс CsvManager принимает три аргумента: символ переноса на новую строку "newline" (по умолчанию — это пустая строка), кодировку открываемых файлов "encoding" (по умолчанию cp1251) и разделитель который используется в csv файле "delimiter" (по умолчанию ";") ```py -# Импортируем библиотеку -from ipars import WorkWithScv -# Создаём объект класса -c = WorkWithScv() + +from ipars import CsvManager + +c = CsvManager() ``` ### Коротко о методах @@ -92,22 +92,22 @@ c = WorkWithScv() 3. Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки ```py -from ipars import WorkWithScv +from ipars import CsvManager -c = WorkWithScv() -writer = c.writerow('./data.csv', 'w', ['Цена', 'Количество', 'Итог']) +c = CsvManager() +writer = c.writerow('./data.csv', 'w', ['Количество', 'Цена', 'Итог']) -writer = myCsv.writerows('./data.csv', 'a', [ +writer = c.writerows('./data.csv', 'a', [ ["5", "5", "25"], ["6", "6", "36"], ["7", "7", "49"], ]) -rows = myCsv.getRows('./data.csv') -print(rows) +rows = c.getRows('./data.csv') for row in rows: print(row) ``` ## License + This project is licensed under the MIT License - see the [LICENSE](LICENSE.txt) file for details.