Добавлено описание getAttributes и getTexts
This commit is contained in:
Ilia Miheev
@@ -2,7 +2,7 @@
|
|||||||
|
|
||||||
Во время парсинга часто приходится скачивать html-страницы, работать с json- и csv-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач. Библиотека создавалась для удобства работы во время парсинга, но ничто не мешает использовать её просто для работы с json и csv.
|
Во время парсинга часто приходится скачивать html-страницы, работать с json- и csv-файлами. Эта библиотека призвана облегчить написание кода для такого рода задач. Библиотека создавалась для удобства работы во время парсинга, но ничто не мешает использовать её просто для работы с json и csv.
|
||||||
|
|
||||||
В библиотеке есть три класса для отдельных работ: Pars для получения данных из Интернета, JsonManager для работы с json и CsvManager для работы с csv.
|
В библиотеке есть три класса для отдельных работ: Pars для работы с запросами и bs4, JsonManager для работы с json и CsvManager для работы с csv.
|
||||||
|
|
||||||
Установить библиотеку:
|
Установить библиотеку:
|
||||||
|
|
||||||
@@ -10,8 +10,6 @@
|
|||||||
pip install ipars
|
pip install ipars
|
||||||
```
|
```
|
||||||
|
|
||||||
Рассмотрим каждый класс детальнее.
|
|
||||||
|
|
||||||
## Работа с Pars
|
## Работа с Pars
|
||||||
|
|
||||||
Класс Pars не принимает никаких данных для конструкторов.
|
Класс Pars не принимает никаких данных для конструкторов.
|
||||||
@@ -23,27 +21,35 @@ from ipars import Pars
|
|||||||
p = Pars()
|
p = Pars()
|
||||||
```
|
```
|
||||||
|
|
||||||
### Коротко о методах
|
### Коротко о методах:
|
||||||
|
1. Метод **getStaticPage** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Метод возвращает статус ответа сайта, что должно использоваться для введения проверок
|
||||||
|
|
||||||
1. Функция **getStaticPage** принимает url страницы, путь, по которому сохранится страница, метод записи и заголовки запроса. Метод записи «wb» используется для сохранения картинок, по умолчанию writeMethod установлен как «w», что используется для html-страниц. Если заголовки запросов не указаны, то будут использоваться встроенные, но при желании можно указать свои. Функция возвращает статус ответа сайта, что должно использоваться для введения проверок
|
2. Метод **getDynamicPage** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения, closeWindow и timeSleep. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода. С помощью timeSleep можно увеличить время загрузки страницы если контент на ней долго подгружается
|
||||||
|
|
||||||
2. Функция **getDynamicPage** с помощью библиотеки Selenium получает динамически обновляемую страницу. Это помогает, когда контент на странице подгружается динамически. Принимает url страницы, путь сохранения, closeWindow и timeSleep. По умолчанию браузер Selenium открывается в фоновом режиме, и работу браузера не видно, но если closeWindow указать как False, то будет виден процесс выполнения кода. С помощью timeSleep можно увеличить время загрузки страницы если контент на ней долго подгружается
|
3. Метод **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml).
|
||||||
|
|
||||||
3. Функция **returnBs4Object** возвращает объект beautifulsoup4. Принимает путь до html-страницы, содержимое которой преобразует в объект beautifulsoup, кодировку открытия файла (по умолчанию UTF-8) и тип парсера (по умолчанию lxml).
|
4. Метод **getAttributes** нужена чтобы получить список атрибутов из списка объектов bs4. Принимает список объектов bs4 и название атрибута который будет извлекаться из элементов списка
|
||||||
|
|
||||||
|
5. Метод **getTexts** нужена чтобы получить список текста из списка объектов bs4. Принимает список объектов bs4 и параметр needFix. Если этот параметр установлен как True, то из текста будут удалены \n, \t и пробелы с концов
|
||||||
|
|
||||||
|
6. Метод **pprint** используется для вывода значений переменных у которых большая вложеность. Например, если у Вас есть массив объектов, где в качестве значения ключа используется другой массив объектов
|
||||||
|
|
||||||
Пример скачивания html-страницы:
|
Пример скачивания html-страницы:
|
||||||
|
|
||||||
```py
|
```py
|
||||||
from ipars import Pars
|
from ipars import Pars
|
||||||
p = Pars()
|
p = Pars()
|
||||||
|
|
||||||
# Заголовки для запроса
|
# Заголовки для запроса
|
||||||
headers ={
|
headers ={
|
||||||
"Accept": "*/*",
|
"Accept": "*/*",
|
||||||
"User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1"
|
"User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1"
|
||||||
}
|
}
|
||||||
p.get_static_page('./index.html', 'https://google.com', headers=headers)
|
p.getStaticPage('./index.html', 'https://google.com', headers=headers)
|
||||||
|
|
||||||
# Получаем объект beautifulsoup из полученной страницы
|
# Получаем объект beautifulsoup из полученной страницы
|
||||||
soup = p.returnBs4Object('./index.html')
|
soup = p.returnBs4Object('./index.html')
|
||||||
|
|
||||||
# Используем методы beautifulsoup
|
# Используем методы beautifulsoup
|
||||||
allImage = soup.find_all('img')
|
allImage = soup.find_all('img')
|
||||||
for image in allImage:
|
for image in allImage:
|
||||||
@@ -57,14 +63,30 @@ from ipars import Pars
|
|||||||
p = Pars()
|
p = Pars()
|
||||||
|
|
||||||
# Получаем картинку
|
# Получаем картинку
|
||||||
p.get_static_page(
|
p.getStaticPage(
|
||||||
pathToSaveFile="./logo.png",
|
pathToSaveFile="./logo.png",
|
||||||
# Возможно в будущем, эта картинка переместится на другое место и пример перестанет работать 👉👈
|
# Возможно в будущем, эта картинка переместится в другое место и пример перестанет работать 👉👈
|
||||||
url="https://cdn.sstatic.net/Sites/stackoverflow/Img/icon-48.png?v=b7e36f88ff92",
|
url="https://cdn.sstatic.net/Sites/stackoverflow/Img/icon-48.png?v=b7e36f88ff92",
|
||||||
writeMethod='wb'
|
writeMethod='wb'
|
||||||
)
|
)
|
||||||
```
|
```
|
||||||
|
|
||||||
|
Пример использование методов *getAttributes* и *getTexts*
|
||||||
|
|
||||||
|
```py
|
||||||
|
from ipars import Pars
|
||||||
|
p = Pars()
|
||||||
|
|
||||||
|
p.getStaticPage('./index.html', 'https://google.com')
|
||||||
|
soup = p.returnBs4Object('./index.html')
|
||||||
|
|
||||||
|
allTegA = soup.find_all('a')
|
||||||
|
a1 = p.getTexts(allTegA, needFix=1)
|
||||||
|
p.pprint(a1)
|
||||||
|
|
||||||
|
a2 = p.getAttributes(allTegA, 'href')
|
||||||
|
p.pprint(a2)
|
||||||
|
```
|
||||||
## Работа с JsonManager
|
## Работа с JsonManager
|
||||||
|
|
||||||
JsonManager принимает принимает только один аргумент — кодировку в которой будут читаться файлы. По умолчанию это UTF-8
|
JsonManager принимает принимает только один аргумент — кодировку в которой будут читаться файлы. По умолчанию это UTF-8
|
||||||
@@ -81,7 +103,7 @@ j = JsonManager()
|
|||||||
|
|
||||||
2. Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи
|
2. Метод **dump** используется для записи данных в json-файл. Принимает путь до файла и данные для записи
|
||||||
|
|
||||||
3. Метод **pprint** используется для вывода значений переменных у которых большая вложеность. Например, если у Вас есть массив объектов, где в качестве значения ключа используется другой массив объектов
|
3. Метод **pprint** такой же как и у Pars
|
||||||
|
|
||||||
```py
|
```py
|
||||||
from ipars import JsonManager
|
from ipars import JsonManager
|
||||||
@@ -95,7 +117,7 @@ j.pprint(data) # [1, 2, 3, 4, 5, 6, 7]
|
|||||||
|
|
||||||
## Работа с CsvManager
|
## Работа с CsvManager
|
||||||
|
|
||||||
Класс CsvManager принимает три аргумента: символ переноса на новую строку "newline" (по умолчанию — это пустая строка), кодировку открываемых файлов "encoding" (по умолчанию UTF-8) и разделитель который используется в csv файле "delimiter" (по умолчанию ";")
|
Класс CsvManager принимает три аргумента: символ переноса на новую строку *newline* (по умолчанию — это пустая строка), кодировку открываемых файлов *encoding* (по умолчанию UTF-8) и разделитель который используется в csv файле *delimiter* (по умолчанию ";")
|
||||||
|
|
||||||
```py
|
```py
|
||||||
|
|
||||||
@@ -112,7 +134,7 @@ c = CsvManager()
|
|||||||
|
|
||||||
3. Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки
|
3. Метод **getRows** используется для получения списка строк в csv файле. Метод принимает путь до файла откуда будут получены строки
|
||||||
|
|
||||||
4. Метод **pprint** такой же как и у JsonManager
|
4. Метод **pprint** такой же как и у Pars
|
||||||
|
|
||||||
```py
|
```py
|
||||||
from ipars import CsvManager
|
from ipars import CsvManager
|
||||||
|
|||||||
Reference in New Issue
Block a user