Библиотека Requests для Python позволяет значительно упростить работу с HTTP-запросами. Без такой библиотеки уже сложно представить процесс создания даже простого парсера.
HTTP-запросы являются основой Всемирной паутины. При открытии любой страницы браузер отправляет на сервер большое количество запросов, в ответ передается необходимая информация для отображения нужного контента.
В рамках данного курса будут рассмотрены только основные методы библиотеки Requests. В частности, будут перечислены запросы, предназначенные для организации парсинга нужного контента:
— формирование различных запросов при помощи HTTP-методов;
— редактирование заголовков запросов. Часто возникает необходимость настроить прокси, изменить User-Agent;
— анализ полученных ответов;
— настройка режима работы для минимизации вероятности блокировки со стороны сайта.
Requests – не просто инструмент для отправки запросов. Библиотека содержит огромное количество возможностей для разработки функциональных парсеров со сложной логикой работы. При этом не только обеспечивается выполнение поставленной задачи, но и реализуются необходимые подсистемы безопасности, а также удобство использования.
Основные параметры запроса, передача данных
Библиотека берет на себя все основные этапы передачи информации на сервер и получения ответа. Тело запроса может сразу содержать данные в формате ключ-значение, что расширяет возможности при взаимодействии с онлайн-сервисом
params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://www.example.com', params=params)
Безопасность и аутентификация
Обеспечение безопасности является важным аспектом при использовании любых HTTP-запросов. В рамках Requests предусмотрены необходимые функции и компоненты для защиты данных. Это может быть классическая аутентификация при помощи пароля и логина или более сложные схемы с применением ключей и токенов.
from requests.auth import HTTPBasicAuth
# Указываем логин и пароль
response = requests.get('https://www.example.com', auth=HTTPBasicAuth('user', 'pass'))
Работа с сессиями
Часто необходимо не просто отправить одиночных запрос, а выполнять сложную последовательность действий. В таких ситуациях выручают сессии, которые позволяют хранить между запросами набор данных для сохранения состояния – заголовки, куки и так далее. Это упрощает код и сокращает время работы скрипта.
# Создаем сессию
with requests.Session() as s:
s.get('https://www.example.com/login')
response = s.get('https://www.example.com/data')
Обработка исключений
Работа с сетью неизбежно связана с различными ошибками и сбоями. Библиотека Requests предоставляет необходимые средства для корректной обработки таких ситуаций. Источники проблемы могут быть различными – неустойчивое соединение, блокировка от парсинга, ошибки непосредственно на сервере и другие. Программист должен обеспечить корректную обработку таких исключений, чтобы повысить устойчивость приложения.
Получение развернутых уведомлений о причинах сбоя облегчает работу с кодом, поскольку сразу понятен источник проблемы и способы решения.
try:
response = requests.get('https://www.example.com', timeout=1)
except requests.Timeout:
print("Слишком долгое ожидание!")
except requests.RequestException as e:
print(f"Произошла ошибка: {e}")
Обработка файлов и мультимедиа
Нередко возникает необходимость загружать не только простой текст, но и различные файлы или массивы данных. Простой пример:
# Открываем файл и отправляем его на сервер
with open('file.txt', 'rb') as f:
files = {'file': f}
response = requests.post('https://www.example.com/upload', files=files)
Потоковая передача данных
Для больших объемов данных или работы в режиме реального времени библиотека позволяет реализовать потоковую передачу. К примеру, это может быть полезно при работе со стриминговыми сервисами, для которых обычный режим загрузки использовать не получится. Такая схема обеспечивает стабильное соединение и эффективное использование доступных ресурсов.
# Загрузка файла с сервера по частям
with requests.get('https://www.example.com/file', stream=True) as r:
with open('file.txt', 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
f.write(chunk)