Асинхронный парсинг

К этому этапу курса вы уже умеете скачивать изображения при помощи bs4 и requests. В этом разделе мы рассмотрим скачивание 100 картинок и сравним скорость асинхронного и синхронного

Aiofiles не умеет творить чудеса; она всего лишь работает асинхронно с вашими файлами. Если вы захотите скачать один большой видеофайл из интернета, вы не добьётесь большей скорости, чем

Если ваша цель — обработать построчно один большой текстовый файл при помощи aiofiles, то, скорее всего, вам следует использовать привычный способ чтения, а именно синхронную функцию open(). Скорость

Установка: Импорт Aiofiles(документация) — отличная библиотека для асинхронного скачивания медиа-файлов из интернета. С её помощью мы можем ускорить загрузку файлов и чтение больших текстовых файлов практически в 10

К этому этапу курса вы уже умеете работать с заголовками запроса, умеете использовать fake_useragent, также умеете работать с прокси и модулем повторных запросов. Давайте теперь напишем эталонный асинхронный

При асинхронном парсинге вы получаете не только высокую скорость сбора данных, но и повышенную вероятность получить бан по IP. Как работать с прокси, мы подробно разобрали в прошлом

В этой части мы разберем на практике как динамически получать разделы и пагинацию и работать со всем этим асинхронно. Сразу хочу предупредить, что все примеры в этом степе

Самая долгожданная часть асинхронного модуля. В этом разделе мы наконец-то напишем свой первый асинхронный парсер, который ускорит сбор информации в десятки раз. Для начала напишем самый простой парсер,

В aiohttp работа с SOCKS отличается от работы с простыми HTTP/HTTPS-прокси, и в этом разделе мы подробно об этом поговорим. Для работы с SOCKS4 и SOCKS5 нам необходимо

Aiohttp поддерживает работу с HTTP и HTTPS, но с SOCKS дела обстоят немного сложнее. В этом этапе мы рассмотрим работу со всеми видами прокси. Код ниже продемонстрирует простое