Я зарабатываю на жизнь с помощью веб-скрейпинга уже более 3 лет, заработал свыше $125,000, у меня более 25,000 подписчиков в социальных сетях, и в этом курсе я расскажу точно, как я скрейплю сайты, а также как находить клиентов и расти в социальных сетях.
В курсе я покажу, как скрейпить следующие сайты (и предоставлю вам код):
- TikTok
- Zillow
- Google Search
- Google Maps
- Amazon
- Indeed
- ESPN
- Angi List
- И другие!
Я также расскажу, как я нашел клиентов и набрал более 25,000 подписчиков в социальных сетях (и как вы можете сделать то же самое).
Что внутри курса:
- 9 часов видеоматериалов
- Законность веб-скрейпинга: что нужно знать?
- Скрейперы против хакеров: в чем разница?
- Все сервисы, которые я использую (прокси, языки программирования, серверы, базы данных, пакеты для обхода блокировок)
- Как сайты получают свои данные (как работают API)
- Мой процесс скрейпинга ЛЮБОГО сайта
- Как найти источник данных
- Как избежать блокировки
- Все о прокси
- Скрейпинг по веб-фреймворкам (React, Next.js, статический HTML/серверный рендеринг, ASP.NET, Java)
- Как обратным проектированием обойти сайты с хорошей защитой
- Скрейпинг сайтов с постраничной навигацией по курсору (например, комментарии на YouTube)
- Скрейпинг расширения Chrome для получения бесплатных email-адресов
- Как скрейпить мобильные приложения
- Как искать информацию о людях (поиск телефонных номеров и email-адресов)
- Как запустить Puppeteer на AWS Lambda
- Как перехватывать запросы с помощью Puppeteer
- Решение капч с помощью Puppeteer
- Как найти клиентов для веб-скрейпинга
- Как выставлять счета клиентам
- Идеи продуктов, основанных на веб-скрейпинге
Дисклеймеры:
- Код написан на JavaScript, и я использую Mac с редактором кода VS Code.
- Я только кратко упоминаю Puppeteer (есть гораздо ЛУЧШИЕ способы).
- Веб-скрейпинг — это не магия. Вам нужен источник для скрейпинга (веб-сайт). Например, нельзя скрейпить банковские счета людей или что-то подобное. Это уже относится к взлому, что является другой областью.
Требования:
- Вы должны хорошо понимать JavaScript или какой-либо другой язык программирования, чтобы получить максимальную пользу от этого курса.
- Если вы совсем не умеете программировать, этот курс не для вас.
- В этом курсе я не обучаю основам программирования или JavaScript.