У гугла есть замечательный язык программирования (Apps Script), который позволяет писать скрипты под google sheets и несложный бекенд. Замечательный он тем, что гугл позволяет делать запросы через его сервера, соответственно, c гугловых айпишников. Лимиты при этом – до 10к запросов с одного аккаунта в день.
Итак, меньше слов, приступаем к сетапу урла для запросов, под капотом которого и будет проксирование.
1) Первым делом переходим в гугл доку, открываем Расширения -> Apps Script
2) Добавляем скрипт, который собственно и отвечает за проксирование:
const doGet = (event = {}) => {
const { parameter } = event;
const url = parameter[‘url’];
var request = UrlFetchApp.fetch(url);
var content = request.getContentText();
const json = { ‘content’: content };
return ContentService.createTextOutput(JSON.stringify(json)).setMimeType(ContentService.MimeType.JSON);
};
3) Тыкаем кнопку Сохранения и кнопку Начать Развертывание, выбираем Новое Развертывание:
4) В пункте, У Кого Есть Доступ выбираем Все, чтобы делать запросы с внешних клиентов в будущем, тыкаем Начать Разветрывание:
5) Копируем URL Веб-Приложения, добавляем в конец урла ?url=(тут будет ваш урл для парса)
6) Добавляем урл, контент с которого хотим спарсить
Вуаля, получаем json c полем content, в котором код нужной вам страницы, парс был выполнен с айпи гугла:
Часто использовал этот метод для парса сайтов по типу https://coinmarketcap.com/, что позволило без затрат на прокси достать все листинги монеток, их сайты и собрать огромную базу крипто дропов.
Пишите свои клиенты и пользуйтесь, товарищи 🙂
0 Comments