Вопрос по гуглу

[Fine]

Всем привет. У меня такой вопрос возник. Хочу напарсить таргетов с дорок, делаю через свой парсер. Гугл выдает мол у меня там 10к линков выдача, но я не могу просто взять и спарсить их все, потому что в какой то момент, где то на 10-20 странице (я не считал, но сканер работает, работает, а потом вдруг перестает) гугл просто останавливает выдачу почему то. То есть я не могу вообще никак напарсить все 100500 линков, даже просто через браузер? Или есть какие то варианты?

 

[Abonent]

Скорее всего ошибка гугла. Ну или же он сам отменяет.

 

[Fine]

Ну я типо даже ручками скроллил, он действительно останавливал выдачу в какой то момент. Причем скроллил я не долго.

 

[xargs]

Выборка сильно ограничена чтоб не сдампили весь гугол, но можно немного обойти если указывать дополнительные фильтры через расширенный поиск и добавляя ключевое слово. Вывод всегда будет ограничен в 10-15 страниц но за счет ключевика это всегда будет другой вывод.

Google предоставляет ряд операторов и ключевых слов, которые позволяют выполнить более точный и расширенный поиск. Вот некоторые из них:

1. **Кавычки** (" "): Поиск точной фразы. Например, "как настроить Wi-Fi".

2. **Минус (-):** Исключение слова из поиска. Например, "Яблоко -фрукт".

3. **Сайт (site:** Ограничение поиска определенным сайтом. Например, "Python site:stackoverflow.com".

4. **Файл (filetype:** Поиск файлов конкретного типа. Например, "рецепт пирога filetype:pdf".

5. **Связанные (related:** Поиск сайтов, аналогичных указанному. Например, "related:wikipedia.org".

6. **Контент (intext:** Поиск страниц, содержащих определенный текст. Например, "рекурсивный алгоритм intext:пример".

7. **Заголовок (intitle:** Поиск страниц с определенным заголовком. Например, "intitle:как варить рис".

8. **Ссылка (link:** Поиск страниц, связанных с определенной ссылкой. Например, "link:https://www.example.com".

9. **Определение (define:** Получение определения слова. Например, "define:интеллект".

10. **Карта (map:** Поиск карты определенного местоположения. Например, "map:Нью-Йорк".

Это лишь некоторые из операторов, которые можно использовать для расширения возможностей поиска в Google.

 

[Fine]

Выборка сильно ограничена чтоб не сдампили весь гугол, но можно немного обойти если указывать дополнительные фильтры через расширенный поиск и добавляя ключевое слово. Вывод всегда будет ограничен в 10-15 страниц но за счет ключевика это всегда будет другой вывод.

Ну я так и подумал изначально делать. Просто надеялся, что есть возможно другой путь. Ну, видимо нет.

 

[shears]

гугл не парсится так. делай очень много запросов
buy viagra
buy viagra site:uk
buy viagra site:com
buy viagra site:com intitle:buy
buy viagra site:com inurl:index
как пример вариантов очень много

 

[sed]

Причем скроллил я не долго.

Интересно, может дело в айпи? Сколько результатов тебе отдает? На все запросы одинаковое количество? Я от щас скоролил - дофига получил..

 

[Fine]

Интересно, может дело в айпи? Сколько результатов тебе отдает? На все запросы одинаковое количество? Я от щас скоролил - дофига получил..

325 вот прям щас попробовал.
Кол-во разное, но +- плавает от 270 до 300+ не больше

 

[mayone]

Выборка сильно ограничена чтоб не сдампили весь гугол, но можно немного обойти если указывать дополнительные фильтры через расширенный поиск и добавляя ключевое слово. Вывод всегда будет ограничен в 10-15 страниц но за счет ключевика это всегда будет другой вывод.

подскажи пожалуйста, как искать по Post запросам через гугл и по кукам , спасибо

 

[xargs]

подскажи пожалуйста, как искать по Post запросам через гугл и по кукам , спасибо

Куки это локальное хранилище, их не может быть в гугле вообще никак. Хорошая попытка троль.

 

[mayone]

Куки это локальное хранилище, их не может быть в гугле вообще никак. Хорошая попытка троль.

ну была же статья по одному движку , там использовался A-parser , он же ка кто выдерает определенные ссылки где используются куки, если я прально понял

Cookie: OCSESSID

просто хотел узнать можно это сделать рукми просто через гугл, какой тролинг?.

 

[Fine]

ну была же статья по одному движку , там использовался A-parser , он же ка кто выдерает определенные ссылки где используются куки, если я прально понял

Cookie: OCSESSID

просто хотел узнать можно это сделать рукми просто через гугл, какой тролинг?.

Ссылки где используются куки?! Скинь пример где он там что парсит, интересно.

 

[mayone]

Ссылки где используются куки?! Скинь пример где он там что парсит, интересно.

да что вы напали) может я не правильно выразился, вот в этой статье смотрел https://xss.pro/threads/105220/
но такого как ты говоришь там нет конечно.

 

[Fine]

да что вы напали) может я не правильно выразился, вот в этой статье смотрел https://xss.pro/threads/105220/
но такого как ты говоришь там нет конечно.

Я не особо шарю за а-парсер, но если я правильно понял - он дает на вход лист доменов, а-парсер берет респонс и парсит в нем куку. Ну это нужно иметь уже готовый лист доменов.

Ну либо а-парсер делает так: берет дорки, парсит выдачу с гугла, заходит на каждый сайт и парсит куку, иначе я хз че это за магия.

 

[xargs]

там использовался A-parser

А-парсер - мощный инструмент для парсинга, по сути ты можешь указать ему чтоб он посещал УРЛы и парсил ответы заголовков в которых есть set-cookie с нужными тебе именами, например чтоб определить какойто конкретный кукис который ставит конкретный например плагин движка. Это нормально. Но сам гугл таким не занимается, он парсит только контент, не заголовки.