Интересен скрэйпинг сайта (торговой площадки)

[r3d1r3ct]

Добрый вечер, ребят.
Бэкграунд:
есть торговая площадка X, есть акк зареганный на этой площадке (который дает доступ к инфе продавцов), есть тысячи объявлений, в которых море полезной инфы.

Задача: активный скрейпер, который пройдет по заданным заголовкам (например Люкс машины). Откроет доступные объявления и с каждого вытянет Имя (если есть), номер телефона (если есть) и добавет в .csv в правильном разделе (в нашем примере будет раздел "лакшери машины", например).

Я думаю, что такие решения на форуме есть но поиск ("scraper") привел к смешанным результатам.

На нашем форуме есть люди с (богатым?) опытом по скрейперам? Есть ли готовые решения за копеечку? В какую дверь посоветовали бы постучаться?

Если кому-нибудь интересно или есть инфа по топику - буду очень рад.

 

[Dota2]

Good evening, guys.
Background:
there is a trading platform X, there is an account registered on this platform (which gives access to sellers' information), there are thousands of ads, which contain a sea of useful information.

Task: an active scraper that will go through the specified headings (for example, Luxury cars). It will open the available ads and from each one it will extract the Name (if any), phone number (if any) and add it to .csv in the correct section (in our example, it will be the section "luxury cars", for example).

I think there are such solutions on the forum, but a search ("scraper") yielded mixed results.

Are there people on our forum with (rich?) experience with scrapers? Are there ready-made solutions for a penny? Which door would you recommend knocking on?

If anyone is interested or has any information on the topic, I would be very glad.

i am interested feel free to pm me your discord or tox or jabber

 

[polishcool]

Добрый вечер, ребят.
Бэкграунд:
есть торговая площадка X, есть акк зареганный на этой площадке (который дает доступ к инфе продавцов), есть тысячи объявлений, в которых море полезной инфы.

Задача: активный скрейпер, который пройдет по заданным заголовкам (например Люкс машины). Откроет доступные объявления и с каждого вытянет Имя (если есть), номер телефона (если есть) и добавет в .csv в правильном разделе (в нашем примере будет раздел "лакшери машины", например).

Я думаю, что такие решения на форуме есть но поиск ("scraper") привел к смешанным результатам.

На нашем форуме есть люди с (богатым?) опытом по скрейперам? Есть ли готовые решения за копеечку? В какую дверь посоветовали бы постучаться?

Если кому-нибудь интересно или есть инфа по топику - буду очень рад.

Это ты планируешь сделать скрытие вин номеров) делается легко и выгружается в формате json на свой же сайт. Сложного там ничего нет особо и цена Макс этого чуда до 500-800 баксов за сайт рабочий. Проблема стоит всегда больше в индексации Гуглом машин и номеров вин с фото. Это уже сложнее прописать и нужно с этим повозится.

 

[polishcool]

Тема хорошая, может принести деньги нооо.. будь готов к ддосу и конкурентам. Большая часть конкурентов даже не понимают как их же сайты работают это если мы берем ЕС. Другая же часть снесет такой сайт в три клика. Доход на сайте при должном трафике через пару месяцев в день порядка 30-50 евро

 

[AGN]

Добрый вечер, ребят.
Бэкграунд:
есть торговая площадка X, есть акк зареганный на этой площадке (который дает доступ к инфе продавцов), есть тысячи объявлений, в которых море полезной инфы.

Задача: активный скрейпер, который пройдет по заданным заголовкам (например Люкс машины). Откроет доступные объявления и с каждого вытянет Имя (если есть), номер телефона (если есть) и добавет в .csv в правильном разделе (в нашем примере будет раздел "лакшери машины", например).

Я думаю, что такие решения на форуме есть но поиск ("scraper") привел к смешанным результатам.

На нашем форуме есть люди с (богатым?) опытом по скрейперам? Есть ли готовые решения за копеечку? В какую дверь посоветовали бы постучаться?

Если кому-нибудь интересно или есть инфа по топику - буду очень рад.

в простонародье нужный тебе софт называют парсером, и вряд ли он есть под твой «сайт Х», ну если только ты не откроешь его лицо.

написать парсер по твоему ТЗ возможно, но стоимость будет зависить от таргета. можешь связаться со мной в ПМ, придумаем что-нибудь.

 

[r3d1r3ct]

Тема хорошая, может принести деньги нооо.. будь готов к ддосу и конкурентам. Большая часть конкурентов даже не понимают как их же сайты работают это если мы берем ЕС. Другая же часть снесет такой сайт в три клика. Доход на сайте при должном трафике через пару месяцев в день порядка 30-50 евро

Нет, на самом деле мне не интересны ВИН машин.
Хотя тема тоже интересная.

Лакшери машины в моем примере это просто как категория, которая первая пришла в голову.
Мне интересно выгрузить базу номеров и имен (по нужному гео, ведь страница локальная), уже сегментированную (категории продуктов которые продавцы продают).

Например: мне нужны продавцы Мерсов/Бэх свежее 20го года - наш целевой клиент. То есть в этой db выгрузке будут и реальные владельцы этих машин (чья инфа мне реально интересна), и просто работники ателье по продаже лакшери авто. Итд итп.

 

[polishcool]

Нет, на самом деле мне не интересны ВИН машин.
Хотя тема тоже интересная.

Лакшери машины в моем примере это просто как категория, которая первая пришла в голову.
Мне интересно выгрузить базу номеров и имен (по нужному гео, ведь страница локальная), уже сегментированную (категории продуктов которые продавцы продают).

Например: мне нужны продавцы Мерсов/Бэх свежее 20го года - наш целевой клиент. То есть в этой db выгрузке будут и реальные владельцы этих машин (чья инфа мне реально интересна), и просто работники ателье по продаже лакшери авто. Итд итп.

Octoparse попробуй платную. Думаю должно быть оно

 

[r3d1r3ct]

Octoparse попробуй платную. Думаю должно быть оно

Круто, обязательно посмотрю. Спасибо

 

[StormTeam]

Кстати для всех заинтересованных,помогу в разработке данного полезного по,в ПМ за контактами

 

[ReSeller]

May I ask how to crawl and log in users' phone numbers on a designated website?Or can you do it?