• XSS.stack #1 – первый литературный журнал от юзеров форума

XLSX Авториа (весь) 10.2020

Shnek

HDD-drive
Пользователь
Регистрация
29.11.2020
Сообщения
25
Реакции
20
Здравствуйте


Это моя первая тема и первый день на форуме.
База собственной добычи)
Если интересно - залью еще что-то связанное с авто или спрашивайте что интересно.
Базы в основном укр.

Я знаю, что люди здесь разные и судить не принято,
но мне такие базы помогали делать хорошие вещи:
лучше настраивать рекламу для белых предпринимателей,
делать аналитику и находить в логистику сотрудников.

Первый день здесь мне понравился. Сообщество сведущее, классное.
Мечтаю попасть в закрытую тусовку по парсингу. Так что пишите - буду стараться)
 
Это хорошо что у вас такое начала, ещё просьба.
Указывайте формат, год и количество по возможности ну и не забывать ссылку
 

Скорость - сильная сторона другого автора)
пару раз фейлил загрузку напрямую сюда
облако оказалось надежнее

креплю еще олх базы по авто тематике в той же ссылке
 
Почистил от мусора, удалил дубликаты... И 1 ГБ превратился в 95 Мб.
186.506 строк
Скрытый контент для зарегистрированных пользователей.

Там доска сильно засрана объявлениями от автосалонов, как мог поубирал, оставив только по одному объявлению от каждого автосалона. Но еще куча осталась (

Кстати, ТС большой молодец в плане парсинга OLX. Он не только ссылки на на объявления собрал, но и самое важное - ссылки на профили пользователей!!!
Парсинг OLX одним файлом, почищенный от мусора и дубликатов 21.855 строк

Скрытый контент для зарегистрированных пользователей.
 
Последнее редактирование:
Почистил от мусора, удалил дубликаты... И 1 ГБ превратился в 95 Мб.
186.506 строк
Скрытое содержимое

Там доска сильно засрана объявлениями от автосалонов, как мог поубирал, оставив только по одному объявлению от каждого автосалона. Но еще куча осталась (

Кстати, ТС большой молодец в плане парсинга OLX. Он не только ссылки на на объявления собрал, но и самое важное - ссылки на профили пользователей!!!
Парсинг OLX одним файлом, почищенный от мусора и дубликатов 21.855 строк

Скрытое содержимое
да, верно подмечено
Кто не знает - ссылки на пользователей полезны по нескольким причинам.
- Во первых, можно потом не выпаршивать номер каждый раз, как хочется посмотреть что конкретный пользователь опять продает
- Во вторых, если вы захотите сделать рассылку с какой-то полезностью, то именно ссылка на пользователя будет для вас таким идентификатором, который позволит не делать дубли
 
это не проблема. В след раз поправим)
Подскажите, в чем может быть полезность сбора этих данных в таком, неполном виде? Интересно же)
Жаль что не спарсили VIN (частичный) и госномер (там где есть)
 
Подскажите, в чем может быть полезность
Например завтра появится новая утечка персональных данных автомобилистов украины с телефонами и VIN номерами и захочется проверить не фейк ли это и тогда такая база может очень даже пригодиться.
Кстати цвет авто (он от модели не зависит и может быть любым) я бы тоже добавил отдельным полем в базу
 


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх