• XSS.stack #1 – первый литературный журнал от юзеров форума

JSON PeopleDataLabs_416M

Отслеживать
Insacne

Insacne

RAM
Пользователь
Регистрация
27.05.2020
Сообщения
105
Реакции
480
yes its out!!


 
Последнее редактирование модератором:
Insacne сказал(а):
The link was taked down.

Download fast, backup.
i see on the ride the link is work perfectly
 
tudos сказал(а):
Кто скачал скажите какие данные есть? Ни здесь, ни на рейде ничего о данных.
в октябре 2019 г. Vinny Troia обнаружил открытый Elasticsearch-сервер с информацией, собранной компанией-поставщиком “больших данных” «People Data Labs» (peopledatalabs.com), о более чем 400 млн. человек, включая их имена, номера телефонов, адреса эл. почты, профили в соц. сетях и т.п.

В дампе размером 63 Гб содержится 416,656,058 строк. Около 1,8 млн. строк имеют отношение к России. ?

Долгое время данный дамп продавался по цене от $800 до $1500.
 
Пожалуйста, обратите внимание, что пользователь заблокирован
Insacne сказал(а):
yes its out!!

Скрытое содержимое

Скрытое содержимое
не могли бы вы сообщить все имена полей/столбцов в базе данных?
 
servers сказал(а):
не могли бы вы сообщить все имена полей/столбцов в базе данных?
Код: 
{"a":"moscow, moscow city, russia","t":["79099190110"],"e":["7982588@mail.ru"],"liid":"fares-al-obaydi-1a07063a","linkedin":"https://www.linkedin.com/in/fares-al-obaydi-1a07063a","n":"fares al-obaydi"}
 
Посмотрел эту базу. Очень сильно раздута.
Если удалить все строки, которые не содержат ничего, кроме ссылок на linkedin , то база будет весить меньше 30 Гб. Изначальный вес больше 60 Гб!!!
Плюс, значительно уменьшится вес, если из трёх полей (liid, linkedin и n) оставить только поле liid, так как это по сути одно и то же. Ссылка на пользователя включает и его имя.

И в итоге останутся строки, которые содержат почты/номера и ссылки на линкедит. Если надо, могу залить очищенный вариант.
 
Последнее редактирование:
Вот выборка с почтами и\или номерами только СНГ (Россия, Беларусь, Казахстан и Украина) 858.903 строк, 70 Mb
 
Последнее редактирование:
Доброго времени суток! Не мог бы кто-нибудь выложить Вьетнам и подсказать хотя бы пару слов, как можно отфильтровать столь большой файл.
На 4 Гц процессоре и 4 Гб оперативки EmEditor все показывает, но при фильтрации виснет. А Вьетнам нужен... Чем файл можно обработать по странам,чтобы больше никого не беспокоить? С уважением.
 
andbelov72 сказал(а):
Доброго времени суток! Не мог бы кто-нибудь выложить Вьетнам и подсказать хотя бы пару слов, как можно отфильтровать столь большой файл.
На 4 Гц процессоре и 4 Гб оперативки EmEditor все показывает, но при фильтрации виснет. А Вьетнам нужен... Чем файл можно обработать по странам,чтобы больше никого не беспокоить? С уважением.
Используйте PowerGrep. Жрет любые объемы... Главное, чтоб свободного места на диске было не меньше, чем весит обрабатываемый файл.

Чтобы выдернуть вьетнам, в PowerGrep выберите Search, в поле поиска напишите: (.*)vietnam(.*)
И сохранить в отдельный файл. Как то так )
 
likaku сказал(а):
Используйте PowerGrep. Жрет любые объемы... Главное, чтоб свободного места на диске было не меньше, чем весит обрабатываемый файл.

Чтобы выдернуть вьетнам, в PowerGrep выберите Search, в поле поиска напишите: (.*)vietnam(.*)
И сохранить в отдельный файл. Как то так
Прошу прощения за очередное беспокойство. В PowerGrep (работаю там впервые) выбрал вкладку Action, в ней нашел Search, указал по Вашей рекомендации в поле поиска (.*)vietnam(.*). Запустил процесс, во вкладке Results показывает, что на него уйдет 130 часов, потом 390, после обработки одного гигабайта - 190. Столько и должна занимать по времени фильтрация? Или цифры будут меняться не линейно с реальным временем? Вьетнам просто нужен к исходу дня...С уважением.
 
andbelov72 сказал(а):
Доброго времени суток! Не мог бы кто-нибудь выложить Вьетнам и подсказать хотя бы пару слов, как можно отфильтровать столь большой файл.
На 4 Гц процессоре и 4 Гб оперативки EmEditor все показывает, но при фильтрации виснет. А Вьетнам нужен... Чем файл можно обработать по странам,чтобы больше никого не беспокоить? С уважением.
Держи тебе Вьетнам
 
admin


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх