• XSS.stack #1 – первый литературный журнал от юзеров форума

CSV VK. парсинг. 2020

Отслеживать
FYPM

FYPM

HDD-drive
Пользователь
Регистрация
27.06.2020
Сообщения
25
Реакции
124
ba51b9b6-2f4c-41e7-91cf-e58259f7688f.jpeg

Парсинг открытых данных из профилей ВК.
парсилось в июле-августе 2020.
ID от 1 до 603 000 000.
Все "собаки" в файлах "отстрелены".
Поля
  • id
  • имя
  • фамилия
  • domain (он же путь к странице)
  • ДР
  • ссылка на аватар
  • город
  • количество подписчиков
  • сайт
  • facebook id
  • instagram
  • twitter
Код: 
600000009,Альберт,Мавсисян,id600000009,,https://sun9-62.userapi.com/impg/c858416/v858416758/1f9d80/ZlzFBlwcTJA.jpg?size=400x0&quality=90&sign=a5e948d12a58f66a4a8e2392ee100d8e&c_uniq_tag=Paf94LOOKLeDmur-Dx-SPzBUGPBeeBWdsz_dZWuNd1k&ava=1,,0,,,,
600000010,Мария,Варюхина,id600000010,1.6.2006,https://sun9-66.userapi.com/impf/4PKUIe4GgxVg-B32Piix40rrLIIbw8ve5TNsrQ/oZLRGMzeKTU.jpg?size=400x0&quality=90&sign=c72f23ab83e7c2a44c51a4c2658c0db3&c_uniq_tag=A_FJq5u5BDCV095pHW2np2rpxQDf_HUAZ30RybnPliM&ava=1,,1,,,,
600000011,Виталия,Алиева,id600000011,,,,0,,,,
600000012,Оксана,Симченко,id600000012,30.6.1985,,Астрахань,1,,,,
600000013,Damir,Matveev,id600000013,13.7.2005,https://sun9-37.userapi.com/impg/c858236/v858236626/20a7c7/PxIJM-bKLdY.jpg?size=400x0&quality=90&sign=a962acdbb378291e5136f5f260e5e8d9&c_uniq_tag=H7-51kr1_ALeQ0avpA_qKEWoNkUi-XJ7626YRY4jx-I&ava=1,,1,,,,
600000014,Виктор,Шаров,id600000014,,,,0,,,,
600000015,Кусок,Куска,id600000015,,,,0,,,,
600000016,Harley,Quinn,id600000016,7.2.1992,,,1,,,,
600000017,Хорошо,Плохо,id600000017,,,,0,,,,
600000018,Jek,Duena,id600000018,6.9.1995,,Bulacan,0,,,,
600000019,Вася,Васькин,id600000019,,,,0,,,,
600000020,Алексей,Стороженко,id600000020,30.6.1972,,,1,,1645434852196035,,
600000021,Не,Кто,id600000021,1.6.2006,,,0,,,,
600000022,Ладно,Ладно,id600000022,,,,0,,,,
600000023,Людмила,Горшенина,id600000023,1.6.1966,https://sun9-8.userapi.com/impg/c857624/v857624902/206747/60ITO9iuusg.jpg?size=400x0&quality=90&sign=c2d06fc644f9b3f7a65ba2f62a5f63b4&c_uniq_tag=UUzi62T1TSt_yN-_hfxNMVj4fCLgEXd2n6eIWMILw_0&ava=1,,11,,,,
600000024,Ладно,Ладно,id600000024,,,,0,,,,
600000025,Константин,Нефедов,id600000025,25.11.2005,,,0,,,,
600000026,Dinara,Zajceva,id600000026,,https://sun9-41.userapi.com/impf/drC_KMkIBXxy_Fpk__vYC7LA3FecHqaHfX3brA/IHyWWzX7uoA.jpg?size=400x0&quality=90&sign=95a68aa84e9f988deef70f78df761b9d&c_uniq_tag=EPou6X_u-Nq1eYhM1rYFbb8WlD4ZPYVVIKZk2GMaOPE&ava=1,,0,,,,
600000027,Martin,Ivanov,id600000027,16.2.2000,,,0,,,,
600000028,Колямба,Венчеславский,id600000028,,,,0,,,,


Если админы не согласны с хайдом, то отредактируйте, плиз.
 
likaku сказал(а):
Эх, жалко вы не спарсили родственников/вторых половинок в профиле (
А сколько весит это добро распакованное??
Порядка 70-80 Гб, вроде

Родственники, возможно, лежат отдельно, это выгрузка из оригинального json. Он весит в разы больше
 
FYPM сказал(а):
ba51b9b6-2f4c-41e7-91cf-e58259f7688f.jpeg

Парсинг открытых данных из профилей ВК.
парсилось в июле-августе 2020.
ID от 1 до 603 000 000.
Все "собаки" в файлах "отстрелены".
Поля
  • id
  • имя
  • фамилия
  • domain (он же путь к странице)
  • ДР
  • ссылка на аватар
  • город
  • количество подписчиков
  • сайт
  • facebook id
  • instagram
  • twitter
Код: 
600000009,Альберт,Мавсисян,id600000009,,https://sun9-62.userapi.com/impg/c858416/v858416758/1f9d80/ZlzFBlwcTJA.jpg?size=400x0&quality=90&sign=a5e948d12a58f66a4a8e2392ee100d8e&c_uniq_tag=Paf94LOOKLeDmur-Dx-SPzBUGPBeeBWdsz_dZWuNd1k&ava=1,,0,,,,
600000010,Мария,Варюхина,id600000010,1.6.2006,https://sun9-66.userapi.com/impf/4PKUIe4GgxVg-B32Piix40rrLIIbw8ve5TNsrQ/oZLRGMzeKTU.jpg?size=400x0&quality=90&sign=c72f23ab83e7c2a44c51a4c2658c0db3&c_uniq_tag=A_FJq5u5BDCV095pHW2np2rpxQDf_HUAZ30RybnPliM&ava=1,,1,,,,
600000011,Виталия,Алиева,id600000011,,,,0,,,,
600000012,Оксана,Симченко,id600000012,30.6.1985,,Астрахань,1,,,,
600000013,Damir,Matveev,id600000013,13.7.2005,https://sun9-37.userapi.com/impg/c858236/v858236626/20a7c7/PxIJM-bKLdY.jpg?size=400x0&quality=90&sign=a962acdbb378291e5136f5f260e5e8d9&c_uniq_tag=H7-51kr1_ALeQ0avpA_qKEWoNkUi-XJ7626YRY4jx-I&ava=1,,1,,,,
600000014,Виктор,Шаров,id600000014,,,,0,,,,
600000015,Кусок,Куска,id600000015,,,,0,,,,
600000016,Harley,Quinn,id600000016,7.2.1992,,,1,,,,
600000017,Хорошо,Плохо,id600000017,,,,0,,,,
600000018,Jek,Duena,id600000018,6.9.1995,,Bulacan,0,,,,
600000019,Вася,Васькин,id600000019,,,,0,,,,
600000020,Алексей,Стороженко,id600000020,30.6.1972,,,1,,1645434852196035,,
600000021,Не,Кто,id600000021,1.6.2006,,,0,,,,
600000022,Ладно,Ладно,id600000022,,,,0,,,,
600000023,Людмила,Горшенина,id600000023,1.6.1966,https://sun9-8.userapi.com/impg/c857624/v857624902/206747/60ITO9iuusg.jpg?size=400x0&quality=90&sign=c2d06fc644f9b3f7a65ba2f62a5f63b4&c_uniq_tag=UUzi62T1TSt_yN-_hfxNMVj4fCLgEXd2n6eIWMILw_0&ava=1,,11,,,,
600000024,Ладно,Ладно,id600000024,,,,0,,,,
600000025,Константин,Нефедов,id600000025,25.11.2005,,,0,,,,
600000026,Dinara,Zajceva,id600000026,,https://sun9-41.userapi.com/impf/drC_KMkIBXxy_Fpk__vYC7LA3FecHqaHfX3brA/IHyWWzX7uoA.jpg?size=400x0&quality=90&sign=95a68aa84e9f988deef70f78df761b9d&c_uniq_tag=EPou6X_u-Nq1eYhM1rYFbb8WlD4ZPYVVIKZk2GMaOPE&ava=1,,0,,,,
600000027,Martin,Ivanov,id600000027,16.2.2000,,,0,,,,
600000028,Колямба,Венчеславский,id600000028,,,,0,,,,

Скрытое содержимое

Если админы не согласны с хайдом, то отредактируйте, плиз.
Ты красаучег, вот что я могу тебе сказать
 
GadyaPetrovi4Chrenova сказал(а):
Спасибо большое вам за труды . А контактных данных нет случайно? Хотя бы мыло ?
Неа(( ВК отдал только соц сети, телефонов почему то не было вообще, так и не нашел в чем затык. Если разберусь, то пересоберу и перевыложу
 
FYPM сказал(а):
ВК отдал только соц сети, телефонов почему то не было вообще
ВК не любит токены левых приложений в плане API, попробуй парсить с токеном официальных приложений
Получи токен тут https://oauth.vk.com/authorize?clie...tml&display=page&response_type=token&revoke=1
И делай запрос так https://api.vk.com/method/users.get?access_token=&v=5.120&user_ids=&fields=contacts
 
FYPM сказал(а):
ba51b9b6-2f4c-41e7-91cf-e58259f7688f.jpeg

Парсинг открытых данных из профилей ВК.
парсилось в июле-августе 2020.
ID от 1 до 603 000 000.
Все "собаки" в файлах "отстрелены".
Поля
  • id
  • имя
  • фамилия
  • domain (он же путь к странице)
  • ДР
  • ссылка на аватар
  • город
  • количество подписчиков
  • сайт
  • facebook id
  • instagram
  • twitter
Код: 
600000009,Альберт,Мавсисян,id600000009,,https://sun9-62.userapi.com/impg/c858416/v858416758/1f9d80/ZlzFBlwcTJA.jpg?size=400x0&quality=90&sign=a5e948d12a58f66a4a8e2392ee100d8e&c_uniq_tag=Paf94LOOKLeDmur-Dx-SPzBUGPBeeBWdsz_dZWuNd1k&ava=1,,0,,,,
600000010,Мария,Варюхина,id600000010,1.6.2006,https://sun9-66.userapi.com/impf/4PKUIe4GgxVg-B32Piix40rrLIIbw8ve5TNsrQ/oZLRGMzeKTU.jpg?size=400x0&quality=90&sign=c72f23ab83e7c2a44c51a4c2658c0db3&c_uniq_tag=A_FJq5u5BDCV095pHW2np2rpxQDf_HUAZ30RybnPliM&ava=1,,1,,,,
600000011,Виталия,Алиева,id600000011,,,,0,,,,
600000012,Оксана,Симченко,id600000012,30.6.1985,,Астрахань,1,,,,
600000013,Damir,Matveev,id600000013,13.7.2005,https://sun9-37.userapi.com/impg/c858236/v858236626/20a7c7/PxIJM-bKLdY.jpg?size=400x0&quality=90&sign=a962acdbb378291e5136f5f260e5e8d9&c_uniq_tag=H7-51kr1_ALeQ0avpA_qKEWoNkUi-XJ7626YRY4jx-I&ava=1,,1,,,,
600000014,Виктор,Шаров,id600000014,,,,0,,,,
600000015,Кусок,Куска,id600000015,,,,0,,,,
600000016,Harley,Quinn,id600000016,7.2.1992,,,1,,,,
600000017,Хорошо,Плохо,id600000017,,,,0,,,,
600000018,Jek,Duena,id600000018,6.9.1995,,Bulacan,0,,,,
600000019,Вася,Васькин,id600000019,,,,0,,,,
600000020,Алексей,Стороженко,id600000020,30.6.1972,,,1,,1645434852196035,,
600000021,Не,Кто,id600000021,1.6.2006,,,0,,,,
600000022,Ладно,Ладно,id600000022,,,,0,,,,
600000023,Людмила,Горшенина,id600000023,1.6.1966,https://sun9-8.userapi.com/impg/c857624/v857624902/206747/60ITO9iuusg.jpg?size=400x0&quality=90&sign=c2d06fc644f9b3f7a65ba2f62a5f63b4&c_uniq_tag=UUzi62T1TSt_yN-_hfxNMVj4fCLgEXd2n6eIWMILw_0&ava=1,,11,,,,
600000024,Ладно,Ладно,id600000024,,,,0,,,,
600000025,Константин,Нефедов,id600000025,25.11.2005,,,0,,,,
600000026,Dinara,Zajceva,id600000026,,https://sun9-41.userapi.com/impf/drC_KMkIBXxy_Fpk__vYC7LA3FecHqaHfX3brA/IHyWWzX7uoA.jpg?size=400x0&quality=90&sign=95a68aa84e9f988deef70f78df761b9d&c_uniq_tag=EPou6X_u-Nq1eYhM1rYFbb8WlD4ZPYVVIKZk2GMaOPE&ava=1,,0,,,,
600000027,Martin,Ivanov,id600000027,16.2.2000,,,0,,,,
600000028,Колямба,Венчеславский,id600000028,,,,0,,,,

Скрытое содержимое

Если админы не согласны с хайдом, то отредактируйте, плиз.
Собак отстреливали по пути к аватарке?
 
FYPM сказал(а):
Нет, ВК сразу отдает метку удалён/забанен профиль в полях
Кстати, не все собаки одинаково бесполезны. Некоторые из них содержат Имя, фамилию и пол.
Абсолютно бесполезные - это когда вместо имени и фамилии стоит одно слово - DELETED, и статус banned или deleted
 
likaku сказал(а):
А кто знает, что значат цифры посли минуса? <id>-579396094</id> К ID они явно никакого отношения же не имеют. У многих родственников такое стоит
Скорее всего это дата рождения в unix формате
<id>-579396094</id>
Это эквивалентно UTC: Wednesday, 11. May 1988, 23:21:34
 
likaku сказал(а):
Кстати, не все собаки одинаково бесполезны. Некоторые из них содержат Имя, фамилию и пол.
Абсолютно бесполезные - это когда вместо имени и фамилии стоит одно слово - DELETED, и статус banned или deleted
Спасибо за инфу

Пока точно не помню как отсекал, если важно кому то, то скажите, отпишусь поом как фильтровал
 
FYPM сказал(а):
Спасибо за инфу

Пока точно не помню как отсекал, если важно кому то, то скажите, отпишусь поом как фильтровал
Вот так выглядит абсолютно бесполезная собака:

<user>
<id>30000001</id>
<first_name>DELETED</first_name>
<last_name/>
<deactivated>deleted</deactivated>
<can_post>0</can_post>
<can_write_private_message>0</can_write_private_message>
<domain>id30000001</domain>
<online>0</online>
<photo_100>https://vk.com/images/deactivated_100.gif</photo_100>
<photo_200_orig>https://vk.com/images/deactivated_200.gif</photo_200_orig>
<photo_400_orig>https://vk.com/images/deactivated_400.gif</photo_400_orig>
<photo_50>https://vk.com/images/deactivated_50.gif</photo_50>
<photo_max>https://vk.com/images/deactivated_200.gif</photo_max>
<photo_max_orig>https://vk.com/images/deactivated_400.gif</photo_max_orig>
<sex>0</sex>
</user>
 
А вот собака полезная )

<user>
<id>30003004</id>
<first_name>Артём</first_name>
<last_name>Мун</last_name>
<deactivated>banned</deactivated>
<can_post>0</can_post>
<can_write_private_message>0</can_write_private_message>
<domain>id30003004</domain>
<online>0</online>
<photo_100>http://vk.com/images/deactivated_100.gif</photo_100>
<photo_200_orig>http://vk.com/images/deactivated_200.gif</photo_200_orig>
<photo_400_orig>http://vk.com/images/deactivated_400.gif</photo_400_orig>
<photo_50>http://vk.com/images/deactivated_50.gif</photo_50>
<photo_max>http://vk.com/images/deactivated_200.gif</photo_max>
<photo_max_orig>http://vk.com/images/deactivated_400.gif</photo_max_orig>
<sex>2</sex>
</user>
 
FYPM сказал(а):
Спасибо за инфу

Пока точно не помню как отсекал, если важно кому то, то скажите, отпишусь поом как фильтровал
Чем обрабатываете такие объемы данных?
 
FYPM сказал(а):
jq
Jq ( https://stedolan.github.io/jq/ ) (не путать с JQuery) это офигенская утилита для командной строки для парсинга и [пере]форматирования JSON
Весит всего 3.36 мегабайт
Написана на чистом си
Работает в том числе под Windows 7
Стандалоне exe файл можно кинуть в папку виндовс и всё будет работать
Единственное ей надо научиться пользоваться
В рунете по ней нету годной инфы

Нашёл немного туторов на english

https://programminghistorian.org/en/lessons/json-and-jq
http://www.compciv.org/recipes/cli/jq-for-parsing-json/
https://www.baeldung.com/linux/jq-command-json
 
Последнее редактирование:
admin


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх