TXT Парсинг открытых данных Вконтакте от 2013 года (230кк записей)

[beaver80]

Тему делаю по просьбе одного из участников форума.
Данные датируются ориентировочно 2013 годом и представляют из себя парсинг открытых данных указанных на страницах доступных в соцсети на тот период.
Внутри файла лежит 23 архива, в каждом из которых лежит по 10М записей, разделенных на хмл файлы по 1000 юзеров в каждом. Пример содержимого файлов и самих папок можно посмотреть в аттаче.
Ссылка -

DropMeFiles – free one-click file sharing service

Share your pictures, send large videos, exchange music or transfer big files. No registration required. Unlimited upload/download speed.

dropmefiles.com

Пароль -

в личку

 

[Yafes]

уточните 24 файла или 23?

 

[beaver80]

уточните 24 файла или 23?

а да, 23, точно

 

[mikilukha]

Раньше давно эту базу скачивал на phreaker. Так и не разобрался что значит цифры в базе где город?
<city>1006430</city>
<country>1</country>
<timezone>5</timezone> Какой это город с такими цифрами?

 

[JohnRipper]

Раньше давно эту базу скачивал на phreaker. Так и не разобрался что значит цифры в базе где город?
<city>1006430</city>
<country>1</country>
<timezone>5</timezone> Какой это город с такими цифрами?

https://m.habr.com/ru/post/204840/

 

[likaku]

А есть у кого нибудь эта база в кроносе или в TXT? Поделитесь, плиз. У меня была, удалилась случайно. А откуда качал уже и не вспомню.

 

[Distruzione]

А есть у кого нибудь эта база в кроносе или в TXT? Поделитесь, плиз. У меня была, удалилась случайно. А откуда качал уже и не вспомню.

Есть только то же самое,что в шапке.

magnet:?xt=urn:btih:0f971a793b1e725eac871bd96f91c2afcd7e6e74

 

[likaku]

Есть только то же самое,что в шапке.
Скрытое содержимое

Да xml у меня тоже есть (( Это не то.

 

[likaku]

Заметил, что статус юзера постоянно дублируется под другим тэгом
<status>Скучаю</status>
<activity>Скучаю</activity>

Я правильно понимаю, что в activity ВСЕГДА будет копия того, что написано в статусе? Или в каких-то случаях там могут быть разные значения?

 

[beaver80]

В данной сборке, насколько я помню, эти параметры идентичны

 

[nicki1979]

CSV нужен кому ? Если да, оставлять или нет строчки типа таких
3,DELETED,,0,,,,,,,http://vk.com/images/deactivated_a.gif,,0,,0,,,0,,,,,,,,,,,,,,,,,,,,deleted,,,,,,,,,,,,,,

 

[nicki1979]

CSV из XML -ок в 2 вариантах: со всеми (52) и выборочно (17) полями.
У себя удаляю, кому надо в формате UTF-8 без BOM, delimiter "," , конец строки - LF (Unix),
Пароль местный.

23 csv по 10 млн ID (от 7 до 10 млн строк из-за удаления строчек с деактивированными).

Оригинальная версия с 52 полями (id,first_name, last_name, sex, nickname, screen_name, bdate, city,
country, timezone, photo_max_orig, has_mobile, online, wall_comments, can_post, can_see_all_posts,
can_see_audio, can_write_private_message, status, activity, last_seen, verified, university,
university_name, faculty, faculty_name, graduation, relation, interests, movies, tv, books, games,
universities, schools, about, relatives, deactivated, twitter, online_mobile, education_form,
education_status, facebook, facebook_name, instagram, online_app, status_audio, skype,
livejournal, home_phone, mobile_phone, relation_partner)
Размер 49.3 Гб (в архиве 8.5 Гб)
Скачать папку с архивами: Одним файлом
или по частям, каждый файл это отдельный CSV в 7z архиве
01, 02, 03, 04, 05, 06, 07, 08, 09, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23

Короткая версия с 17 полями (id, first_name, last_name, screen_name, bdate, city, home_phone, mobile_phone,
university_name, faculty_name, twitter, facebook, facebook_name, instagram, skype, livejournal, photo_max_orig)
Размер 21.7 Гб (в архиве 4.7 Гб)
Скачать папку с архивами: Одним файлом
или по частям, каждый файл это отдельный CSV в 7z архиве
01, 02, 03, 04, 05, 06, 07, 08, 09, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23