Как парсят форумы

[drunken master]

Цитирую: "Системы Group-IB Thread Intelligence позволяют мониторить все сообщения в андеграунде в режиме реального времени и получать доступ как к оригинальным постам, так и к отредактированным со всей историей правок"

Как это реализовано, кто скажет? В замен могу Илюшу чаем загреть )))

 

[Vespiary]

Цитирую: "Системы Group-IB Thread Intelligence позволяют мониторить все сообщения в андеграунде в режиме реального времени и получать доступ как к оригинальным постам, так и к отредактированным со всей историей правок"

Как это реализовано, кто скажет? В замен могу Илюшу чаем загреть )))

 

[JohnBolt]

Как это реализовано, кто скажет? В замен могу Илюшу чаем загреть )))

Каждые 10 секунд сканировать главную страницу, там выводятся свежие сообщения. увидели изменение - сразу идем в тему.

 

[bratva]

Честно говоря, я только сейчас понял, что форум открыт для индексирования. Лол.

 

[locative]

Честно говоря, я только сейчас понял, что форум открыт для индексирования. Лол.

Аналогично! Был уверен, что подобная тематика априори не должна быть в выдаче ПС.

 

[Vespiary]

Аналогично! Был уверен, что подобная тематика априори не должна быть в выдаче ПС.

разлогинтесь и ничего не индексируется кроме регистрации и помощи

 

[locative]

разлогинтесь и ничего не индексируется кроме регистрации и помощи

Исходя из скрина, создаётся впечатление, что роботы смотрят конкретные темы, а не только страницу регистрации на которой никак не могут быть урлы на публикации форума.

 

[Samorez]

Честно говоря, я только сейчас понял, что форум открыт для индексирования. Лол.

Что написано в интернете, того не сотрёшь =)

Исходя из скрина, создаётся впечатление, что роботы смотрят конкретные темы, а не только страницу регистрации на которой никак не могут быть урлы на публикации форума.

Форум то закрывается, то открывается для обозрения. Видимо в админ панели редко происходят правки, в плане конфиденциальности. Как настроили изначально, так и стоит.

Профили пользователей просматривают боты:

 

[Quake3]

Вы боитесь какого-то яндекса , но не боитесь 100500 вайтхетов, парсящих форум в режиме нон-стоп.
Парадокс.

 

[Samorez]

Вы боитесь какого-то яндекса , но не боитесь 100500 вайтхетов, парсящих форум в режиме нон-стоп.
Парадокс.

Можно ведь заблокировать эти онлайн жучки.

Вы боитесь какого-то яндекса , но не боитесь 100500 вайтхетов, парсящих форум в режиме нон-стоп.
Парадокс.

У тебя нет прав блокировать пользователей?

 

[Quake3]

У тебя нет прав блокировать пользователей?

Есть. А толку? Регят новый акк и по новой.
Часть еще и открыто пишут, что они тут "работают".. Типа А95 или как там этого пендоса.

 

[MiNCooper]

А в другие системы посмотрите! а потом оп оприори индексация всегда была и будет.

 

[hvb]

разлогинтесь и ничего не индексируется кроме регистрации и помощи

Все форумные движки имеют отдельный функционал, который пускает ботов.
То есть для чтения нужна регистрация, но ботам Гугла она не нужна. Это отключается галкой в админке.

Какой смысл, кстати, закрывать индексацию на паблик форуме то, лол.

 

[drunken master]

Это ещё ничего, я начинаю понимать. Ещё ни с кого не получил, а уже каких-то два гуся на меня подписались. Я им в личку кто такие - в ответ тишина. Пока писал сообщение уже и третий добавился. Тот козырный, с Премиумом.

А кто может пояснить следующее. Из того же авторского чтива от Group-IB.
Начало цитаты
"Злоумышленник нигде не указывал данную почту, это могло быть совпадением, однако мы решили проверить использовался ли данный адрес для регистрации каких-либо аккаунтов на андеграунд форумах. И нашли пересечения с аккаунтами злоумышленника. Было выявлено, что эта почта была использована для регистрации на форумах exploit.in fuckav.ru
proxy-base.com lolz team.net "
Конец цитаты.

Как это прикажете понимать? Это как возможно парсить список зареганных почт в поиске нужной на форуме и привязывать к аккаунту. Без тяг админских или модераторских разве такое возможно?
Делаю вывод: вышеперечисленные форумы являются неблагонадёжными, с которых сливаются дискретные данные пользователей.

 

[Samorez]

Есть. А толку? Регят новый акк и по новой.
Часть еще и открыто пишут, что они тут "работают".. Типа А95 или как там этого пендоса.

Блокируй сразу, пусть не чувствуют себя здесь в безопасности. Даже не скрываются и этот момент может оттолкнуть толковых пользователей. Выглядит будто форум под ними находиться, раз даже не блокируют.

А в другие системы посмотрите! а потом оп оприори индексация всегда была и будет.

Можно отключить, помешать индексации. По крайней мере самых известных отключить.

 

[hvb]

Это ещё ничего, а кто может пояснить следующее. Из того же авторского чтива от Group-IB.
Начало цитаты
"Злоумышленник нигде не указывал данную почту, это могло быть совпадением, однако мы решили проверить использовался ли данный адрес для регистрации каких-либо аккаунтов на андеграунд форумах. И нашли пересечения с аккаунтами злоумышленника. Было выявлено, что эта почта была использована для регистрации на форумах exploit.in fuckav.ru
proxy-base.com lolz team.net "
Конец цитаты.

Как это прикажете понимать? Это как возможно парсить список зареганных почт в поиске нужной на форуме. Без тяг админских или модераторских разве такое возможно?
Делаю вывод: вышеперечисленные форумы являются козлячими, с которых сливаются дискретные данные пользователей.

Очень просто.
Берешь почту и пытаешься по ней зарегать аккаунт.
Если не получается - значит по ней уже зареган аккаунт. Собственно, ты это сообщение и увидишь, что почта занята.
Второй способ - заходишь в восстановление пароля и вбиваешь туда нужную почту. Но так более палевно, так как на почту улетит письмо с восстановлением пароля.

 

[drunken master]

Очень просто.
Берешь почту и пытаешься по ней зарегать аккаунт.
Если не получается - значит по ней уже зареган аккаунт.
Второй способ - заходишь в восстановление пароля и вбиваешь туда нужную почту. Но так более палевно, так как на почту улетит письмо с восстановлением пароля.

Да, но там именно почту связали с конкретными аккаунтами. А в твоём способе так можно проверить только есть ли рега на почту в общем случае. Нет. Сифонит. И очень сильно.

 

[Quake3]

Блокируй сразу, пусть не чувствуют себя здесь в безопасности. Даже не скрываются и этот момент может оттолкнуть толковых пользователей. Выглядит будто форум под ними находиться, раз даже не блокируют.

я с тобой согласен, так и надо делать. Хотя бы чтоб не чувствовали себя в безопасности здесь. Но проблему парсинга это не решит.

Без тяг админских или модераторских разве такое возможно?
Делаю вывод: вышеперечисленные форумы являются козлячими, с которых сливаются дискретные данные пользователей.

что на экспе, что здесь видеть почты может только админ.

 

[admin]

Все форумы парсят. Я каждый день блокирую и удаляю ботов, ежедневно, это я без преувеличений, каждый день. Это входит в мою ежедневную рутину. Скажу вам больше - среди них огромное число "премиумов", т.е. никто не жалеет о потраченных 120$ х-раз подряд. Вайт ИБ - это жирный и вкусный бизнес, сидящий на всяких подрядах и заказах. Денег там море, а т.е. отношения между людьми - ниже плинтуса. Как сказал мне один знакомый из числа англоязычных ресерчеров: "Я никогда не перейду на ту сторону, но знай, вайтхеты - лживая тусовка под#нков, по ту сторону все честнее и справедливее". Это была не дословная, но цитата, это не мои слова, надеюсь, никто не обидется =)
Я это к чему? Чему вы удивляетесь? Что кто-то спарсил форум х?

все сообщения в андеграунде в режиме реального времени и получать доступ как к оригинальным постам, так и к отредактированным со всей историей правок

Это маркетинг. Но, в целом, обсудили выше - большое количество ботов парсят форумы, это факт. Отсюда - большие массивы информации. Масштабы парсинга реально впечатляют, ежедневно, если не удалять боты, парсится до 30-40k страниц/сутки.

 

[Lowbanger]

Однако. Но всё равно моих извинений перед администрацией вышеперечисленных форумов не будет! )))

Да, но там именно почту связали с конкретными аккаунтами. А в твоём способе так можно проверить только есть ли рега на почту в общем случае. Нет. Сифонит. И очень сильно.

Дядя охуел чтоли на эксп катить, ты бля сидишь на форке экспа ща и такое бозареш. Негоже как то. Факав тоже пиздаты был, ща уже незнаю. Козлячеме может лолз хз не сидел там, но за выше перечисленые форумы не говори так, пожалуйста. Чувство верующих