Статья Part III : Доры - Генерируем тонны контента и фармим своего домашнего вебкраулера гугла в промышленных масштабах на базе динамического доргена

[Noizefan]

Нойс - много лет юзали Ваш дорген на пирожках (правда не много улучшали потихоньку, чтобы шаблоны лучше брал доноров и тд, но это так, косметичка) - спасибо Вам за отличный продукт!

боюсь, тут ты меня немного с кем-то перепутал
я Noizefan с exploit, будем знакомы)

Ну ты молодец конечно) Ответь парням на сообщения только теперь

а я знал, что ты его все таки заставил научи)) пару своих гениев тоже не могу заставить)

Современыне фраемворки не рекомендованно ставить распакованными, как минимум нужно применять composer для установки пакетов, для упрощения поднятия всех сервисов было упаковано все в докер, который поднимает все базы и очереди

не устану повторять: давайте не забывать, что ребята оторвали от привата продукт, оставили все самые важные функции, упаковали в докер чтоб вообще в пару команд ставилось, - ноль причин жаловаться, что оно силой мысли не запускается
если хотите сервис в 1-click - тогда так и говорите))

 

[azcord]

а я знал, что ты его все таки заставил научи)) пару своих гениев тоже не могу заставить)

Ахахха, да, именно так) Так же как и Rastra LSEO Echo_SEO еще и петона скоро вытащу на форум, всем нужно просто время освоиться

Ноиз я про тебя помню, как и про всех, сейчас жопа в мыле, на запусках... Не могу на все разорваться, отвечу на каждое сообщение как минутка появится

 

[Marketing_Addicted]

Может быть и пятилетней, только вот никто делиться ей почему то не хотел? Почему?
Сейчас я вижу дорвещийков которые школы в ирл запускают и марафоны по линкбилдигу проводят, кек
Если ты думаешь, что они просто так этим занимаюсь - но я х#й знает, ладно... оставим это

полностью согласен и голосую за тему .
где вы были ,когда я вникал в тему доров в 23 году )) спасибо

 

[Marketing_Addicted]

А можно будет мне обнову ,так как я покупал старый софт )Могу написать в тг ,для авторизации )

всё почти готово, огромные обновы, скоро и сюда основные статьи занесу, и кстати, одна из них идеально бы легла в новую структуру подфорумов в раздел траффик. он в итоге тут планируется, или нет? могли бы шикарно связать всё это воедино, чтоб перекликалось. пока выжидаю что по итогу планируется, чтоб модерам лишней работы по переносу тем не создавать

 

[Noizefan]

А можно будет мне обнову ,так как я покупал старый софт )Могу написать в тг ,для авторизации )

конечно, отпиши) как только выложу - вышлю

Ноиз я про тебя помню, как и про всех, сейчас жопа в мыле, на запусках... Не могу на все разорваться, отвечу на каждое сообщение как минутка появится

с твоим количеством дел вообще спасибо что хоть иногда на связи) без шуток
ждём!

 

[remark_mp]

куда заливать базу с результатом a-parser ?)

 

[Noizefan]

куда заливать базу с результатом a-parser ?)

в пхпмайадмин, базе место в базе
префикс правильный не забудь, в статье про него есть

 

[remark_mp]

я незаметил префикс в статье, если не трудно то скажи или покажи

 

[remark_mp]

залил с db_ вроде работает))

 

[remark_mp]

кто может помочь по настроке если что? напишите в лс пожалуста)

 

[dotty]

Oh definitely looks like something useful.

 

[Kotowski]

Софт ставится прям буквально в две команды, и их даже менять никак не нужно
можно хоть автоматическую раскатку на ансибле сделать, была бы необходимость, но явно плюсик
Панель шикарна, детально проработана, все что нужно и ничего лишнего. все работает
легко кастомизируется, сама панель на Yii, + заяц, редиска, мускул+пма
не забываем менять все дефолт параметры, если не хочешь поделиться базами с миром

я думал, а чего бы такого интересного сделать, если в специфике темы я пока не особо бум бум, а интересного чего-то сказать хочется?
Для подобной системы важно что? держать большой траф и не падать. в конце концов ради него все и замышлялось
Проведем нагрузочное тестирование, причем постараемся приблизиться к скриншотам из статьи.
6 млн уников за двое суток? ну, +-, это типа 35 запросов в секунду
мы попробуем до 100 RPS, это должно быть где то 8,64 млн уников в сутки, будем долбить оба кейса (юзер+гуглобот параллельно)
погнали

параметры:
i5-12450H 12c, 16gb ram, на фоне всякая херня по типу фаерфокса, сам проект в Docker Desktop и тд.

начинаем с 20 рпс с шагом в х2, то есть 20, 40, 60, 80, 100
это потому что два запроса на разные сценарии одновременно
смотрим по рейту сообщений в зайце:
Посмотреть вложение 103346

интереса ради в итоге догнал спокойно до 26 млн уников, дальше не стал смысла не вижу
ребит в стандарт конфиге имеет какой то стоп на 60 m/s, при том рам растет при привышении очень слабо, максимум что видел это 25мб
в данном случае на bottleneck тестировалось именно взаимодействие микросервисов, т.е. пыхи базы и зайца, т.к. больше тут бенчмаркать и нечего в общем то. это грамотно распределенная ответственность по зрелым чужим решениям, и правильный их менеджмент - лучшая стратегия, и сам сейчас так и стараюсь.
в общем - про кубер ребята загнули, до него вам, пользователям, еще дорасти придется)) но я уверен что особо мощным юзерам - ребята не будут против помочь консультацией по миграции.

Посмотреть вложение 103347

никаких утечек, проблем, деградации не заметил, за кадром гонял еще кучу, по 10 мин, по 15
не забываем, что это на локалке, с кучей бэкграунд процессов и вообще ничерта не чистый тест, но, тем не менее, - это серьезный результат
это все говорит мне о том, что софт - не просто какая-то поделка с интересными идеями, а временем проверенное программное обеспечение, выдерживающее серьезную нагрузку прямо из коробки. более - никто не запрещает пошаманить с конфигами.

Повторюсь, я в теме траффа не особо, у меня специфика чуть другая, но даже само наличие такого софта в опен сорце побуждает начать даже просто для интереса. Порекомендовал бы каждому просто скачать, запустить и посмотреть - как минимум, даже если тоже не имеешь отношения к сабжу сильного.

дабы меня не назвали купленным "экспертом" - чуть по нано косякам скажу:
- не хватает информации лично мне. было бы круто сделать хотя бы десяток тултипчиков, но на этом пункте сказывается мое среднее понимание области и терминологии. хотя и спецы, я уверен, не готовы помнить всегда и всё. Или само сообщество могло бы просто собрать глоссарий небольшой, тогда и будет больше новичков
- чтоб прям совсем идеально - форма загрузки скуль баз и простой круд, тогда это минус контейнер, минус вектор атаки, минус необходимость уметь пользоваться пма.
- вытащить бы конфиги от мускула, зайца, редиса, нгинкса в yaml путями, чтоб можно было подергать при необходимости, хотя на практике до сотен миллионов хитов это вряд ли понадобится, но хотя бы для чисто визуально перфектного восприятия структуры проекта.

но это натурально притягивание за уши. мелочи, репа на гитхабе - никто не мешает мне самому все это при необходимости допилить.
при съемках ни один метаквалон или киса не пострадал, большое спасибо за софт и материал! голос отдан

upd: про круд бд мне пояснили что это бессмысленно, ибо кто будет базы по 10 гб грузить через хтмл форму)

Спасибо за предоставленную обратную связь, от технически подкованных людей приятно слышать

Мануала по работе с софтом действительно не хватает, особенно людям которые вне движухи. Да и опять же продукт изначально делался под внутренние нужды команды, а уже после приобрел формат публичного релиза

С html формой загрузки базы дейсвительно могут быть накладки, дорвейные базы могут весить и больше 100гб, тяжко будет через форму грузить таокй объем, но опять же все индивидуально и можно кастомизировать под свои нужды

По поводу конфигурации тут тоже на свой вкус и цвет как говорится

 

[Kotowski]

Было бы круто увидитеть развитие ветки отдельной по дорам

По этой части к azcord, моя задача здесь на сегодня - помочь запустить дорген)

А какие технологии актуальны в 2025 ? Что новое?

Текущая тенденция двигается как никрути к ИИ. По мере развития этого направление растет и качество текстов, но поисковые системы тоже не стоят на месте, учатся детектить это и выплеывавать из индекса.
Путь нашей команды проходит бок о бок с ИИ, сейчас мы наращиваем мощности для генерации большего количества текстов, так же проводим тестированя в направлении генерации целого текстово - реливантного сайта по одному запросу
Эти же технологии строятся на базе этого же доргена

Наш хед команды работает с подбором и написанием промтов для тестов, нужно вытаскивать его на форум

 

[Kotowski]

Особо никаких кроме ИИ. Все что было старое в той или иной степени работает. Поменялись методы работы с конкретными ресурсами и каждый по своему пилит свои комбайны по добыче трафа. Как пример, то же проксирование сайтов, в 2016 когда еще не было широко известно массам, даже самые отбитые нубы с легкостью делали на проксировании адалтников $500+ дейли. Более ушлые товарищи подсовывали лоадеры, скам, фишинг. Когда проксирование ушло в широкие массы, естественно ПС ввели алго против этого беспредела и работать как прежде перестало. Но проксирование работает и сегодня, просто нужен другой подход к этому делу.

О_о только выше про это писал, да вот сейчас работаю на генерации сайтов для людей

 

[Kotowski]

куда заливать базу с результатом a-parser ?)

В базу dor, в таблицу с префиксом db_
Так же структра таблицы есть в docker/db_2024_09_10_download_en_2.sql для примера

кто может помочь по настроке если что? напишите в лс пожалуста)

Пиши azcord свяжет, поможем

 

[azcord]

а я надеялся тихонечько пролечу и меня даже ты не узнаешь =))
ну все, лавочку спалил, попозже переименуюсь тогда))

Да я вообще не ожидал тебя здесь встретить, ты же обычно на експе сидишь, ну ничего...
Теперь нас два тут таких специалиста с exploit, кек

я думаю это здраво. В чем ваше отличие от большинства конкурсантов - вы не просто выложили кусок кода и до свидания, вы, как я понял, планируете его развивать по мелочи по возможностям? С таким настроем отдельный топ точно нужен

Мы планируем создать community и реорганизовать раздел: Спам, Трафик, Инсталлы
Движущим ядром этого community будут именно наши технологии, так что - да, я думаю мы будем развивать продукт, идеальным решением было бы - если мы все его бы развивали.
Так или иначе, я вижу перспективу этого начинания внутри xss, как будет выглядеть это community - это еще вопрос..
Есть идеи запустить дискурс на эту тему, ведь принимать решения единолично в рамках сообщества - считаю не уместным.
В самую первую очередь оно создается для людей и лично меня - интересует мнение каждого

А чего мы ждем? Ноиз... Надо запускать движ, уже почти февраль закончился, а вместе с ним и конкурс
admin куда нам лучше выложить пост?
Сюда: Предложение по улучшению форума или лучше создать отдельный топик вот тут:Дорогая администрация! ?

Он имеет сейчас потенциал быть не только оторванным от сердца ПО из привата, но и шикарной точкой входа для новичков.

Мы поделились лишь кусочком, ведь когда я начинал работать в контексте доров - в паблике вообще ничего не лежало, о пандоре и прочей х#йне особо говорить нет смысла.
И да, это шикарная точка входа для новичков, из минусов - без разраба будет трудно всем этим заниматься, но у нас есть Kotowski , и думаю он с радостью включится в жизнь форума, когда тоже увидит в этом перспективу ну или хотя бы обратную связь от участников community, ведь ты Ноиз сам знаешь, что вы разрабы - не особо общительные))

А возможно и захотите через какое-то время делиться фичами по чуть чуть из вашей приватной версии? или, может, по заветам запада - кнопка upgrade to pro =) и под капотом как self-hosted версия, так и в вашем абузоустойчивом облаке в кубере, так сказать для совсем ленивых.
Так что наоборот ты мне скажи, какие планы =)

Возможно! В пару предложений явно не уложусь, давай пока кратко:
Фичами точно будем делиться, как технического формата так и теоритического.
Я бы даже запустил некоторые тесты с особенно способными ребятами или даже совместные проекты, вот о тебе часто думаю)
Есть еще разрабы WPU, но я не в курсе на сколько они готовы договариваться, так или иначе у нас есть исходных код, да... корявый, но - если приложить усилия, можно довести до ума как минимум.

Я так вижу - будет отдельный раздел в Спам, Трафик, Инсталлы | SEO раздел
С другими источниками я тоже знаком, но не так плотно - объективно я не знаю о чем писать в контексте спама, или таргетированной рекламы.
О PPC могу поддержать разговор

Внутри SEO раздела будет два уровня
1ый уровень - паблик ( для всех ) | Белые - Сервые вертикали

Хочу довести до ума треды White SEO / Gray SEO
+ есть мысли поделиться некоторыми технологиями, например:

1. Накрутка ПФ в Яндекс
- я бы зашел на рынок яндекса без чернухи и дропнул наш софт в качестве SaaS сервиса за небольшую подписку под Яндекс на этапе бета тестирования
Вполне вероятно, некоторые пользователи внесли бы свою лепту в разработку ( разработка идет на зенке )

2. Запуск Дорвеев в Яндекс с трансфером трафа по нашей рефке, на наш бот
- мы сейчас активно работаем с людьми из смежных отраслей, которые вообще не соприкаются с нашим рынком. Недавно проходили тесты под гугл - на адалт, что самое интересное - в результате тестов, у нас пошел яндекс.
У нас есть бот который раздевает девочек ( раздеватель ), мы могли бы дать рефку парням на адалт и выкатить функционал который позволяет генерировать трафик на данный тематический вектор.

Почему я готов поделиться этим условно за "копейки" ?
- все просто, меня интересует именно бурж рынок, а не СНГ - но, тем кто в тему пришел недавно, будет проще учить сео на своем родном языке
- Манифест. Мы против работы по РУ! | полностью поддерживаю, но идеи изложенные выше не соприкасаются с скамом и прочими грязными делишками, наша команда так же против работы внутри РУ и всему постсоветскому пространсву, включая даже Украину.

2ый уровень - приват ( за подписку ) | Black SEO Бурж
с полноценным доступом к нашим технологиям и разрабам, речь идет о всех технологиях

Здесь хочу довести до ума тред Black SEO
+ Дропнуть вообще все, что у нас есть. Грубо говоря, человек попадает в приват за бабло и работаем в тандеме с нами, или просто пользуются технологиями, или вносит свои предложения по улучшению и мы их реализуем.
Здесь нужно обсужать, но примерно уже есть некоторое виденье, гляди сюда

Смотри, моя идея в чем, сделать общий yii2 проект который будет содержать общие модели и функционал (запись статистики, определение бота, проекты, настройки проектов, домены и тд и тд)
И сделать модули, каждый модуль будет независим

Модуль панель
Модуль форумы
Модуль ддл
Модуль фермы
Модуль стандарт дор
Модуль накрутки ПФ

Далее когда юзер заходит к нам он проходит цепочку, сначала ищется домен, по нему определяется проект
По проекту определяется модуль, далее направляется логика внутрь модуля
А в модуле уже идет связанная часть отображением форума как сейчас
В модуле ддл будет отображаться например наша адалт ддл
А панель для админов и управлениями настройками как сейчас

еще вроде бы обсуждали про поведенческие факторы в лс?

всё почти готово, огромные обновы, скоро и сюда основные статьи занесу, и кстати, одна из них идеально бы легла в новую структуру подфорумов в раздел траффик. он в итоге тут планируется, или нет? могли бы шикарно связать всё это воедино, чтоб перекликалось. пока выжидаю что по итогу планируется, чтоб модерам лишней работы по переносу тем не создавать

С тобой обсуждали, с другими не особо. Вот Яндекс я хотел бы дропнуть для паблика, а бинг уже оставить для привата.

всё почти готово, огромные обновы, скоро и сюда основные статьи занесу, и кстати, одна из них идеально бы легла в новую структуру подфорумов в раздел траффик. он в итоге тут планируется, или нет? могли бы шикарно связать всё это воедино, чтоб перекликалось. пока выжидаю что по итогу планируется, чтоб модерам лишней работы по переносу тем не создавать

Что касается твоего софта, да - надо переносить, я считаю его очень перспективным, особенно перспективно под него свой антик запиздярить
На этой базе можно развернуть как минимум несколько сервисов под арбитражников

1. Склик рекламы ( я знаю кому это продать )
2. Свой антик ( тоже знаю кому продать, помоему эта х#йня всем нужна )

Noizefan давай я с админом поговорю, и мы решим уже точно - как/что/где будет расположено и т.д
До конца месяца закроем эту задачу

Те кто не в курсе, Ноиз один из специалистов форума exploit, очень сильный разраб с своим уникальном решением в области пф.
Если у нас софтина рассчитана на объем, то у ноиза больше история про точечную работу.

 

[xakmika]

Ребят, я года 4 назад искал чёрное сео и гугл пусть на такие темы, просто поверхностные описания. Есть на борту темы, где подробно рассказывается всё? А то термины сложноваты в этой статье.

 

[azcord]

Ребят, я года 4 назад искал чёрное сео и гугл пусть на такие темы, просто поверхностные описания. Есть на борту темы, где подробно рассказывается всё? А то термины сложноваты в этой статье.

Black SEO - [ Не для чайников ]​

но я не знаю, как ты все это будешь изучать без знаний мат.части...
Так что, наверное стоит изучить сперва материалы ДЛЯ ЧАЙНИКОВ
White SEO - [Для чайников] | Gray SEO - [Для чайников]

 

[HotTraffic]

С тобой обсуждали, с другими не особо. Вот Яндекс я хотел бы дропнуть для паблика, а бинг уже оставить для привата.

Что касается твоего софта, да - надо переносить, я считаю его очень перспективным, особенно перспективно под него свой антик запиздярить
На этой базе можно развернуть как минимум несколько сервисов под арбитражников

1. Склик рекламы ( я знаю кому это продать )
2. Свой антик ( тоже знаю кому продать, помоему эта х#йня всем нужна )

Noizefan давай я с админом поговорю, и мы решим уже точно - как/что/где будет расположено и т.д
До конца месяца закроем эту задачу

Те кто не в курсе, Ноиз один из специалистов форума exploit, очень сильный разраб с своим уникальном решением в области пф.
Если у нас софтина рассчитана на объем, то у ноиза больше история про точечную работу.

Это все касается Яндекса?

если кто под гугл работает по направлению с клика рекламы на своих сайтах - в лс (есть более 100 акков с сайтами для скликивания).

 

[azcord]

Это все касается Яндекса?

То что касается паблик версий - да, это будет касаться только Яндекса - если admin даст добро
То что касается приват версий - это будет гугл/бинг ( то чем непосредственно я сам занимаюсь )

если кто под гугл работает по направлению с клика рекламы на своих сайтах - в лс (есть более 100 акков с сайтами для скликивания).

На счет склика - нужно общаться с Ноизом | Noizefan
Пиши ему в личку или на експу, но я сразу отмечу тот факт, что он предоставляет инструмент, а не сервис.
Кстати, Noizefan - вот один из микро-сервисов которые вместе можем запустить и тесты в режиме онлайн проводить внутри форума ( еще обсудим этот момент )