Статья Part III : Доры - Генерируем тонны контента и фармим своего домашнего вебкраулера гугла в промышленных масштабах на базе динамического доргена

[azcord]

Запускай, лишними точно не будут))) Только под дорген отдельную ветку создать надо, туда и подтянутся заинтересованные дорвейщики.

admin , как тебе такое?) нам скоро понадобится отдельная ветка под дорген ))

 

[TM013]

Оу, даже так, ну окей
На счет партнерки спасибо, но у меня своя отработка от начала и до конца.
Могу сам ссылочку на слив дать в 3.15 с 50% рефшары

Ну смотри сам. Можешь в чятик попросится и там предложить партнерку, может топы подтянутся у которых уже есть опыт по довнлоаду.

Я знаю типа который заработал лям баксов на лосях за 2024 - а сейчас лавочка закрылась

Даже знаю на чем. На скаме крипты где за лид давался $1k трафферам когда сами скаммеры полностью обнуляли кошели с битками) Потом лосей сильно прессанули видно из органов, лавочку прикрыли. Были у них массовые чистки

 

[azcord]

Ну смотри сам. Можешь в чятик попросится и там предложить партнерку, может топы подтянутся у которых уже есть опыт по довнлоаду.

Как ты и сказал, раз обо мне знают - если им будет интересно, сами свяжутся, не так ли?
В этом и суть в связях с общественностью, работаем
И там где было 2 разраба, станет 10

Даже знаю на чем. На скаме крипты где за лид давался $1k трафферам когда сами скаммеры полностью обнуляли кошели с битками) Потом лосей сильно прессанули видно из органов, лавочку прикрыли. Были у них массовые чистки

Шаришь)

 

[TM013]

Хотя знаешь, TM013 мне тоже иногда кажется, что мы не тем занимается, бабки есть не только в download - но лично у меня идея фикс.
И сидеть дрочить в яндексе на рся - мне не интересно

Как сказал товарищ Мавроди -

• «Важен лишь масштаб деяний. Их абсолютная величина. Знак же значения не имеет. Минус легко меняется на плюс, и наоборот. Вот только ноль ни на что никогда не меняется».

Кстати, хитрая пирамида может проработать десятки лет. Как пример - Бернарда Мейдофф основатель фин. пирамиды которая проработала 40 лет.

 

[HotTraffic]

Внедрение скрытых ссылок на пирожках/пирогах давно не ново. Генерить доры на пирогах это утопия и далеко не умно. Можно куда более рационально распорядиться материалом, который будет долго работать и приносить бабло.

И еще совет, раз дорген все равно слить, то основной дорген выложить без докера в Php файликах со всеми зависимостями залить с исходниками. Сделать темку под этот дорген и всем сообществом можно потихоньку его дорабатывать и что-то новое внедрять с более активными участниками можно уже и команду создать попозже, остальные отпадут сами собой. Сейчас ИИ генеренку можно уже на автомате в самом доргене делать и подмешивать в текстовку.

Ботофермы на дропах/пирожках хороши для разгона ПБН сеток на которых можно размещать ссылки которые можно в бурже продавать и делать пятизначные профиты за счет ссылок. Даже можно пбн сетки организовать на ресурсах веб 2.0 что конечно потребует больше телодвижений, но все отлично продается и требует мин. фин. вложений. Можно в принципе только ПБН заниматься и неплохо жить....)))

О, тема набирает обороты!! Супер.

Хорошая идея ( и конечно она не нова ) - это ссылки на пирогах. Особенно там где нет трафа - использовать под ссылочное на доры на своих доменах.

Любая информация по дорвеям - это очень хорошо. Трафик - это деньги.

пс: проголосовал за данную тему!

 

[HotTraffic]

Как сказал товарищ Мавроди -

• «Важен лишь масштаб деяний. Их абсолютная величина. Знак же значения не имеет. Минус легко меняется на плюс, и наоборот. Вот только ноль ни на что никогда не меняется».

Кстати, хитрая пирамида может проработать десятки лет. Как пример - Бернарда Мейдофф основатель фин. пирамиды которая проработала 40 лет.

О да) размер конечно же имеет значние)
сразу пришла мысль про спортлото в рф - гембла в чистом виде)
ох, а она по сей день работает!?

> «Спортлото» отмечает юбилей — 55 лет. Первый тираж лотереи «Спортлото» состоялся 20 октября 1970 года. Она быстро приобрела всесоюзную популярность, а за билетами выстраивались очереди.

 

[Tentori]

Было бы круто увидитеть развитие ветки отдельной по дорам

50 млн. бота это так, не о чем. Вот пара млрд бота в сутки и более млн. трафа дейли с тир 1-2 или хотя бы тир 3 тогда мог бы говорить с топами))
Автору был задан наводящий вопрос от одного дорвейщика но он его не увидел, значит это ему не нужно или еще не дорос до этого уровня.))

У этого дорвейщика доры генерятся на пандоре (это десктопный дорген, кто не знает ) с плагином под ВП генерит млн. в сутки на сниппетах, текстовка генеренка ИИ + система для ПФ под яндекс + система скликивания реклы и с пробивом фрода. Все это дело крутится на посредственном серваке за 12 тыс. руб. в мес.

На всех дорах развешен рся)) За год профит в рся более 170 млн руб. который весь успешно выведен и давно крутится в крипте... Были доры зареганы в пуш партнерках и товарных партнерках. Сколько там вышло профита, об этом история умалчивает. И да, работает в соло без команды.))

Но статья хороша, проголосовал. Хотя много воды.

Автору побольше развиваться в сторону тех. мышления, а то его появление похоже на одиночный пикет с матюгальником на площади.) Так он видится в глазах технарей, которые в основном работают молча и не заметно..))

Ботоферма это технологии пятилетней давности. На пике дорвейщиками в теме зарабатывалось от $5к дейли и это на лосях)) Были и ноунейм дорвейщики, которые работали и работают молча и мелькали статки где были шести и семи значные суммы $$$. Ну, а правда это или нет, ну а кто вам ее скажет?))

Внедрение скрытых ссылок на пирожках/пирогах давно не ново. Генерить доры на пирогах это утопия и далеко не умно. Можно куда более рационально распорядиться материалом, который будет долго работать и приносить бабло.

И еще совет, раз дорген все равно слить, то основной дорген выложить без докера в Php файликах со всеми зависимостями залить с исходниками. Сделать темку под этот дорген и всем сообществом можно потихоньку его дорабатывать и что-то новое внедрять с более активными участниками можно уже и команду создать попозже, остальные отпадут сами собой. Сейчас ИИ генеренку можно уже на автомате в самом доргене делать и подмешивать в текстовку.

Ботофермы на дропах/пирожках хороши для разгона ПБН сеток на которых можно размещать ссылки которые можно в бурже продавать и делать пятизначные профиты за счет ссылок. Даже можно пбн сетки организовать на ресурсах веб 2.0 что конечно потребует больше телодвижений, но все отлично продается и требует мин. фин. вложений. Можно в принципе только ПБН заниматься и неплохо жить....)))

А какие технологии актуальны в 2025 ? Что новое?

 

[TM013]

О да) размер конечно же имеет значние)
сразу пришла мысль про спортлото в рф - гембла в чистом виде)
ох, а она по сей день работает!?

> «Спортлото» отмечает юбилей — 55 лет. Первый тираж лотереи «Спортлото» состоялся 20 октября 1970 года. Она быстро приобрела всесоюзную популярность, а за билетами выстраивались очереди.

Насколько мне известно года 3 назад еще работала. По слухам все еще продолжают функционировать но под другими названиями.

 

[Antarus]

Полному нубу в этом деле, стоит ли лезть в это?

 

[TM013]

Было бы круто увидитеть развитие ветки отдельной по дорам

А какие технологии актуальны в 2025 ? Что новое?

Особо никаких кроме ИИ. Все что было старое в той или иной степени работает. Поменялись методы работы с конкретными ресурсами и каждый по своему пилит свои комбайны по добыче трафа. Как пример, то же проксирование сайтов, в 2016 когда еще не было широко известно массам, даже самые отбитые нубы с легкостью делали на проксировании адалтников $500+ дейли. Более ушлые товарищи подсовывали лоадеры, скам, фишинг. Когда проксирование ушло в широкие массы, естественно ПС ввели алго против этого беспредела и работать как прежде перестало. Но проксирование работает и сегодня, просто нужен другой подход к этому делу.

 

[azcord]

О, тема набирает обороты!! Супер.

Это точно! Работаем!
Господа, в понедельник сяду за ответы на ваши сообщения, сегодня - выходной, так что рассчитываю на понимание

Было бы круто увидитеть развитие ветки отдельной по дорам

Думаю, это реально)

Полному нубу в этом деле, стоит ли лезть в это?

Хмм, сложный вопрос... Тоже придется большой ответ писать, но если кратко - думаю, нет.
Вот здесь : Red'n Team | Blog Команды чекнутых сеошников тебе распишу всю информацию
+ будет бонусная статья про скамером которые мимикрируют под вебвизитер в гугле

Особо никаких кроме ИИ. Все что было старое в той или иной степени работает. Поменялись методы работы с конкретными ресурсами и каждый по своему пилит свои комбайны по добыче трафа. Как пример, то же проксирование сайтов, в 2016 когда еще не было широко известно массам, даже самые отбитые нубы с легкостью делали на проксировании адалтников $500+ дейли. Более ушлые товарищи подсовывали лоадеры, скам, фишинг. Когда проксирование ушло в широкие массы, естественно ПС ввели алго против этого беспредела и работать как прежде перестало. Но проксирование работает и сегодня, просто нужен другой подход к этому делу.

Именно так, сейчас все крутится вокруг ИИ, но мы с тобой еще это обсудим на неделе

 

[azcord]

Привет, форум!
На этой неделе буду посвободней, поэтому постараюсь отвечать всем вовремя, а не через неделю после отклика...
А раз так, пожалуй начнем прямо сейчас

Софт ставится прям буквально в две команды, и их даже менять никак не нужно
можно хоть автоматическую раскатку на ансибле сделать, была бы необходимость, но явно плюсик
Панель шикарна, детально проработана, все что нужно и ничего лишнего. все работает
легко кастомизируется, сама панель на Yii, + заяц, редиска, мускул+пма
не забываем менять все дефолт параметры, если не хочешь поделиться базами с миром

p/s

я не пойму, то ли у меня бан какой то теневой, то ли что
ты то видел что я в топике отписался?
последнее время что не напишу - меня все игнорируют на форумах

Ноиз, это ты что ли?!
А я все думал - кто это такой замороченный)
Рад тебя видеть на xss, я то думал - ты только на експе сидишь
Сейчас тебе отвечу

я думал, а чего бы такого интересного сделать, если в специфике темы я пока не особо бум бум, а интересного чего-то сказать хочется?
Для подобной системы важно что? держать большой траф и не падать. в конце концов ради него все и замышлялось
Проведем нагрузочное тестирование, причем постараемся приблизиться к скриншотам из статьи.
6 млн уников за двое суток? ну, +-, это типа 35 запросов в секунду
мы попробуем до 100 RPS, это должно быть где то 8,64 млн уников в сутки, будем долбить оба кейса (юзер+гуглобот параллельно)
погнали

параметры:
i5-12450H 12c, 16gb ram, на фоне всякая херня по типу фаерфокса, сам проект в Docker Desktop и тд.

начинаем с 20 рпс с шагом в х2, то есть 20, 40, 60, 80, 100
это потому что два запроса на разные сценарии одновременно
смотрим по рейту сообщений в зайце:
Посмотреть вложение 103346

интереса ради в итоге догнал спокойно до 26 млн уников, дальше не стал смысла не вижу
ребит в стандарт конфиге имеет какой то стоп на 60 m/s, при том рам растет при привышении очень слабо, максимум что видел это 25мб
в данном случае на bottleneck тестировалось именно взаимодействие микросервисов, т.е. пыхи базы и зайца, т.к. больше тут бенчмаркать и нечего в общем то. это грамотно распределенная ответственность по зрелым чужим решениям, и правильный их менеджмент - лучшая стратегия, и сам сейчас так и стараюсь.
в общем - про кубер ребята загнули, до него вам, пользователям, еще дорасти придется)) но я уверен что особо мощным юзерам - ребята не будут против помочь консультацией по миграции.

Посмотреть вложение 103347

никаких утечек, проблем, деградации не заметил, за кадром гонял еще кучу, по 10 мин, по 15
не забываем, что это на локалке, с кучей бэкграунд процессов и вообще ничерта не чистый тест, но, тем не менее, - это серьезный результат
это все говорит мне о том, что софт - не просто какая-то поделка с интересными идеями, а временем проверенное программное обеспечение, выдерживающее серьезную нагрузку прямо из коробки. более - никто не запрещает пошаманить с конфигами.

Повторюсь, я в теме траффа не особо, у меня специфика чуть другая, но даже само наличие такого софта в опен сорце побуждает начать даже просто для интереса. Порекомендовал бы каждому просто скачать, запустить и посмотреть - как минимум, даже если тоже не имеешь отношения к сабжу сильного

Шикарный фитбек!
Побольше бы такого отклика
На сегодня, ты один из немногих кто действительно развернул и потратил время на вникнуть - изучить!
Очень приятно читать все выше написанное, еще раз спасибо за внимание к нашей работе

К слову, если ты в трафе не бум бум, то я вот в техничке - так себе, часть слов вообще не разобрал, кек
Но я уже нашел решение, дабы не выглядеть идиотом в глазах общественности

Господа, встречаем! техно.гений php @Kotowski
Киса наш тимлид отдела разработки, тот самый человек чьими руками был создан дорген и да, теперь он тоже есть на форуме.

Noizefan​

Ноиз, киса как на форум зайдет, отпишет тебе в треде по техническим моментам, а пока его нет, давай я отвечу на вопросы и накидаю еще сверху мыслей

дабы меня не назвали купленным "экспертом" - чуть по нано косякам скажу:
- не хватает информации лично мне. было бы круто сделать хотя бы десяток тултипчиков, но на этом пункте сказывается мое среднее понимание области и терминологии. хотя и спецы, я уверен, не готовы помнить всегда и всё. Или само сообщество могло бы просто собрать глоссарий небольшой, тогда и будет больше новичков
- чтоб прям совсем идеально - форма загрузки скуль баз и простой круд, тогда это минус контейнер, минус вектор атаки, минус необходимость уметь пользоваться пма.
- вытащить бы конфиги от мускула, зайца, редиса, нгинкса в yaml путями, чтоб можно было подергать при необходимости, хотя на практике до сотен миллионов хитов это вряд ли понадобится, но хотя бы для чисто визуально перфектного восприятия структуры проекта.

но это натурально притягивание за уши. мелочи, репа на гитхабе - никто не мешает мне самому все это при необходимости допилить.

- по первому пункту: нам тут предложили TM013 и Tentori создатьотдельный топик под дорген, в целом, в целом.... Все что ты описываешь, более чем реально сделать
Я думаю мы обсудим этот момент отдельно вместе с admin

-так, по второму пункту: нужна пояснительная бригада
Kotowski дай обратную связь по этому пункту

-по третьему пункту, даже не знаю, дело вкуса, но если это будет необходимо для community мы конечно сделаем

А теперь самый важный вопрос
Noizefan, есть идеи что с этим доргеном делать?)
И да, как там твой софт, кстати - поживает?

 

[Tentori]

- по первому пункту: нам тут предложили TM013 и Tentori создатьотдельный топик под дорген, в целом, в целом.... Все что ты описываешь, более чем реально сделать
Я думаю мы обсудим этот момент отдельно вместе с admin

Полностью поддерживаю. Для реализации комьюнити. Тем более, когда человек готов в виде azcord заниматься данным разделом и формировать комьюнити. Думаю данный раздел будет обрастать материалом, если за ним следить и регулировать корректно. Я думаю появятся генераторы, автоматизации и тд

 

[BetaMetaXone]

У меня в 2023 выкосило все пачки, попытки залететь в доры обратно не увенчались успехом, мб потому что в соло ковырялся. Здорово, что тема живее всех живых, да и интерес у комьюнити присутствует

 

[Noizefan]

Ноиз, это ты что ли?!

а я надеялся тихонечько пролечу и меня даже ты не узнаешь =))
ну все, лавочку спалил, попозже переименуюсь тогда))

создать отдельный топик под дорген, в целом

я думаю это здраво. В чем ваше отличие от большинства конкурсантов - вы не просто выложили кусок кода и до свидания, вы, как я понял, планируете его развивать по мелочи по возможностям? С таким настроем отдельный топ точно нужен

-так, по второму пункту: нужна пояснительная бригада

а я у него в лс уже спрашивал, обсудили что этот пункт точно не нужен, ибо базы в среднем большие и тупо не загрузить их через форму на сайте адекватно, так что отбой =)

methaqualon, есть идеи что с этим доргеном делать?)

Он имеет сейчас потенциал быть не только оторванным от сердца ПО из привата, но и шикарной точкой входа для новичков. А возможно и захотите через какое-то время делиться фичами по чуть чуть из вашей приватной версии? или, может, по заветам запада - кнопка upgrade to pro =) и под капотом как self-hosted версия, так и в вашем абузоустойчивом облаке в кубере, так сказать для совсем ленивых.
Так что наоборот ты мне скажи, какие планы =)
еще вроде бы обсуждали про поведенческие факторы в лс?

И да, как там твой софт, кстати - поживает?

всё почти готово, огромные обновы, скоро и сюда основные статьи занесу, и кстати, одна из них идеально бы легла в новую структуру подфорумов в раздел траффик. он в итоге тут планируется, или нет? могли бы шикарно связать всё это воедино, чтоб перекликалось. пока выжидаю что по итогу планируется, чтоб модерам лишней работы по переносу тем не создавать

 

[shutan]

Автор не мог бы ты залить уже распакованный дорген для загрузки на vps
имею ввиду уже с мигрированной базой данных sql
файлами
runtime/ contains files generated during runtime
vendor/ contains dependent 3rd-party packages
чтобы загрузить файлы, в файле .env прописать базу данных, и саму базу данных
Спасибо

 

[Kotowski]

Всем привет
Я киса, техно.мозг red"n team, азкорд доканал с идеей зайти на форум - и вот я здесь

 

[HotTraffic]

Какие люди в данной теме - вау) легенды своего времени!

Нойс - много лет юзали Ваш дорген на пирожках (правда не много улучшали потихоньку, чтобы шаблоны лучше брал доноров и тд, но это так, косметичка) - спасибо Вам за отличный продукт!

Редлайн - тоже юзали, отличный дорген!

А ну ребята, стряхните пыль с себя, ворвитесь в топы гугла в 2025 году!

 

[azcord]

Всем привет
Я киса, техно.мозг red"n team, азкорд доканал с идеей зайти на форум - и вот я здесь

Ну ты молодец конечно) Ответь парням на сообщения только теперь

 

[Kotowski]

Автор не мог бы ты залить уже распакованный дорген для загрузки на vps
имею ввиду уже с мигрированной базой данных sql
файлами
runtime/ contains files generated during runtime
vendor/ contains dependent 3rd-party packages
чтобы загрузить файлы, в файле .env прописать базу данных, и саму базу данных
Спасибо

Современыне фраемворки не рекомендованно ставить распакованными, как минимум нужно применять composer для установки пакетов, для упрощения поднятия всех сервисов было упаковано все в докер, который поднимает все базы и очереди