Part I [ Создание инфраструктуры под накрутку ПФ ]
С Вами на связи Azcord и мы начинаем
Что такое поведенческие факторы:
Начнем мы эту историю из далека - какого черта нас вообще интересуют ПФ и что это вообще такое? Просвещенные сразу могут пролистать эту часть статьи, но мне ведь нужно как-то подвести повествование к практической части.
И так, ПФ - що это? Поведенческие факторы есть — удовлетворенность информацией, совокупность положительных/отрицательных паттернов поведения пользователя на поисковой выдачи, так и внутри конкретного сайта. Исходя из этого, мы можем прийти к умозаключению, что эти паттерны можно накручивать и в теории достаточно легко. Почему?
Яндекс - это про деньги. И это отличные новости.
Поведенческие факторы имеют очень много системного шума.
Окей, нам нужно понять от куда Яндекс подсасывает информацию?
Есть три основных источника, но стоит понимать, что это далеко не все. Поисковик учитывает все сигналы которые может извлечь из поведения. Сейчас же остановимся на трех основных, а остальные будем изучать в процессе тестов.
1. Поисковая выдача ( результаты поиска )
Любая поисковая система следит за своей выдачей, она наблюдает за тем, куда мы переходим, как долго задерживаемся на странице, как мы вводим мышкой и т.д всю эту информацию она собирает из результатов поиска.
2. Браузеры
В пример возьмем гугл. У гугла есть браузер хром, а еще у гугла есть платформа андроид, и уже давно не секрет, что гугл за нами следит. Всю информацию с этих источников, уходить напрямую в дата центры.
3. Сервисы веб-аналитики и прочие
Тут все просто, Яндекс-метрика - внутри которой есть свой антифрод, а на поисковой выдачи свой. Сюда бы я еще вписал остальные сервисы яндекс, например: Яндекс Карты, Яндекс бизнес.
Ага, это мы выяснили. Следствие - мы можем разделить ПФ условно на две составляющие:
Внешние факторы:
CTR — показатель кликабельности
Идея примитивная до жути, нам нужно чтобы пользователь кликал на сайт. Останавливаться на идеях расширенного Featured Snippet, проработке description и погрузки адекватного favicon - оставим
Длина клика — показатель оценивающий время между переходом на страницу и возвращением в поисковую выдачу.
Показатель страниц открытых в одном сеансе — количество открытых страниц в одном сеансе.
Последний клик — показатель завершенности поисковой сессии.
( Этот пункт по моему субъективному мнению где-то посередине, его как и все остальные мы рассмотрим подробнее в процессе тестов )
Внутренние факторы:
Длительность сеанса — время проведенное на сайте.
Показатель отказов — кол-во пользователей покинувшие страницу.
Глубина перехода — количество открытых страниц внутри сайта.
Конверсионные действия — не требует пояснений
Наверняка есть и другие факторы которые я упустил на сегодня из виду, ну что же, будем изучать это дерьмо в режиме реального времени. Собственно факторы описанные выше мы и будем крутить.
Что нам для этого потребуется?
1. Нам нужен софт, на сейчас у меня есть три варианта которые я выделил для себя. Два из которых написаны на BAS ( кому-то жаль тех кто крутит на басе, правда никто толком не говорит почему, добре, мы это выясним на практике )
Список:
WebVisiter
- Только ленивый про него не знает, купить можно здесь: https://t.me/arxatpro
RedBull
- Менее известный, но так же можно найти в паблике ( начнем с него )
Поделюсь ссылкой с разрешения разраба.
Termidroid Network
- Привлек мое внимание, подробности можно изучить здесь: https://************/discussion/thr...pf-do-20-vizitov-besplatno-ezhednevno.104189/
Для начала пойдет, едем дальше
2. Нам необходимо железо на которое мы поставил софтину.
Тут есть три очевидных варианта:
В общем дороговато, не так ли? Так или иначе сервак с подобными характеристиками можно найти в пределах 150-200$. А то и лучше по характеристикам.
Примерная цена за характеристики нашего сервера:
Это вообще пиздец...
Купить север/заказать сервер
- Есть вас не пугают космические цены-это вполне приемлемый вариант, стукнется вам это счастье примерно в 3000-4000$
Алиэкспресс
Плюсы:
- достаточно демократичные цены
- большой выбор
Минусы:
- очень долгая доставка (1-2 месяца)
- если придет брак, то это снова тратить большое количество времени на возврат/замену
- можно купить и все собрать за пару дней
- какие никакие гарантии, если покупаете что то в магазине
Минусы:
- очень скудный выбор, серверное оборудование не купишь в ближайшем днс, нужно искать специализированные магазины, что не в каждом городе есть, либо же прочесывать авито в поисках удачных вариантов (Кстати б/у процы и оперативки можно смело брать, если они не перегревались (что в принципе очень сложно сделать), то они в полном порядке, все это дело необходимо проверить через тот же memtest или аиду)
- ну и самый главный минус, вытекающий из первого - цена (в магазинах все комплектующие с али будут раза в 1,5 дороже)
Мы решили собирать свой сервак:
1. Процессор - забываем сразу же про типичные интел и райзен из днс (для наших целей цена не оправдано высока), самое главное, нам важно количество физических ядер и потоков, чем больше тем лучше, на частоту процессора нам фиолетово, т.к. программы наши требуют именно многопоточность, рендирингом видосов мы не собираемся заниматься
Хороший выбор будет в пользу E52696v3/4
Цена: 12-20к x 2 = 24-40к
2. Материнская плата - под наши процы берем двухпроцессорную материнку на сокете LGA2011
Выбор пал в сторону MACHINIST X99 D8, так как нашел несколько сборок сервака с хорошими отзывами именно на ней
Цена: 12-20к
3. Оперативная память - решили брать сразу с запасом 256гб серверную память от самсунга
Взяли 8 плашек по 32гб с частотой 2133
Цена: 30к
4. SSD - берем чисто под систему и важные проги 500гб
Цена: 6к
5. Жесткий диск - в зависимости от ваших потребностей выбирать объем.
Мы взяли два серверных по 16тб
Цена: 45к
6. Процессорный куллер https://aliexpress.ru/item/1005002366025350.html?sku_id=12000029400957896
Цена: 3-6к
7. Блок питания - выбираем хороший, с запасом, чтоб он не работал постоянно на 100%, мы взяли голдовский deepcool на 800 Ватт в ближайшем ДНС
Самое главное, у нас двух процессорная мать, а значит должно быть два питания на процессор и смотрим длину кабеля, который идет на проц, он не всегда может дотянутся и придется покупать переходник
Цена: 9-10к
8. Видеокарта - берем какую нибудь затычку с авито
Цена: 2к
К нашему ИБП воткнули еще сетевой фильтр, на всякий случай
Общая сумма: где-то 2к баксов вместе со всеми комплектующими. Короче
3. Создание прокси фермы
Немного математики:
1 мобильная прокся ( приват ) стоит 2500 - да еще не факт, что она приватная, но это уже другая история. Исходя из характеристик сервера мы можем расчитывать минимум на 100 проксей. 100 x 2500 = 250к в месяц, четверть ляма...
К этому мы условно еще можем прибавить кэш за аренду сервера в 60-70к...
Не комильфо, а если откровенно - это пиздец. Как вы уже поняли, по 320к/месяц платить я не хочу. Что делать? Собрать свою прокси ферму. О_о да, у кого-то будет секс.
Начинаем изучать тему, что нам потребуется?
1. Нам нужен еще один сервачек на которым будет развернута сеть. Здесь в целом ничего критичного, по этому купим какую-нибудь залупу под тесты на авито в приделах 150-200$ с следующими характеристиками:
Минимум проц с 6 физическими ядрами + 6 виртуальных
Оперативы гигов 8-16 ГБ
Тут мы его немного апгрейдили, но в целом ничего интересного. К серваку который держит ферму так же был докуплен ИПБ.
2. Далее нам нужны прошитые модемы. Мое зоркий глаз остановился на модемах хуевей е3372 и
хуевей е3372 - 30шт по 2500 = 75к
хуевей е3376 - 30шт по 1500 = 45к
Итог на модемы ушло: 120000р
3. В модемах как вы, наверное, догадались должны находиться симки.
Под модемы я нашел 30 симок стоимостью 1200р x 30 = 36000р ( оператора оставить за кулисами ) с безлимитным интернетом 250р/месяц
Дополнительно были закуплены еще два оператора по 15шт с стоимость 500р, 500 x 30 = 15000р с безлимитным интернетом в 500-550р/месяц
А теперь посчитаем сколько стоит в прокся при наличии фермы 22 - 25к за ферму в 60 портов, черт с ним когда увеличим кол-во проксей до 100 эта сумма будет едва ли доходит до 35к/месяц. 35к рублей даже близко не стоит рядом с 250к...
4. Ах да, модемы же нужно куда-то вставлять.
Поэтому заранее был куплен хаб на 30портов ORICO вместе со всем железом. За 10к, от которого в последствии пришлось избавиться и заменить на SIpolar на 20 портов каждый.
- Приобрел 3 хаба Sipolar на 20 портов по 100$ за каждый. 300$
5. Далее на всех модемах нужно поменять Ip по типу 144.75.*.100, заместо звездочки любое число, главное, чтобы у каждого модема оно было уникальное и настроить ротацию
Ну и здесь началась ебля... Именно на процессе настройки фермы
очень долго ебались , так как во всех мануалах в интернете рекомендуют программу 3proxy, то пытались сначала ее установить, далее нормально настроить ротацию ip.
В итоге угробив несколько недель и денег на проггера, который даже в один момент предложил уже тупо написать свой скрипт, на выходе мы нашли два готовых варианта:
1) https://bablosoft.com/shop/SwitchStation - скрипт на две машины с максимальным кол-ом подключений 20 устройств.
2) https://kraken-proxy.ru/ - этот вариант оказался более лояльный, итог мы взяли его.
Программа максимально понятная, есть мануалы по настройке модемов, есть саппорт, честно говоря который не особо сговорчив, даже за денюжку
В целом достаточно установить прогу на убунту, зайти, создать и настроить “профили модемов”, после уже на них поднимать прокся.
Сейчас будет небольшая выжимка информации и советов, расскажу про трудности, и проблемы на решение которых у нас ушли месяцы.
1. Не берите хаб orico, есть свои проблемы с питанием и портами, долго выявляли эту проблему, заменили его на промышленный хаб Sipolar на 20 портов, теперь все четко.
Чтобы модемы не наебнусь быстро, рекомендую снимать корпуса и ставить все это дело под кондер. В общем обеспечить необходимую температуру. У нас на данном момент ферма расположена в неотапливаемом помещении, на сегодня не паримся по этому направлению, но скоро....
- так же сигнал могут улучшить специальные антенны для модемов, после подключения качество сигнала улучшилось более чем.
Далее
- поменять прошивку модема, нам это очень помогло, сигнал с одной красной полоски вырос до стабильных 3-4
До смены прошивки
После смены прошивки
Теперь вернемся к проблемам который нам пока не удалось решить.
1. Отваливаются модемы, есть две гипотезы почему так происходит:
А. Есть просадка напряжения по всему дому... Следствие - ферме не хватает питания и модемы отлетают как семечки. Из 30 подключенных модемов, стабильно работают 24.
Б. Мать сервера которая обеспечивает работу ферме не вывозит такое кол-ви активных USB подключений. Соответственно модемы отваливаются.
В целом, осталось надеть только носки.... И все запуститься, тестирование прошло +- успешно за исключением, полной реализации всей доступной мощности...
С Вами на связи Azcord и мы начинаем
Что такое поведенческие факторы:
Начнем мы эту историю из далека - какого черта нас вообще интересуют ПФ и что это вообще такое? Просвещенные сразу могут пролистать эту часть статьи, но мне ведь нужно как-то подвести повествование к практической части.
И так, ПФ - що это? Поведенческие факторы есть — удовлетворенность информацией, совокупность положительных/отрицательных паттернов поведения пользователя на поисковой выдачи, так и внутри конкретного сайта. Исходя из этого, мы можем прийти к умозаключению, что эти паттерны можно накручивать и в теории достаточно легко. Почему?
Яндекс - это про деньги. И это отличные новости.
- "Что бы все это дело фильтровать нужны ресурсы, которых Яндекс - не хочет выделять."
Поведенческие факторы имеют очень много системного шума.
- "Человек в сущности - существо иррациональное и в каждом отдельном случае пользователь является уникальным."
- "Инженеры яндекса сами в открытую об этом говорят."
Окей, нам нужно понять от куда Яндекс подсасывает информацию?
Есть три основных источника, но стоит понимать, что это далеко не все. Поисковик учитывает все сигналы которые может извлечь из поведения. Сейчас же остановимся на трех основных, а остальные будем изучать в процессе тестов.
1. Поисковая выдача ( результаты поиска )
Любая поисковая система следит за своей выдачей, она наблюдает за тем, куда мы переходим, как долго задерживаемся на странице, как мы вводим мышкой и т.д всю эту информацию она собирает из результатов поиска.
2. Браузеры
В пример возьмем гугл. У гугла есть браузер хром, а еще у гугла есть платформа андроид, и уже давно не секрет, что гугл за нами следит. Всю информацию с этих источников, уходить напрямую в дата центры.
3. Сервисы веб-аналитики и прочие
Тут все просто, Яндекс-метрика - внутри которой есть свой антифрод, а на поисковой выдачи свой. Сюда бы я еще вписал остальные сервисы яндекс, например: Яндекс Карты, Яндекс бизнес.
Ага, это мы выяснили. Следствие - мы можем разделить ПФ условно на две составляющие:
Внешние факторы:
CTR — показатель кликабельности
Идея примитивная до жути, нам нужно чтобы пользователь кликал на сайт. Останавливаться на идеях расширенного Featured Snippet, проработке description и погрузки адекватного favicon - оставим
Длина клика — показатель оценивающий время между переходом на страницу и возвращением в поисковую выдачу.
Показатель страниц открытых в одном сеансе — количество открытых страниц в одном сеансе.
Последний клик — показатель завершенности поисковой сессии.
( Этот пункт по моему субъективному мнению где-то посередине, его как и все остальные мы рассмотрим подробнее в процессе тестов )
Внутренние факторы:
Длительность сеанса — время проведенное на сайте.
Показатель отказов — кол-во пользователей покинувшие страницу.
Глубина перехода — количество открытых страниц внутри сайта.
Конверсионные действия — не требует пояснений
Наверняка есть и другие факторы которые я упустил на сегодня из виду, ну что же, будем изучать это дерьмо в режиме реального времени. Собственно факторы описанные выше мы и будем крутить.
Что нам для этого потребуется?
1. Нам нужен софт, на сейчас у меня есть три варианта которые я выделил для себя. Два из которых написаны на BAS ( кому-то жаль тех кто крутит на басе, правда никто толком не говорит почему, добре, мы это выясним на практике )
Список:
WebVisiter
- Только ленивый про него не знает, купить можно здесь: https://t.me/arxatpro
RedBull
- Менее известный, но так же можно найти в паблике ( начнем с него )
Поделюсь ссылкой с разрешения разраба.
Termidroid Network
- Привлек мое внимание, подробности можно изучить здесь: https://************/discussion/thr...pf-do-20-vizitov-besplatno-ezhednevno.104189/
Для начала пойдет, едем дальше
2. Нам необходимо железо на которое мы поставил софтину.
Тут есть три очевидных варианта:
- Арендовать сервер
В общем дороговато, не так ли? Так или иначе сервак с подобными характеристиками можно найти в пределах 150-200$. А то и лучше по характеристикам.
Примерная цена за характеристики нашего сервера:
Это вообще пиздец...
Купить север/заказать сервер
- Есть вас не пугают космические цены-это вполне приемлемый вариант, стукнется вам это счастье примерно в 3000-4000$
- Собрать свой сервер
Алиэкспресс
Плюсы:
- достаточно демократичные цены
- большой выбор
Минусы:
- очень долгая доставка (1-2 месяца)
- если придет брак, то это снова тратить большое количество времени на возврат/замену
- Купить все в специализированных магазинов и частников
- можно купить и все собрать за пару дней
- какие никакие гарантии, если покупаете что то в магазине
Минусы:
- очень скудный выбор, серверное оборудование не купишь в ближайшем днс, нужно искать специализированные магазины, что не в каждом городе есть, либо же прочесывать авито в поисках удачных вариантов (Кстати б/у процы и оперативки можно смело брать, если они не перегревались (что в принципе очень сложно сделать), то они в полном порядке, все это дело необходимо проверить через тот же memtest или аиду)
- ну и самый главный минус, вытекающий из первого - цена (в магазинах все комплектующие с али будут раза в 1,5 дороже)
Мы решили собирать свой сервак:
1. Процессор - забываем сразу же про типичные интел и райзен из днс (для наших целей цена не оправдано высока), самое главное, нам важно количество физических ядер и потоков, чем больше тем лучше, на частоту процессора нам фиолетово, т.к. программы наши требуют именно многопоточность, рендирингом видосов мы не собираемся заниматься
Хороший выбор будет в пользу E52696v3/4
Цена: 12-20к x 2 = 24-40к
2. Материнская плата - под наши процы берем двухпроцессорную материнку на сокете LGA2011
Выбор пал в сторону MACHINIST X99 D8, так как нашел несколько сборок сервака с хорошими отзывами именно на ней
Цена: 12-20к
3. Оперативная память - решили брать сразу с запасом 256гб серверную память от самсунга
Взяли 8 плашек по 32гб с частотой 2133
Цена: 30к
4. SSD - берем чисто под систему и важные проги 500гб
Цена: 6к
5. Жесткий диск - в зависимости от ваших потребностей выбирать объем.
Мы взяли два серверных по 16тб
Цена: 45к
6. Процессорный куллер https://aliexpress.ru/item/1005002366025350.html?sku_id=12000029400957896
Цена: 3-6к
7. Блок питания - выбираем хороший, с запасом, чтоб он не работал постоянно на 100%, мы взяли голдовский deepcool на 800 Ватт в ближайшем ДНС
Самое главное, у нас двух процессорная мать, а значит должно быть два питания на процессор и смотрим длину кабеля, который идет на проц, он не всегда может дотянутся и придется покупать переходник
Цена: 9-10к
8. Видеокарта - берем какую нибудь затычку с авито
Цена: 2к
К нашему ИБП воткнули еще сетевой фильтр, на всякий случай
Общая сумма: где-то 2к баксов вместе со всеми комплектующими. Короче
3. Создание прокси фермы
Немного математики:
1 мобильная прокся ( приват ) стоит 2500 - да еще не факт, что она приватная, но это уже другая история. Исходя из характеристик сервера мы можем расчитывать минимум на 100 проксей. 100 x 2500 = 250к в месяц, четверть ляма...
К этому мы условно еще можем прибавить кэш за аренду сервера в 60-70к...
Не комильфо, а если откровенно - это пиздец. Как вы уже поняли, по 320к/месяц платить я не хочу. Что делать? Собрать свою прокси ферму. О_о да, у кого-то будет секс.
Начинаем изучать тему, что нам потребуется?
1. Нам нужен еще один сервачек на которым будет развернута сеть. Здесь в целом ничего критичного, по этому купим какую-нибудь залупу под тесты на авито в приделах 150-200$ с следующими характеристиками:
Минимум проц с 6 физическими ядрами + 6 виртуальных
Оперативы гигов 8-16 ГБ
Тут мы его немного апгрейдили, но в целом ничего интересного. К серваку который держит ферму так же был докуплен ИПБ.
2. Далее нам нужны прошитые модемы. Мое зоркий глаз остановился на модемах хуевей е3372 и
хуевей е3372 - 30шт по 2500 = 75к
хуевей е3376 - 30шт по 1500 = 45к
Итог на модемы ушло: 120000р
3. В модемах как вы, наверное, догадались должны находиться симки.
Под модемы я нашел 30 симок стоимостью 1200р x 30 = 36000р ( оператора оставить за кулисами ) с безлимитным интернетом 250р/месяц
Дополнительно были закуплены еще два оператора по 15шт с стоимость 500р, 500 x 30 = 15000р с безлимитным интернетом в 500-550р/месяц
А теперь посчитаем сколько стоит в прокся при наличии фермы 22 - 25к за ферму в 60 портов, черт с ним когда увеличим кол-во проксей до 100 эта сумма будет едва ли доходит до 35к/месяц. 35к рублей даже близко не стоит рядом с 250к...
4. Ах да, модемы же нужно куда-то вставлять.
Поэтому заранее был куплен хаб на 30портов ORICO вместе со всем железом. За 10к, от которого в последствии пришлось избавиться и заменить на SIpolar на 20 портов каждый.
- Приобрел 3 хаба Sipolar на 20 портов по 100$ за каждый. 300$
5. Далее на всех модемах нужно поменять Ip по типу 144.75.*.100, заместо звездочки любое число, главное, чтобы у каждого модема оно было уникальное и настроить ротацию
Ну и здесь началась ебля... Именно на процессе настройки фермы
очень долго ебались , так как во всех мануалах в интернете рекомендуют программу 3proxy, то пытались сначала ее установить, далее нормально настроить ротацию ip.
В итоге угробив несколько недель и денег на проггера, который даже в один момент предложил уже тупо написать свой скрипт, на выходе мы нашли два готовых варианта:
1) https://bablosoft.com/shop/SwitchStation - скрипт на две машины с максимальным кол-ом подключений 20 устройств.
2) https://kraken-proxy.ru/ - этот вариант оказался более лояльный, итог мы взяли его.
Программа максимально понятная, есть мануалы по настройке модемов, есть саппорт, честно говоря который не особо сговорчив, даже за денюжку
В целом достаточно установить прогу на убунту, зайти, создать и настроить “профили модемов”, после уже на них поднимать прокся.
Сейчас будет небольшая выжимка информации и советов, расскажу про трудности, и проблемы на решение которых у нас ушли месяцы.
1. Не берите хаб orico, есть свои проблемы с питанием и портами, долго выявляли эту проблему, заменили его на промышленный хаб Sipolar на 20 портов, теперь все четко.
Чтобы модемы не наебнусь быстро, рекомендую снимать корпуса и ставить все это дело под кондер. В общем обеспечить необходимую температуру. У нас на данном момент ферма расположена в неотапливаемом помещении, на сегодня не паримся по этому направлению, но скоро....
- так же сигнал могут улучшить специальные антенны для модемов, после подключения качество сигнала улучшилось более чем.
Далее
- поменять прошивку модема, нам это очень помогло, сигнал с одной красной полоски вырос до стабильных 3-4
До смены прошивки
После смены прошивки
Теперь вернемся к проблемам который нам пока не удалось решить.
1. Отваливаются модемы, есть две гипотезы почему так происходит:
А. Есть просадка напряжения по всему дому... Следствие - ферме не хватает питания и модемы отлетают как семечки. Из 30 подключенных модемов, стабильно работают 24.
Б. Мать сервера которая обеспечивает работу ферме не вывозит такое кол-ви активных USB подключений. Соответственно модемы отваливаются.
В целом, осталось надеть только носки.... И все запуститься, тестирование прошло +- успешно за исключением, полной реализации всей доступной мощности...
