• XSS.stack #1 – первый литературный журнал от юзеров форума

Как выбирать победителя конкурсов

d4x0n3l

RAM
Пользователь
Регистрация
10.10.2023
Сообщения
121
Реакции
153
И так, тут у нас только что завершился конкурс где победители были выбраны рандомно, и как я уже сказал в другой теме ранее, это неприятный прецендент и не самый лучший способ выбирать победителя, ибо это никак не стимулирует людей, способных генерировать качественный контент, участвовать в конкурсах.
Тут очень важно понимать, что я исхожу из того, что основное выгодоприобретение от таких конкурсов для форума - новый и возможно уникальный технический контент, и как следствие это интерес форума, из него и будем исходить.

Эта тема является обсуждением и продолжением обсуждения из другой темы, поэтому сразу заранее прошу всех участвующих, если вы описываете свои критерии, то нужно аргументировать и разжевывать их так, чтобы даже ежу было понятно. Критерии без описанных методов оценки не принимаются.

Ну а я пока предложу свои:
- Сложность:
Сложность контента зависит от количества "родительских" тем, которые необходимо знать / уметь / понимать, чтобы этот контент воспринять (учитываются только релевантные контенту темы, а не все подряд, напиханные ради накрутки). Самый наглядый пример можно привести из математики - чтобы написать корректное решение сложения двух чисел, нужно знать всего лишь основы арифметики, а вот чтобы привести пример решения интегрального уравнения, уже необходимо знать не только основы арифметики, но и множество других тем, включая дроби, теорию пределов, теорию дифференциальных уравнений - понимать что такое эпсилон (в данном контексте) и производная, а так же первообразная. Сложность первого довольно низкая по сравнению со сложностью второго.​
Тем не менее здесь есть проблема, сложность контента в ручном режиме может быть определить очень непросто, потому что в конечном итоге сложность образует "дерево зависимостей" тем, которое может быть нетривиально большим. И более того, если темы разные, то такие деревья может быть сложно сравнивать. А сравнивать их можно к тому же по-разному, например как по глубине, так и по количеству тем в дереве в целом. Поэтому здесь я предлагаю подход областного разделения. Мысль простая, так делают в науке - выделять каждую такую тему в отдельную "область знаний" и обобщать в неё соответствующие ей темы. Чем больше таких "областей знаний" и зависимостей от них требуется знать / уметь / понимать для восприятия контента, тем он сложнее, а выделить такие "области знаний" уже вполне можно в ручном режиме, правда для этого потребуются соответствующие компетенции. Это основной критерий, который будет способствовать отбору по сложности, а значит повышать технический уровень форума, ибо контент низкой сложности просто будет отсеиваться, так как с ним будет невыгодно заходить в конкурсы и как следствие его авторы просто не будут тратить на это время (или если будут, то всё равно ничего не выиграют).​
P.S. Эти области знаний необязательно должны соответствовать общепринятым разделениям. Они могут быть более мелкими и так же представляют из себя деревья, но не такие большие, как с отдельными темами.​
- Качество:
Качество понятие плавающее, поэтому для его оценки придется использовать такие же плавающие критерии, которые будут зависеть от типа выкладываемого контента.​
Сами критерии могут быть либо спектральными, либо бинарными. С бинарными всё понятно (либо да, либо нет), а вот со спектральными не очень, точка минимума всегда 0, а вот точку максимума нужно будет выделить отдельно.​
Что это вообще значит? - Если нам нужно оценить какой-то спектральный критерий у того или иного контента, то нам нужно будет выбрать контент с максимальным абсолютным показателем этого критерия среди всего представленного контента. К примеру если среди всего контента какое-то видео имеет разрешение 720px, то значит таким абсолютным показателем будет 720px, и видео с 480px будет считаться менее качественным по этому критерию. В данном случае 720px - это точка максимума. Если это возможно, то можно использовать глобально устоявшиеся точки максимума, например опять же в случае с разрешением видео это может быть 1080px.​
Так же в этом же случае можно добавить гладкость озвучки, прерывистость, видимость тех или иных важных деталей, количество технических объяснений соответствующих сложности контента или его теме (это очень важно, ибо предотвращает "набив" за счет разжевывания всяких мелочей вроде сложений строк в темах вроде взлома пентагона, уровень пояснений должен соответствовать уровню сложности), затраченного времени на релевантные объяснения по отношению к хронометражу (чем больше воды, тем ниже качество по этому критерию), и так далее. Такие критерии придется выделять для каждого типа контента в зависимости от самого контента. Мысль надеюсь понятна.​
- Минимумы:
Самый простой из критериев, это минимальные требования к контенту для того, чтобы он вообще мог оцениваться. Это бинарный критерий, минимальные требования либо соблюдены, либо нет. Обязательно соблюдение всех требований. В противном случае всё помножается на ноль.​

Как считать по этим критериям?
В случае со сложностью как я уже сказал можно считать по-разному, либо по количеству тем, либо по глубине дерева, либо по количеству тем начиная от определенного минимума глубины дерева (например N - M где M - минимум). Как именно стоит считать сложность можете предложить в комментариях, мне в 3 часа ночи лень на эту тему думать. =)
В случае с качеством, критерии сначала делятся на точку максимума для каждого критерия, чтобы получить числа в диапазоне [0; 1], затем складываются и делятся на количество таких критериев в целом, чтобы снова получить число в [0; 1]. Для бинарных критериев это либо 0, либо 1.
В случае с минимумами тоже либо 0, либо 1. И того у нас такая формула:
Уровень контента = max(N, 1) (сложность) * [0; 1] (качество) * (0|1) (минимум)

Вы можете предложить свои критерии, но учитывайте, что ваши критерии должны стимулировать способных людей участвовать в конкурсах и делиться знаниями / опытом / своими проектами / так далее, а так же должны быть резистентны набиву, то бишь критерии из разряда "количество лайков", "количество символов", "длина видео" и им подобные сразу отпадают. В теме так же разрешается критиковать или улучшать критерии, описанные другими людьми.

Edit:
В качестве ещё одного критерия можно взять Редкость, уникальный контент будет обладать 100% редкостью. Можете предложить, как это включить в формулу сложность * качество, скорее всего это должно быть сделано в виде слагаемого, а не множителя, а так же стоит ли это вообще делать и как верифицировать уникальность / редкость контента. Возможно она будет коррелировать со сложностью. Короче ваши мысли на этот счет тоже приветствуются.

Edit 2: Прошу модераторов удалять мусорные и не относящиеся к теме сообщения. Спасибо.

Жду ваших предложений / критики. =)
 
Последнее редактирование:
Там где есть метрики - там появляются накрутчики (например голосов). Но рандом тоже не вариант.
Надо жюри из десятка компетентных специалистов сделать, которые будут баллы давать по всяким критериям.
Либо голосование по паспорту/через госуслуги
 
Там где есть метрики - там появляются накрутчики (например голосов). Но рандом тоже не вариант.
Надо жюри из десятка компетентных специалистов сделать, которые будут баллы давать по всяким критериям.
Либо голосование по паспорту/через госуслуги
Вот это пример простого и низкокачественного контента, в контексте темы.
Я обозначил четкие минимальные критерии, которым должны соответствовать ответы, ваше сообщение им не соответствует. Но для вас повторюсь:
сразу заранее прошу всех участвующих, если вы описываете свои критерии, то нужно аргументировать и разжевывать их так, чтобы даже ежу было понятно. Критерии без описанных методов оценки не принимаются.
Вы либо предлагаете, как описано в моём сообщении выше, либо критикуете.



Там где есть метрики - там появляются накрутчики (например голосов).
Если вы критикуете, то не поверите, вы должны критиковать, что подразумевает обозначение субъекта критики и анализа, поясняющего и обосновывающего вашу точку зрения. Критика из разряда "Там где есть метрики - там появляются накрутчики" критикой не является, это ваше суждение, никак не обоснованное и не доказанное. Это мы даже не затронули вопрос о том, что вы вообще имеете в виду под метриками и причем они здесь. - У этого слова множество определений, а не одно единственное, как вы возможно могли подумать, и в данном контексте ваша фраза не несёт смысловой нагрузки. Ну а про голоса... Даже не знаю что ответить, научитесь читать чтоли? Неужели дочитать до конца настолько сложно? Или вы кроме заголовков и первого предложения ничего дальше не читаете?

Остальная часть вашего сообщения вообще просто мусор в контексте темы. Я ведь специально даже попросил отвечать нормально и описал критерии ответа. Прошу модераторов удалять подобные сообщения, спасибо.
 
это не конкурс научных работ со стобалльным списком критериев.
Шоу, балаган, стимуляция активности и движа (или псевдодвижа) на заданную тему - как хотите.
Никто никаких критериев придерживаться не будет, жюри не будет, объективных многокритериальных оценок не будет.

Или вы принимаете участие на таких условиях, или нет.
 
Мне нравится подход с формулой, но нужно упростить и немного изменить. Я бы добавил "шумность" темы (или уровень востребованности, "социальность" и т.д.). Оценить этот уровень можно, например, при помощи количества лайков. Какие-то простые линейные социальные форумные показатели - лайки, просмотры темы, количество комментариев в теме и т.д. Но нужно брать то, что сложно набить/накрутить.
Надо жюри из десятка компетентных специалистов сделать, которые будут баллы давать по всяким критериям.
А кто будет считать в жюри? Это всегда самый сложный вопрос. Какой бы компетентный человек с кристальной репутацией не был, поверьте на слово, вы услышите "проголосовал за друга", "пропихнули", "заплатили". Это стабильная история =)
 
А кто будет считать в жюри?
Есть у меня пара знакомых...
А так можно нейронкам скидывать все статьи(одним промптом или в виде файлов одним запросом) и сравнить по критериям: опасность атаки, потенциал, подробность, потенциал монетизации, и десятки других. Брать средние оценки от claude, chagpt, llama, gemini и других. Ну и плюс голосование реальных людей. Тоесть отдать llm 50% влияния. Звучит странно (что там машина может оценить?) но по многим техническим пунктам она оценит гораздо лучше людей(за счет бесконечного по сравнению с человеком объема тех знаний), без предвзятости авторитета и эмоциональных влияющих.
 
Пожалуйста, обратите внимание, что пользователь заблокирован
От того, что вы сейчас придумаете универсальную схему с критериями, жюри, рецензентами и тд, ничего не изменится: все равно те, кто не выиграл, будут недовольны.
 
Считаю тему надуманной, мне кажется статья должна нести в себе уникальный код/исходники или глубокую аналитику кода - почему? - потому что тематика форума без программных инструментов БЕСПОЛЕЗНА! Многие годы в конкурсах появляются холиварные статьи из формата - "seo - я покажу как покорить мир" (опять вспомнил статью про "стакан" и меня затошнило) Самая большая проблема оценке статей в том что большинство пользователей форума не программисты и им сложно оценить пользу подобных статей, поэтому многие кто хочет занять призовое место и пилят статьи - понятные для большинства, только одно НО - польза нулевая. Уважаемый мной admin знает эту проблему и о ней говорилось лет 5 назад еще и пытается каждый год найти ту середину оценки статей где статья будет нести тематическую пользу как разработчикам, так и простым пользователям. Кстати тема с первоначальным цензурированием статьи перед попаданием на конкурс мне кажется более перспективной, а все остальное оставить как есть.
 
все равно те, кто не выиграл, будут недовольны.
цитата из С.Лема (по памяти) "Как известно, драконы не существуют. Но не существовать они могут по-разному".
Когда нет критериев (рамок), обида становиться ширьше - логично же?

Что касательно жюри. Идея-то всем нравится, даже злобным_агрессивным_наркоманам, но вот ее реализация...
Одно дело подогнать олдов, которые подмурлыкали что-то фразе модератора bratva, что мол, даже такие пользователи как лиса могут в чем-то когда то полезны форуму.
Другое дело собрать коллектив с профобязательствами:
- просмотреть 40 работ и выставить оценки в таблицу из 40 критериев в ограничнное время.
И быстро выяснится.что у одних этого времени как раз таки и нет,
у других свое понимание каких-то оценок, отличное от массовых,
у третьих субьективность...
А дальше как в песне.
"А четвертый, ни живой, ни мертвый, ой, не отдай меня маааааааать!"
Кстати, а пятый там был "пьяница проклятый" - тоже в цвет.

Но если все таки с жюри возиться, то (давайте пофантазируем), "вначале были Выборы". То бишь голосование.
Прикиньте, какой движ, ручей пятикопеечный просто зальет тему "Кого бы ты хотел видеть в жюри". Выборы, это движ. На Даркмани это было событие, к которому "готовился" весь форум.
Читала своими глазками.
Формируется пул Экспертов, ака Коллегия присяжных заседателей. С запасом.
На момент судейства мобилизуются те, кому будет неудобно отказать админу.

Юзеры не знают кто кому сколько поставил. Суммарная оценка судей по критериям.

А вот мнение пользователей - вто-рич-но. Как "приз зрительских симпатий". Это уберет левые лайки, допрегу ботов и проч.
Круто же, а?
 
Вспомнил высказывание другого мной уважаемого админа - "На моем форуме НЕТ демократии - тут диктатура"@РОСТ
Мне кажется admin может применить данный тезис и к тематике конкурса - собрать модеров и других по его мнению уважаемых экспертов и назначить статьи которые считает тематически интересные для форума - #ИТОЧКА
 
Вспомнил высказывание другого мной уважаемого админа - "На моем форуме НЕТ демократии - тут диктатура"@РОСТ
Мне кажется admin может применить данный тезис и к тематике конкурса - собрать модеров и других по его мнению уважаемых экспертов и назначить статьи которые считает тематически интересные для форума - #ИТОЧКА
Этот форум закрылся или переехал?
 
собрать модеров и других по его мнению уважаемых экспертов
А уважаемые эксперты прям побежали тут же помогать админу в определении тем конкурсов и критериев их оценки. А так эта тема именно об этом - разобраться, по каким критериям стоит выбирать победителя и какие темы вообще считать релевантными для конкурсов, и что? Где все эти модеры и эксперты? Тут никому кроме меня и самого админа эта тема похоже неинтересна, за всё время было лишь 2 релевантных ответа:
А так можно нейронкам скидывать все статьи(одним промптом или в виде файлов одним запросом) и сравнить по критериям: опасность атаки, потенциал, подробность, потенциал монетизации, и десятки других. Брать средние оценки от claude, chagpt, llama, gemini и других.
Многие годы в конкурсах появляются холиварные статьи из формата - "seo - я покажу как покорить мир" (опять вспомнил статью про "стакан" и меня затошнило) Самая большая проблема оценке статей в том что большинство пользователей форума не программисты и им сложно оценить пользу подобных статей, поэтому многие кто хочет занять призовое место и пилят статьи - понятные для большинства, только одно НО - польза нулевая.
И то они имеют лишь косвенное отношение к контексту темы, а в остальном здесь лишь оффтоп и шиза от лисы. После такого "обсуждения" я теряю веру в человечество просто не хочу дальше развивать эту тему и вкладывать в неё хоть какие-нибудь интеллектуальные ресурсы, и думаю "эксперты", которые это видят, тоже не хотят. Возможно такие темы вообще не нужно обсуждать на публике.
 
Мне нравится подход с формулой, но нужно упростить и немного изменить. Я бы добавил "шумность" темы (или уровень востребованности, "социальность" и т.д.). Оценить этот уровень можно, например, при помощи количества лайков. Какие-то простые линейные социальные форумные показатели - лайки, просмотры темы, количество комментариев в теме и т.д. Но нужно брать то, что сложно набить/накрутить.
Я понимаю желание иметь социальный критерий, всё же здесь форум, а форум состоит из людей, и на первый взгляд может показаться, что контент форума должен быть интересен в первую очередь... форумчанам. Но в этом подходе есть по меньшей мере целых 3 проблемы, одну я уже описывал ранее, но повторю её и здесь:
  1. Это теневой форум, который специализируется, давайте будем честны, на технологической чернухе, и люди идут в чернуху не от хорошей жизни, а с целью решить свои финансовые проблемы, поэтому уровень "востребованности" ("шумности" темы) у обычных юзеров форума как правило коррелирует с потенциальным уровнем прибыльности рассматриваемой темы / видео / проекта / статьи / тд по мнению юзера, что может напрямую противоречить интересам участников конкурса (особенно если тема потенциально более прибыльна, нежели потенциальная прибыль от выигрыша), и при этом мало коррелирует с уровнем технологичности, что уже противоречит интересам форума (форум же вроде как технический?), так как увеличивает шансы мусорных тем со всякими схемами на выигрыш, и при этом уменьшает эти шансы у технологических тем.
  2. Из первой проблемы следует вторая - тут важно понимать, что любые критерии являются фактором отбора, и отбирая наиболее "шумные" темы вместо наиболее "технологичных" вы лишь способствуете тому, что форум из технологического трансформируется в торговую площадку, и как следствие людей с финансовым вектором на форуме в конечном итоге будет гораздо больше, нежели людей с техническим вектором, и вместо площадки по обмену знаниями и технологиями форум просто превратится в базар, потому что технические люди, видя что отбор идёт не в их пользу, в худшем случае просто будут уходить с форума, в лучшем же будут использовать форум как место сбыта своей продукции, и скорее всего не будут делиться знаниями, писать статьи, участвовать в конкурсах и так далее, что в свою очередь приведет к падению уровня качества и сложности статей / видео / кода / так далее, в том числе конкурсных.
  3. Ну и третья проблема, самая очевидная из всех трех, это собственно накрутка. Абсолютно любой "социальный" критерий можно накрутить, потому что в данном случае его показатель зависит от внешнего и принципиально неконтролируемого фактора - людей. =)
Я согласен с вами и понимаю, что сложность и качество очень сложно определяемые критерии на практике, и я и так старался их упростить по максимуму, но как ещё их можно упростить по вашему мнению?
P.S. Другие люди тоже могут предложить свои идеи по упрощению, только без оффтопа пожалуйста.
 
Мое мнение - кто платит, тот и решает.

Потому что нужно выбрать лучшую статью. Лучшую для кого? Лучшую для чего? Скорее всего, лучшая - наиболее отвечающая целям мероприятия. Кто знает эти цели, кто их ставит? Это ключевой момент, от которого должны отталкиваться все возможные критерии. Предположим это привлечение/удержание аудитории. Какой аудитории? Статья с элитным контентом, понятным трем узким специалистам и 11 просмотрами это лучшая статья? Попсовая статья с разжеванным пабликом, понравившаяся тысяче школьников это лучшая статья? Кто знает ответы на эти вопросы?

Поэтому никаких игр в демократию, голосания и прочую лабуду. Определяет организатор волевым решением. Экспертов он тоже сам привлечет для оценкки, если потребуется.
 
Пожалуйста, обратите внимание, что пользователь заблокирован
Кстати тема с первоначальным цензурированием статьи перед попаданием на конкурс мне кажется более перспективной, а все остальное оставить как есть.
Скрытый контент для пользователей: merdock.
 
Мое мнение - кто платит, тот и решает.

Потому что нужно выбрать лучшую статью. Лучшую для кого? Лучшую для чего? Скорее всего, лучшая - наиболее отвечающая целям мероприятия. Кто знает эти цели, кто их ставит? Это ключевой момент, от которого должны отталкиваться все возможные критерии. Предположим это привлечение/удержание аудитории. Какой аудитории? Статья с элитным контентом, понятным трем узким специалистам и 11 просмотрами это лучшая статья? Попсовая статья с разжеванным пабликом, понравившаяся тысяче школьников это лучшая статья? Кто знает ответы на эти вопросы?

Поэтому никаких игр в демократию, голосания и прочую лабуду. Определяет организатор волевым решением. Экспертов он тоже сам привлечет для оценкки, если потребуется.
"Мое мнение - кто платит, тот и решает." - так а как решать то?) Я повторюсь:
эта тема именно об этом - разобраться, по каким критериям стоит выбирать победителя и какие темы вообще считать релевантными для конкурсов

Вопрос "Кто знает эти цели, кто их ставит?" поставлен правильно, я этот вопрос задавал ещё до начала этой темы, но на всякий тоже повторю, исходим из того, что ставит цели админ, и цели эти очень простые: поднять активность, повысить интерес и желание людей делиться техническими знаниями и опытом. Это общие цели, которые могут быть дополнены в зависимости от контекста конкурса, и мы разбираем тоже общий случай, и на вопросы мы пытаемся здесь ответить так же именно в обобщенном контексте.
Так же важно понимать, что определенные здесь критерии всего-лишь рекомендация, они никого не принуждают им следовать, мы просто рассуждаем и пытаемся найти наиболее подходящие варианты оценки, на которые в будущем возможно админ захочет опереться, или не захочет, это уже ему решать.
У любого конкурса есть 2 стороны - сторона, которая организует конкурс, и сторона, которая в нём участвует, и кто будет представлять вторую сторону напрямую зависит от первой, а точнее от критериев отбора, которые устанавливает первая сторона. Если критерии отбора будут способствовать тому, что будут побеждать попсовые статьи с разжеванным пабликом, то со временем и участвовать в конкурсах будут в основном те, кто будут писать именно такие статьи, если же отбор будет в сторону технологичности, то и участники тоже будут соответствующие, хотя скорее всего их будет гораздо меньше, потому что технологичных людей тоже всегда меньше, истинность этого тезиса я могу аргументировать отдельно, если вдруг есть сомнения в его истинности. =)
Так как одна из общих целей заключается в том, чтобы люди делились своими техническими знаниями и опытом, то и критерии отбора я тоже предлагаю соответствующие этой цели.

Определяет организатор волевым решением.
Я понимаю, что возможно вам подобные рассуждения не нравятся, кажутся неинтуитивными и возможно на эмоциональном уровне даже могут вызывать отторжение, потому что вместо субъективной эмоциональной оценки предлагают следовать каким-то там формулам да правилам, ещё и платить за это безобразие отсутствие дофамина предлагается, но я на всякий случай ещё раз повторюсь, никто не запрещает оценивать эмоционально и субъективно, выведенные критерии всего-лишь рекомендация, потому что мы никого насильно в любом случае следовать им не заставим, ни текущего админа, ни будущего, если такой вдруг будет, ни кого-либо ещё, кто будет проводить здесь конкурсы помимо админа (если такие вдруг будут). ¯\_(ツ)_/¯
 
Пожалуйста, обратите внимание, что пользователь заблокирован
при помощи количества лайков
Но нужно брать то, что сложно набить/накрутить.
Во время конкурса прошлого сидел в одном из тематических чатов по веб пентесту.
Да, бывает несправедливо, когда кто-то "активно просить заценить", взаимные лайки между и все такое...
Из принципа не голосовал против таких.
Да и работы, у таких, как правило, посредственные, а вот те кто реально делают контент, все равно победили.
А те кто больше всех просили "помочь" потом громче всех плачут, что несправедливость, просьбы "объединить" лайки за две работы и поднять повыше в топе...

Да, это определенно проблема с лайками.
Имея мало мальскую аудиторию в своем чате условно можно очень неплохо поднять шансы на победу или подвинуть призовое место.
 
так а как решать то?)

Я понимаю, что возможно вам подобные рассуждения не нравятся, кажутся неинтуитивными и возможно на эмоциональном уровне даже могут вызывать отторжение, потому что вместо субъективной эмоциональной оценки предлагают следовать каким-то там формулам да правилам, ещё и платить за это безобразие отсутствие дофамина предлагается, но я на всякий случай ещё раз повторюсь, никто не запрещает оценивать эмоционально и субъективно, выведенные критерии всего-лишь рекомендация, потому что мы никого насильно в любом случае следовать им не заставим, ни текущего админа, ни будущего, если такой вдруг будет, ни кого-либо ещё, кто будет проводить здесь конкурсы помимо админа (если такие вдруг будут).

что ставит цели админ, и цели эти очень простые: поднять активность, повысить интерес и желание людей делиться техническими знаниями и опытом.

Давай цинично. Организатор описанных целей достигает еще до процесса определения победителя. Статьи уже написаны, какая из них станет лучшей для него безразлично. Ему важно, чтобы процесс определения выглядел справедливым в глазах аудитории и авторов. Это уже зависит от желаемой аудитории. Школота оценит одно, спецы другое. Никакими общими критериями это не покрыть, только субъективные оценки. Правильный угол руля знает тот, кто ведет форум.
 
Давай цинично. Организатор описанных целей достигает еще до процесса определения победителя. Статьи уже написаны, какая из них станет лучшей для него безразлично. Ему важно, чтобы процесс определения выглядел справедливым в глазах аудитории и авторов. Это уже зависит от желаемой аудитории. Школота оценит одно, спецы другое. Никакими общими критериями это не покрыть, только субъективные оценки. Правильный угол руля знает тот, кто ведет форум.
Ты выдал какой-то оксюморон, давай лучше логично, какая статья / видео / тд. станет лучшей ему всё таки безразлично или нет? Если ему важно, чтобы процесс определения выглядел справедливо, то значит ему уже небезразлично. Да и целей в таком случае он достигает лишь после момента определения победителя, потому что цель вызвать у людей желание делиться техническими знаниями, и не только в моменте, но и после. Ну а на остальное я уже и так ответил.
 


Напишите ответ...
  • Вставить:
Прикрепить файлы
Верх