Ice
26.02.2011, 16:17
Историческая справка
В течение некоторого времени с момента открытия форума, профессиональный раздел был полностью скрытым. Для того, чтобы узнать о его существовании, надо было получить к нему доступ. Это позволяло мне, как администратору форума, предоставлять доступ к разделу на основании всего лишь нескольких сообщений пользователя. Как только по сообщениям пользователя становилось понятно, что он холодильщик, я открывал ему доступ. Поэтому, у некоторых пользователей, зарегистрированных в 2007 году, доступ к проф. разделу может быть открыт не смотря на малое число сообщений.
Потом сообщество решило, что скрывать существование проф. раздела нецелесообразно. И я сделал раздел видимым для обычных пользователей. Т.е. обычные пользователи узнали о существовании раздела, но чтобы попасть в него, по-прежнему нужен был доступ.
Одновременно с этим рассекречиванием раздела были изменены правила предоставления доступа к нему. Теперь кандидат должен был соответствовать двум требованиям:
1. Не менее 25 полезных сообщений на профессиональные темы.
2. Не менее месяца с момента регистрации на форуме.
Проверять кандидата на соответствие этим формальным требованиям приходилось мне. В таком виде правила предоставления доступа просуществовали до сентября прошлого года.
Для дальнейшего развития форума была необходима система, которая позволяла бы всем пользователям форума сообща принимать решение о предоставлении кандидату доступа к проф. разделу. К такой системе предъявлялись следующие требования:
1. Доступ должен предоставляться на основании оценки вклада кандидата в развитие форума. Под вкладом имеется в виду наполнение форума качественной информацией, повышающей привлекательность форума в глазах потенциальных посетителей.
2. Оценка вклада кандидата в развитие форума должна производиться пользователями форума. Все пользователи форума (за исключением, пожалуй, совсем уж новичков) должны иметь возможность повлиять на результат оценки кандидата.
3. То, с какой силой конкретный пользователь может повлиять на результат оценки кандидата, должно зависеть от того, какой вклад в развитие форума этот пользователь уже внес. Пользователи уже внесшие значительный вклад в развитие форума должны сильнее влиять на результат оценки.
4. Отсутствие прямого ограничения на скорость предоставления доступа. Кандидат, чей вклад в развитие форума достаточен для предоставления доступа, не должен дополнительно ожидать истечения какого-то обязательного срока.
5. Тот факт, что кандидат не внес свою кандидатуру на рассмотрение системы оценки, не должен влиять ни на скорость принятия решения, ни на саму оценку.
6. Система должна корректно и без задержек работать без постоянного присмотра со стороны администрации. Риски управления связанные с человеческим фактором должны быть минимальны или отсутствовать.
7. Желательно, чтобы была возможность обеспечить анонимность голосующих.
8. У сообщества должна быть возможность не только сообща предоставить доступ в проф. раздел, но и возможность лишить любого "холодильщика" этого доступа.
9. Целый ряд мене значимых требований.
При анализе этих требований, я пришел к выводу, что механизм оценки сообщений, основанный на системе репутации, вполне этим требованиям соответствует. Было принято решение внедрить этот механизм. В сентябре прошлого года система заработала.
Конец исторической справки
Принцип работы системы оценки сообщений описан в соответствующем разделе (http://master-catalog.ru/forum/faq.php?faq=vb3_user_profile#faq_vb3_reputation) справки. Здесь дополнительно распишу некоторые детали.
Пользователь форума имеет возможность оценить любое сообщение на форуме. Можно поставить положительную или отрицательную оценку.
У того пользователя, чье сообщение оценили, происходит изменение значения уровня репутации. В случае положительной оценки, репутация увеличивается. В случае отрицательной - уменьшается. Чем выше репутация пользователя, который оценивает сообщение, тем на большее количество баллов изменится репутация автора оцениваемого сообщения. Как только уровень репутации пользователя достигнет значения 1000 баллов, этому пользователю автоматически открывается доступ в проф. раздел (а сам пользователь переводится в группу "Холодильщики").
Если пользователь уже имеет доступ в проф. раздел, то в случае понижения его репутации ниже определенного порога (сейчас этот порог равен 200 баллам) доступ ему автоматически закрывается. Таким образом реализуется право сообщества не только предоставлять доступ, но и отнимать его.
Дополнительно применяется защита от злоупотреблений. Система не изменит значение репутации, если "заподозрит" оценивающего в попытке манипуляции системой оценки.
К сожалению, при введении в строй системы оценки сообщений, не удалось избежать определенной несправедливости - пользователи, уже имевшие доступ в проф. раздел, получили "бесплатную" прибавку к значению репутации. У остальных начальное значение репутации осталось нулевым. Эта "бесплатная" прибавка была необходима по двум причинам:
1. Пользователи, уже имевшие доступ в проф. раздел не должны были потерять этот доступ по причине низкого значения репутации. Можно было бы, конечно, принудительно поместить их в группу "Холодильщики" с нулевым значением репутации. Но в таком случае для них блокировалась бы функция автоматического исключения из группы "Холодильщики" при сильном снижении репутации. Так что, рассмотрев все возможные варианты, я был вынужден остановиться на описанной выше "бесплатной прибавке".
2. Для начала нормального функционирования системы репутации необходима какая-то группа авторитетных пользователей, имеющих высокое значение репутации и, как следствие, высокий вес голоса. Эти пользователи, оценивая чужие сообщения, могут дать первоначальный толчок процессу накопления баллов на всем форуме (повышая значение репутации у пользователей, изначально имевших ее нулевое значение).
С этой точки зрения, очень кстати пришелся тот факт, что у всех "холодильщиков" оказалось высокое значение репутации. Конечно, и тут не все гладко, но в реальности вообще редко бывает что-то идеальное.
Предполагается, что упоминавшаяся выше несправедливость (заключавшаяся в нулевом начальном значении репутации) со временем сойдет на нет - пользователи, пишущие качественные посты со временем получат высокое значение репутации. В принципе, начало этого процесса уже заметно.
Для чего я все это написал? По двум причинам:
1. Давно надо было подробнее расписать принципы функционирования системы оценки сообщений и ее связь с процедурой предоставления доступа к проф. разделу. Кроме того, важно было объяснить необходимость пресловутой "бесплатной прибавки" к значению репутации некоторых пользователей.
2. В приватной переписке один из пользователей форума посетовал на, по его мнению, непрозрачность текущей модели предоставления доступа к проф. разделу (основанной на системе репутации). Им было высказано мнение, что более предпочтительна модель при которой кандидата оценивает жюри, состоящее из пользователей, уже имеющих доступ к проф. разделу.
Я считаю, что у модели с жюри есть серьезные недостатки. Но если сообществу интересней именно такая модель, то можно попробовать как-то скорректировать текущую процедуру предоставления доступа - либо полностью перейти на систему жюри, либо придумать какой-нибудь способ совместного использования системы репутации и жюри.
Вот, навскидку, недостатки системы жюри:
1. Оценку производит ограниченное число людей. БОльшая часть пользователей форума не может никак (даже минимально) повлиять на результат оценки кандидата.
2. У членов жюри одинаковый вес голосов, не зависящий от вклада в дело развития форума.
3. Длительный срок ожидания результата оценки. Наличие, как минимум, трех обязательных сроков ожидания - обязательный срок до подачи заявки на рассмотрение, время на обсуждение кандидата и время на то, чтобы все члены жюри проголосовали. Иногда процедура может серьезно растянуться.
4. Кандидатура должна быть внесена на рассмотрение. Либо самим кандидатом, либо кем-то еще. Это может привести к тому, что достойный человек будет проигнорирован системой.
5. Пресловутый человеческий фактор может стать причиной задержки или даже сбоя в работе системы. Т.к. работа жюри - это и есть один сплошной человеческий фактор.
6. Отсутствие анонимности голосующих может привести к искажению оценки из-за наличия мелких (или не очень) конфликтов между членами жюри.
7. Для ослабления влияния перечисленных недостатков на систему с жюри, обычно сильно усложняют правила голосования и внесения кандидатуры. Это делает процедуру оценки непонятной и непрозрачной.
8. Наверное, при желании можно и другие недостатки обнаружить.
Прошу высказываться и голосовать.
В течение некоторого времени с момента открытия форума, профессиональный раздел был полностью скрытым. Для того, чтобы узнать о его существовании, надо было получить к нему доступ. Это позволяло мне, как администратору форума, предоставлять доступ к разделу на основании всего лишь нескольких сообщений пользователя. Как только по сообщениям пользователя становилось понятно, что он холодильщик, я открывал ему доступ. Поэтому, у некоторых пользователей, зарегистрированных в 2007 году, доступ к проф. разделу может быть открыт не смотря на малое число сообщений.
Потом сообщество решило, что скрывать существование проф. раздела нецелесообразно. И я сделал раздел видимым для обычных пользователей. Т.е. обычные пользователи узнали о существовании раздела, но чтобы попасть в него, по-прежнему нужен был доступ.
Одновременно с этим рассекречиванием раздела были изменены правила предоставления доступа к нему. Теперь кандидат должен был соответствовать двум требованиям:
1. Не менее 25 полезных сообщений на профессиональные темы.
2. Не менее месяца с момента регистрации на форуме.
Проверять кандидата на соответствие этим формальным требованиям приходилось мне. В таком виде правила предоставления доступа просуществовали до сентября прошлого года.
Для дальнейшего развития форума была необходима система, которая позволяла бы всем пользователям форума сообща принимать решение о предоставлении кандидату доступа к проф. разделу. К такой системе предъявлялись следующие требования:
1. Доступ должен предоставляться на основании оценки вклада кандидата в развитие форума. Под вкладом имеется в виду наполнение форума качественной информацией, повышающей привлекательность форума в глазах потенциальных посетителей.
2. Оценка вклада кандидата в развитие форума должна производиться пользователями форума. Все пользователи форума (за исключением, пожалуй, совсем уж новичков) должны иметь возможность повлиять на результат оценки кандидата.
3. То, с какой силой конкретный пользователь может повлиять на результат оценки кандидата, должно зависеть от того, какой вклад в развитие форума этот пользователь уже внес. Пользователи уже внесшие значительный вклад в развитие форума должны сильнее влиять на результат оценки.
4. Отсутствие прямого ограничения на скорость предоставления доступа. Кандидат, чей вклад в развитие форума достаточен для предоставления доступа, не должен дополнительно ожидать истечения какого-то обязательного срока.
5. Тот факт, что кандидат не внес свою кандидатуру на рассмотрение системы оценки, не должен влиять ни на скорость принятия решения, ни на саму оценку.
6. Система должна корректно и без задержек работать без постоянного присмотра со стороны администрации. Риски управления связанные с человеческим фактором должны быть минимальны или отсутствовать.
7. Желательно, чтобы была возможность обеспечить анонимность голосующих.
8. У сообщества должна быть возможность не только сообща предоставить доступ в проф. раздел, но и возможность лишить любого "холодильщика" этого доступа.
9. Целый ряд мене значимых требований.
При анализе этих требований, я пришел к выводу, что механизм оценки сообщений, основанный на системе репутации, вполне этим требованиям соответствует. Было принято решение внедрить этот механизм. В сентябре прошлого года система заработала.
Конец исторической справки
Принцип работы системы оценки сообщений описан в соответствующем разделе (http://master-catalog.ru/forum/faq.php?faq=vb3_user_profile#faq_vb3_reputation) справки. Здесь дополнительно распишу некоторые детали.
Пользователь форума имеет возможность оценить любое сообщение на форуме. Можно поставить положительную или отрицательную оценку.
У того пользователя, чье сообщение оценили, происходит изменение значения уровня репутации. В случае положительной оценки, репутация увеличивается. В случае отрицательной - уменьшается. Чем выше репутация пользователя, который оценивает сообщение, тем на большее количество баллов изменится репутация автора оцениваемого сообщения. Как только уровень репутации пользователя достигнет значения 1000 баллов, этому пользователю автоматически открывается доступ в проф. раздел (а сам пользователь переводится в группу "Холодильщики").
Если пользователь уже имеет доступ в проф. раздел, то в случае понижения его репутации ниже определенного порога (сейчас этот порог равен 200 баллам) доступ ему автоматически закрывается. Таким образом реализуется право сообщества не только предоставлять доступ, но и отнимать его.
Дополнительно применяется защита от злоупотреблений. Система не изменит значение репутации, если "заподозрит" оценивающего в попытке манипуляции системой оценки.
К сожалению, при введении в строй системы оценки сообщений, не удалось избежать определенной несправедливости - пользователи, уже имевшие доступ в проф. раздел, получили "бесплатную" прибавку к значению репутации. У остальных начальное значение репутации осталось нулевым. Эта "бесплатная" прибавка была необходима по двум причинам:
1. Пользователи, уже имевшие доступ в проф. раздел не должны были потерять этот доступ по причине низкого значения репутации. Можно было бы, конечно, принудительно поместить их в группу "Холодильщики" с нулевым значением репутации. Но в таком случае для них блокировалась бы функция автоматического исключения из группы "Холодильщики" при сильном снижении репутации. Так что, рассмотрев все возможные варианты, я был вынужден остановиться на описанной выше "бесплатной прибавке".
2. Для начала нормального функционирования системы репутации необходима какая-то группа авторитетных пользователей, имеющих высокое значение репутации и, как следствие, высокий вес голоса. Эти пользователи, оценивая чужие сообщения, могут дать первоначальный толчок процессу накопления баллов на всем форуме (повышая значение репутации у пользователей, изначально имевших ее нулевое значение).
С этой точки зрения, очень кстати пришелся тот факт, что у всех "холодильщиков" оказалось высокое значение репутации. Конечно, и тут не все гладко, но в реальности вообще редко бывает что-то идеальное.
Предполагается, что упоминавшаяся выше несправедливость (заключавшаяся в нулевом начальном значении репутации) со временем сойдет на нет - пользователи, пишущие качественные посты со временем получат высокое значение репутации. В принципе, начало этого процесса уже заметно.
Для чего я все это написал? По двум причинам:
1. Давно надо было подробнее расписать принципы функционирования системы оценки сообщений и ее связь с процедурой предоставления доступа к проф. разделу. Кроме того, важно было объяснить необходимость пресловутой "бесплатной прибавки" к значению репутации некоторых пользователей.
2. В приватной переписке один из пользователей форума посетовал на, по его мнению, непрозрачность текущей модели предоставления доступа к проф. разделу (основанной на системе репутации). Им было высказано мнение, что более предпочтительна модель при которой кандидата оценивает жюри, состоящее из пользователей, уже имеющих доступ к проф. разделу.
Я считаю, что у модели с жюри есть серьезные недостатки. Но если сообществу интересней именно такая модель, то можно попробовать как-то скорректировать текущую процедуру предоставления доступа - либо полностью перейти на систему жюри, либо придумать какой-нибудь способ совместного использования системы репутации и жюри.
Вот, навскидку, недостатки системы жюри:
1. Оценку производит ограниченное число людей. БОльшая часть пользователей форума не может никак (даже минимально) повлиять на результат оценки кандидата.
2. У членов жюри одинаковый вес голосов, не зависящий от вклада в дело развития форума.
3. Длительный срок ожидания результата оценки. Наличие, как минимум, трех обязательных сроков ожидания - обязательный срок до подачи заявки на рассмотрение, время на обсуждение кандидата и время на то, чтобы все члены жюри проголосовали. Иногда процедура может серьезно растянуться.
4. Кандидатура должна быть внесена на рассмотрение. Либо самим кандидатом, либо кем-то еще. Это может привести к тому, что достойный человек будет проигнорирован системой.
5. Пресловутый человеческий фактор может стать причиной задержки или даже сбоя в работе системы. Т.к. работа жюри - это и есть один сплошной человеческий фактор.
6. Отсутствие анонимности голосующих может привести к искажению оценки из-за наличия мелких (или не очень) конфликтов между членами жюри.
7. Для ослабления влияния перечисленных недостатков на систему с жюри, обычно сильно усложняют правила голосования и внесения кандидатуры. Это делает процедуру оценки непонятной и непрозрачной.
8. Наверное, при желании можно и другие недостатки обнаружить.
Прошу высказываться и голосовать.