Приложение модератор одноклассников: Модератор Одноклассников

Приложение модератор одноклассников: Модератор Одноклассников

Модератор Одноклассников

17.12.2018

Для сохранения порядка внутри социальной сети, придумана такая роль, как модератор. Пользователь с правами модератора определяет, какой материал соответствует правилам Одноклассников, а какой их нарушает. Благодаря этим действиям, на сайте практически не получится встретить пропаганду насилия, рекламу наркотиков или прочие публикации схожего характера. В статье подробно рассмотрим деятельность модератора и опишем способ, помогающий ощутить себя в роли этого человека.

Содержание

• 1 Кто такой модератор одноклассников
• 2 Как стать модераторов в Одноклассниках
• 3 Обзор приложения «Модератор Одноклассников»
  • 3.1 Как начать
  • 3.2 Интерфейс приложения и основные действия

Кто такой модератор одноклассников

Модератор – это участник социальной сети, который выполняет проверку публикуемых материалов, на соответствие действующим правилам. Так в публикациях не должно содержаться порнографии, сцен насилия, рекламы, спама, пропаганды наркотиков, призывов к расовым притеснениям и т. д.

Функцию модератора может выполнять как обычный пользователь Одноклассников, так и специально нанятые работники, обслуживающие деятельность сайта. Последние не только просматривают публикации, но также рассматривают жалобы, которые поступают на комментарии и прочие виды записей.

Если говорить об обычных пользователях, то они могут почувствовать себя в роли модератора в двух случаях:

• Администрирование группы. Владелец сообщества имеет полное право на удаление публикаций и комментариев ее участников. Также ему позволено блокировать людей, которые слишком навязчивы, занимаются рассылкой спама, нарушают установленные внутри группы правила и т.д.
• Приложение «Модератор Одноклассников». Это приложение призвано помочь работникам сайта с проверкой публикуемых фотографий и видеозаписей. За выполненные действия, участник соцсети получает баллы, которые можно потратить на аукционе.

Как стать модераторов в Одноклассниках

Как можно догадаться с информации представленной выше, существует два варианта ощутить на себе роль модератора:

• Занять должность администратора группы.
• Присоединиться к использованию приложения «Модератор Одноклассников».

Именно второй вариант заслуживает подробного рассмотрения, поскольку в отношении группы каждый устанавливает свои правила и все варианты предусмотреть невозможно. В приложении же существует определенный набор действий, за выполнения которых начисляются баллы.

Обзор приложения «Модератор Одноклассников»

Найти приложение получится через поиск по социальной сети или путем перехода по прямой ссылке: https://ok.ru/app/moderator. Основная идея проверки фотографий и видеороликов заключается в заработке баллов. Накопленные очки можно потратить на аукционах. Там разыгрываются следующие платные функции: «Невидимка», возможность ставить оценку 5+, доступ ко всем наборам смайликов.

Как начать

При первом запуске приложения будет предложено выбрать одно из трех возможных действий:

• Поиск фотографии, на которой изображен номер телефона. Перед началом проверки реальных снимков, потребуется пройти подготовительный этап, отмечая изображения с номером телефона и без него. Важно правильно ответить хотя бы на 24 снимка из 30 предложенных. Это позволяет удостовериться, что человек понял правила проверки изображений.

• Поиск фотографии с текстом. Аналогичное занятие, только в данном случае потребуется отмечать снимки, на которых присутствует любой текст. Просмотрев представленную фотографию, нужно навести курсор на зеленую галочку, и выбрать один из двух вариантов: «Текст на фото» или «Ни одной категории», если его там нет.

• Народный модератор. Этот раздел приложения предлагает пользователю проверять размещенные в сети фотографии на соответствие правилам. Снимок должен быть помечен как пригодный или не пригодный к нахождению на страницах сайта.

Справка. Проходить обучение касательно поиска номера телефона или текста потребуется только при первом запуске. В следующий раз получится приступить к модерированию без задержек.

Интерфейс приложения и основные действия

В приложении весь функционал разделен на три основные вкладки:

• Модерация – здесь непосредственно проходит процесс проверки публикаций.
• История – на странице получится просмотреть уже проверенные фотографии и видеозаписи.
• Статистика – раздел показывает, сколько всего публикаций было проверено, в скольких допущены ошибки и какое количество балов доступно к использованию в рамках аукционов.

Остановимся на первой вкладке и подробнее рассмотрим все доступные действия:

• Вверху слева находится логотип Одноклассников, по нажатию на него происходит перенаправление на официальную группу приложения.
• Вверху справа располагается панель управления, в ней доступны следующие действия (слева направо):
  • Выбрать игру – при нажатии пользователь перемещается на стартовую страницу, где может выбрать вид деятельности (поиск номера или текста, проверка фотографий).
  • Правила – кратко описывает действия в той или иной игре.
  • Предпросмотр – кнопка позволяет раскрыть фотографию на весь экран, для более детального рассмотрения.
  • Пропустить – функция дает возможность отказаться от оценки снимка, если у пользователя присутствуют сомнения относительно своей правоты.
• В нижней левой части окна находится счетчик, отображающий количество баллов, которые нужно набрать до получения дополнительного подарка от разработчиков.
• Внизу справа располагается одна или две кнопки для оценки фотографий.
  • В играх на поиск текста и номера телефона это одна зеленая галочка. При наведении курсора требуется выбрать один из двух вариантов: на снимке есть искомый элемент или его нет.
  • В игре «Народный модератор» присутствует красный кружек и зеленая галочка. При наведении на первый получится отметить найденное нарушение: порнография или пропаганда насилия, оскорбление. При наведении на зеленую галочку можно отметить соответствие фотографии правилам или сразу выставить ей оценку.
• Также внизу расположена ссылка на проводимые в данный момент аукционы, где можно потратить заработанные балы, соревнуясь за платные функции.

Модерация публикаций весьма интересное занятие, которое сопоставимо с просмотром новостной ленты. Выполняя несложные действия, получится заработать очки для участия в аукционах. Важно разобраться с правилами проверки, иначе при большом количестве ошибочных отметок будет наложен штраф с изъятием части накопленных баллов.

Разное

Таргетирование приложения «Модератор Одноклассников» / Хабр

У социальной сети Одноклассники, как и у других интернет-ресурсов, где пользователи могут загружать любой контент, существует задача фильтровать изображения, нарушающие законы Российской Федерации и лицензионное соглашение самой площадки. Таким контентом в соцсети считается порнография в открытом доступе, а также сцены насилия, жестокости и прочие ужасные картинки.

Ежедневно в социальную сеть загружается более 20 миллионов картинок. Для того чтобы их проверить, наши инструменты на основе нейронных сетей автоматически фильтруют картинки определенных категорий. Однако часть контента мы пропускаем через ручную разметку, так как не всегда нейронная модель однозначно может определить, есть запрещенный контент на картинке или нет. Наш любимый пример пограничного контента — диван из разряда «показалось».

Кроме внутренней модерации, у нас создано игровое приложение «Модератор Одноклассников», где любой пользователь соцсети может обрабатывать поток изображений, разделяя фотографии на запрещенный контент и «хороший» – тот, что соответствует правилам соцсети. За каждое правильное решение модератор получает очки, которые потом может потратить на покупку внутренних платных услуг Одноклассников. Конечно, пользователям в приложении показываются только публичные и общедоступные изображения. Ниже пример скриншота приложения.

Разметка из приложения в дальнейшем используется для обучения нейронных моделей. А если кому-то будет интересно почитать о том, как мы геймифицировали разметку изображений, мы напишем об этом отдельную статью. 🙂

Задача

DAU (daily active users — количество уникальных пользователей за сутки) приложения «Модератор Одноклассников» скромное: около 40 тысяч. Это позволяет размечать 3—4 миллиона картинок в сутки. Задача, о решении которой мы расскажем ниже, заключалась в увеличении DAU. Ведь чем больше пользователей станет играть, тем больше картинок будет размечено.

Кроме того, мы договорились, что если в итоге новых пользователей мы привлечем не так много, но при этом заметно прибавится количество размечаемых изображений в сутки, то такой результат будет также положительным. Чтобы справиться с задачей, мы решили воспользоваться методами машинного обучения. Все описанные ниже классификаторы строились на Python c помощью scikit-learn.

Первый этап создания модели

Итак, перед нами стоит задача бинарной классификации пользователей. Разделить их на тех, кому приложение может понравиться, и тех, кого оно, скорее всего, не заинтересует. Начнем с подготовки обучающей выборки. Так как у нас есть статистика по пользователям приложения (приложение работает с 2014 года), выбираем их в качестве объектов обучения. Теперь определимся с двумя вещами:

1. Как разделить пользователей на два класса: заинтересованные и незаинтересованные.
2. Какие признаки пользователя брать для обучения.

Логично предположить, что если пользователю понравилось приложение, то играть он будет неоднократно. И наоборот, если приложение не приглянулось, вряд ли пользователь вернется после первой игры. Мы решили разделить пользователей по этому признаку следующим образом:

1. Те, которые продолжают играть в приложение спустя семь дней после первой игры, считаются заинтересованными.
2. Те, которые сыграли один раз и больше не возвращались, считаются незаинтересованными.

В результате у нас получился следующий размер обучающей выборки: около 133 000 заинтересованных и около 262 700 незаинтересованных пользователей.

Полдела сделано, пора выбирать признаки.

Для начала мы взяли такие обычные признаки, как пол и возраст. Затем мы начали рассуждать: что может мотивировать пользователя помогать нам модерировать запрещенный контент? Скорее всего, это категория людей, которые выступают против него в публичном доступе. Такие пользователи чаще, чем другие, нажимают кнопку «Пожаловаться». Поэтому следующим признаком мы взяли количество жалоб на контент.

Помимо «светлых» целей у человека может быть и небольшой корыстный интерес: получить бесплатно платную услугу за разметку картинок. Поэтому мы добавили признаки, связанные с покупкой услуг Одноклассников. И конечно, мы не могли не задаться вопросом, какие еще приложения пользователь запускал в Одноклассниках. Используя критерий хи-квадрат (метода фильтрации признаков chi-square test), мы отобрали наиболее значимые для классификации приложения, которые и стали нашими последними признаками.

В итоге у нас получился датасет из около 396 000 пользователей с 49 признаками. Датасет разделили на обучающую и тестовую выборку. Первую выборку использовали для обучения, а вторую — для сравнения следующих классификаторов: kNN, SVM, AdaBoost, RandomForest, DecisionTree, LogisticRegression, GradientBoostingClassifier.

У классификаторов есть собственные начальные параметры (например, количество соседей у kNN), от которых зависит их качество. Такие параметры подбирались для каждого классификатора на обучающей выборке с помощью кросс-валидации. Для этого использовались GridSearch и Stratified KFold из scikit-learn. Для обученных классификаторов с подобранными параметрами строились ROC-кривые (receiver operating characteristig) на тестовой выборке. После этого классификаторы сравнивались по AUC score (area under ROC-curve, площадь под ROC-кривой) соответствующих ROC-кривых. Чем выше данный показатель, тем более качественным считается классификатор. В итоге лучшим по AUC оказался классификатор GradientBoostingClassifier. Ниже показана его ROC-кривая по результатам обучения.

Полевые испытания первой модели

Получившийся классификатор мы протестировали на 500 000 случайных пользователей. После чего отфильтровали их по активности в социальной сети, возрасту (наше приложение имеет рейтинг 18+) и получили 3949 кандидатов. Кандидатам внутри Одноклассников разослали пуши с приглашениями попробовать наше приложение.

За неделю с момента рассылки пушей в приложение зашли всего 59 человек (1,5 % общего количества кандидатов). Результаты оказались, мягко говоря, далеки от желаемых.

Тем не менее 59 новых пользователей за неделю обработали около 19 000 изображений, так что мы не отчаялись и решили предпринять вторую попытку.

Второй этап создания модели

При второй попытке мы решили изменить подход к разделению пользователей на два класса. Основной упор сделали на увеличение количества обработанных изображений. На базе такого критерия мы выделили заинтересованных пользователей, которые играют постоянно и размечают более 6000 изображений за неделю.

Мы выгрузили данные за неделю и получили новый размер обучающей выборки: около 4400 заинтересованных пользователей, около 7740 незаинтересованных (менее 5 размеченных изображений) и около 106 630 пользователей, проверивших от 5 до 6000 изображений.

В датасет добавили новые признаки: факт заполнения профиля (семейное положение, школа, вуз, место работы), карма пользователя: добавляли ли его в черный список, жаловались ли на его контент, а также активность в социальной сети: создание постов, «классы», комментарии к контенту других пользователей.

Также мы добавили сведения о том, какие приложения пользователь открывал за последний месяц (ведь со временем вкусы человека могут меняться, а нам интересно текущее положение вещей).

Собрав новый датасет, мы решили посмотреть на наиболее значимые признаки. Часть из них оказалась подозрительно хороша. Например, распределение признака «оценки фотографии» между категориями пользователей выглядело следующим образом.

На графике по оси Х — количество оценок фото за неделю, а по оси Y — доля пользователей из соответствующей категории, которые поставили Х оценок. Дело в том, что интерфейс нашего приложения (на скриншоте столбик оценок справа) позволяет игроку в том числе ставить оценки проверяемым фото во время разбора картинок, чем и объясняется полученный график.

В связи с этим мы решили убрать данный и схожие подозрительные признаки из выборки. А вот по возрасту, например, получилась более интересная картина (см. график ниже), поэтому возрастные критерии были оставлены.

На графике по оси Х — возраст пользователей, а по оси Y — доля поля пользователей с возрастом Х в соответствующей категории. Повторив обучение на новом наборе данных, мы получили следующую ROC-кривую для лучшего классификатора.

По сравнению с первым заходом AUC уже выглядело более привлекательным, и мы перешли к полевым испытаниям.

Полевые испытания второй модели

В этот раз из случайного подмножества пользователей, отфильтрованных по активности и возрасту, наша модель отобрала 60 000 потенциальных кандидатов. Также для получения сравнительных статистических данных дополнительно случайным образом выбрали еще 60 000 пользователей.

В результате нотификация с предложением опробовать наше приложение была отправлена 60 000 кандидатам от модели и 60 000 случайным пользователям. Спустя неделю статистика показала, что в приложение зашли 5056 человек, то есть около 4 % из 120 000 получателей пушей. Посмотрим, кого из них выбрал классификатор, а кто попал благодаря всемогущему рандому:

Вторая модель привлекла в два раза больше пользователей, чем рандомная рассылка. Точно так же дело обстоит и с количеством обработанных изображений: пользователи, привлеченные моделью, размечали в 2—2,5 раза больше картинок.

Также стоит отметить, что часть пользователей, выбранных моделью, начали играть каждый день, в то время как пользователи из рандомной выборки к концу недели почти перестали заходить в игру.

Итоги

Что мы вынесли для себя по итогам создания и испытания модели:

1. Первый результат обучения классификатора далеко не всегда будет положительным. Но он должен не приводить к остановке обучения, а, наоборот, давать пищу для последующих экспериментов.
2. При выборе признаков для датасета стоит понимать, как каждый признак может повлиять на результат. Оптимально подкреплять выбор каждого признака статистикой.
3. Хорошо обученная модель — лишь часть успеха. На конечный результат влияют и другие факторы:
   
   • Каким образом пользователь получает рекламу. Например, можно было добавить признак того, как часто пользователи кликают на пуши в мобильной и в веб-версии портала.
   • Очень важен и текст самого пуша. Пользователи чаще реагируют на вирусный текст, чем на обычный. Например, на пуш с текстом «Бесплатные ОКи, играй и выигрывай!» будет кликов больше, чем на пуш «Попробуйте наше приложение». Если вирусный текст подкрепить вирусной картинкой — эффект возрастет.
   • В какое время стоит рассылать пуши. Например, если пользователи из датасета в большинстве своем живут в Москве, по прогнозу Гидрометцентра смотрим ближайший дождливый день и его определяем как день для рассылки. Расчет на то, что в дождь люди не пойдут гулять и будут сидеть в соцсети. А значит, шанс того, что они увидят наш пуш сразу после отправки, возрастет.
   • То же самое касается и времени рассылки: если пользователи преимущественно живут во Владивостоке, то рассылку в 18:00 по московскому времени они прочтут только утром, спустя 7—8 часов. За это время наш пуш может затеряться среди других пушей пользователя.

Спорное анонимное приложение After School вернулось в App Store

По словам главного операционного директора Кори Леви, спустя почти четыре месяца After School, приложение для анонимного обмена сообщениями, предназначенное специально для старшеклассников, было восстановлено в App Store.

Приложение After School было заблокировано в App Store в декабре за нарушение нескольких правил App Store, включая категории «личные нападки» и «нежелательный контент».

Учащиеся, которые могут использовать After School для анонимных сообщений своим одноклассникам, использовали приложение, чтобы запугивать друг друга; в первый месяц существования приложения сообщалось о множественных угрозах огнестрельным оружием.

С тех пор After School встроила в приложение множество функций безопасности, чтобы попытаться предотвратить такое поведение.

Самой жесткой из этих мер безопасности является человеческая умеренность. Каждый пост, отправленный в приложение, теперь должен быть одобрен модератором-человеком, прежде чем кто-либо еще сможет его увидеть, сказал Леви Re/code в прошлом месяце.

After School платит сторонней компании за модерацию. По словам Леви, до того, как приложение было запрещено в App Store, студенты публиковали сообщения не реже одного раза в минуту и ​​до тысячи раз в час в часы пик. Модерация поста в минуту может работать на данный момент, но если After School продолжит расти, будет интересно посмотреть, сможет ли ее стратегия модерации масштабироваться вместе с ней.

До того, как After School была удалена из App Store, она пользовалась большим успехом среди американских подростков. За первый месяц его скачали более 100 000 человек из более чем 14 000 средних школ. Затем приложение было заблокировано, что остановило этот рост.

Но в прошлом месяце Леви сказал, что его не беспокоит потеря потенциальных пользователей. Студенты месяцами писали ему по электронной почте и писали в Твиттере, спрашивая, когда он вернется.

«Люди хотят того, чего не могут иметь», — сказал он.

Вы можете скачать приложение в App Store здесь. Версии для Android сейчас нет.

Первоначально эта статья появилась на Recode.net.

Помогите нам отпраздновать девять лет Vox

С момента запуска Vox в 2014 году наша аудитория поддержала нашу миссию многими значимыми способами. Более 80 000 человек ответили на просьбы помочь с нашими отчетами. Бесчисленное количество учителей рассказали нам о том, как они используют нашу работу в своих классах. И за три года, прошедшие с тех пор, как мы запустили программу Vox Contributions, десятки тысяч людей внесли свой вклад, чтобы помочь сохранить нашу уникальную работу бесплатной. Мы стремимся к тому, чтобы наша работа была бесплатной для всех, кто в ней нуждается, потому что мы считаем, что высококачественная объяснительная журналистика является общественным благом. Мы не можем полагаться только на рекламу, чтобы сделать это. Поможете ли вы сохранить Vox бесплатным в течение следующих девяти лет, сделав подарок сегодня?

Один раз Ежемесячно Ежегодный

95 долларов в год

120 долларов в год

250 долларов в год

350 долларов в год

Да, дам 120 долларов в год

Да, дам 120 долларов в год

Мы принимаем кредитные карты, Apple Pay и Google Pay. Вы также можете внести свой вклад через

‎Ариана Соколов : История App Store

ПОЗНАКОМЬТЕСЬ С РАЗРАБОТЧИКОМ

Нажмите, чтобы познакомиться с подростком, соавтором Trill Project, поддерживающей социальной сети.

Интернет не известен как безопасное и позитивное место. Когда начинающему разработчику Ариане Соколов было 17 лет, она решила это изменить.

Она является одним из трех создателей Trill Project , анонимной социальной сети, созданной для того, чтобы люди могли свободно и, прежде всего, безопасно выражать свои мысли.

Во время участия в программе, поощряющей девочек создавать приложения, решающие социальные проблемы, Соколову пришла в голову идея создать пространство для пользователей ЛГБТК+. «Моя подруга была бисексуалкой и поделилась со мной тем, как трудно было признаться», — говорит она. Trill Project не имеет имен пользователей (вместо них используются броские цвета). Его модераторы поддерживаются проприетарными алгоритмами.

Теперь студентка Университета Южной Калифорнии Соколова рассказывает, как она случайно увлеклась программированием и почему машинное обучение может сделать Интернет более безопасным для всех.

Trill Project — это анонимная, но поддерживающая социальная сеть.

Как вы пришли к программированию?
Когда мне было 8 лет, я должен был заниматься фотографией в летней школе. Я пошел в компьютерный класс, потому что думал, что там был класс. Это была полная случайность, но все получилось отлично.

Что было самым трудным или пугающим — и как вы это преодолели?
Задавая вопросы. Когда я только начинала, было не так много программ для девочек. Я думал, что задавая вопросы, я буду казаться, что я не принадлежу к миру технологий. Я преодолел это на WWDC. Я посетил массу лабораторий и разговаривал с людьми. Это заставило меня понять, что даже у экспертов и профессионалов есть вопросы и они не знают всего.

Дело не только в том, как приложения выглядят или функционируют, а в том, какие чувства они вызывают у людей.

Что вы находите в этом наиболее ценным?
У меня есть несколько нарушений обучаемости — дислексия и расстройство исполнительной функции, которые часто встречаются у людей с СДВГ. Компьютеры были очень большой частью моей жизни с самого раннего возраста, потому что они помогли мне справиться с этим. СДВГ помогает мне сосредотачиваться, поэтому программирование пришло ко мне сверхъестественно. У меня было внимание, чтобы действительно исправить ошибки. Было приятно иметь что-то, в чем я был хорош от природы.

Программирование действительно научило меня организовывать себя. Необходимость вести документацию, планировать переменные — все это помогало мне организовывать учебу и жизнь.

Какие другие действия больше всего похожи на программирование и почему?
Арт. Я люблю цифровое искусство, Claymation, монтаж видео, графический дизайн и даже украшаю свою комнату. LLVM и Xcode идеально сочетают дизайн и технологии. Дело не только в том, как приложения выглядят или функционируют, а в том, какие чувства они вызывают у людей. Создавая эти приложения, вы можете вызвать положительные эмоции у других или заставить их почувствовать, что они могут открыться и найти безопасное место. Я думаю, что искусство действительно помогло мне в этом.

Здесь нет имен пользователей; выберите цвет, чтобы идентифицировать себя (слева). Модераторы и алгоритмы внимательно следят за содержанием.

Как ваши друзья и одноклассники отреагировали на ваше приложение?
Я ходил в среднюю школу, в которой была довольно мощная программа по информатике. В клубе Girls Who Code, которым я руководила, было около 50 членов. Поэтому люди говорили: «Это так круто» или «Как ты это делаешь?» Когда я учился на втором курсе старшей школы, у нас оставался примерно месяц до конца учебного года после окончания нашего класса AP Computer Science. Группа студентов спросила, могу ли я провести урок по Swift.

Какой совет вы можете дать студентам, которые только начинают заниматься программированием?
Проверьте Swift Playgrounds. Кроме того, особенно на GitHub, есть действительно крутые игровые площадки — интересно открывать части кода, которые вы обычно не видите. Новые программисты должны проверить это и понять, что кодирование может принимать очень разные формы. Даже если это не то, что вы делаете для своей карьеры, вы можете чему-то научиться.

Какую проблему вы больше всего хотели бы решить с помощью технологий?
Это то, что мы пытаемся сделать с помощью программы Trill — создать более безопасный Интернет для всех. Мы интегрируем алгоритмы машинного обучения, обученные на основе сообщений, которые указали модераторы, чтобы показать, что кто-то может планировать причинить вред себе, кто-то причиняет вред пользователю или пользователь причиняет вред кому-то другому. Мы создали для наших модераторов способы обработки этих сообщений, но алгоритмы машинного обучения помогли сделать этот процесс намного эффективнее, поэтому мы можем помочь большему количеству людей.