Блог Яндекса для вебмастеров

В Яндекс.Толоке появились первые сертифицированные партнёры

В Яндекс.Толоке прошла первая сертификация поставщиков краудсорсинговых решений. Теперь клиенты Толоки могут заказать подготовку проекта и размещение у сертифицированных партнёров. Они помогут заказчикам решать их повседневные бизнес-задачи, привлекая тысячи пользователей к их выполнению и используя технологии Яндекса. В свою очередь для партнёров сертификация в Толоке — это возможность использовать краудсорсинг, чтобы совершенствовать собственные технологии, и дополнительный канал привлечения клиентов.

Первыми сертифицированными партнёрами Толоки стали:


  • BestPlace — платформа для оценки территории и прогноза розничного товарооборота, которая позволяет моментально находить самые рентабельные места в городе. В Толоке компания проводит полевые исследования и актуализирует данные по подсчёту пешеходного трафика, проверяет актуальность объявлений о недвижимости, проводит мониторинг конкурентов для заказчиков.

  • Handl — сервис подготовки и разметки данных для машинного обучения. Handl предоставляет интерфейсы для разметки фото, аудио, видео и текстовых файлов. В Толоке компания делает разметку датасетов эффективной и качественной для заказчика, а также готовит данные любого типа под задачи машинного обучения.

  • ID R&D — компания разрабатывает решения в сфере аутентификации, в том числе через биометрию. Передовые технологии ID R&D применяются в финансовых учреждениях на трёх континентах. Через Толоку компания собирает данные, чтобы совершенствовать алгоритмы работы биометрических систем.

  • SD Data — компания занимается разработкой систем разговорного искусственного интеллекта, а также систем приёмки и тестирования ИИ. В Толоке компания собирает данные для обучения и тестирования — диалоги, вопросы, ответы, переформулировки.

  • VisionLabs — разрабатывает решения в области компьютерного зрения и машинного обучения, основанные на биометрии данных с использованием нейросетей. С помощью пользователей Толоки компания размечает и обрабатывает изображения, чтобы улучшить качество работы своих алгоритмов.

Вторая волна сертификации будет запущена в ближайшее время. Партнерами платформы могут стать IT-компании, использующие в своей работе технологии краудсорсинга, а также digital-агентства и частные специалисты, имеющие большой опыт работы с данными и хорошую экспертизу Толоке. Они также смогут настраивать проекты для внешних клиентов. Узнать условия партнерской программы и оставить заявку на сертификацию можно на сайте проекта.

Команда Яндекс.Толоки

P. S. Подписывайтесь на наши каналы
Блог Яндекса для Вебмастеров
Канал Яндекса о продвижении сайтов на YouTube
Канал для владельцев сайтов в Яндекс.Дзен

63 комментария
Андрей О.
6 августа, 12:41
Толока - это самое малоприбыльное занятие в стране. Бомжи, которые собирают и сдают стеклотару и цветмет, зарабатывают в разы больше.


Так держать, Яндекс! ;)
Андрей О.,
И смех и грех , но факт..даже и комментировать после этого ничего и не не стоит
Андрей О.,
точняк, на себе проверил, потратив кучу времени и получив копейки
Андрей О.,
который раз говорю, что не хватает в этом блоге Яндекса функции лайков! Вам 100 лайков!
Елена Першина
Сотрудник Яндекса6 августа, 20:30
Андрей О.,
вот у меня к вам всего два вопроса:
1) Если вы правы, почему в Толоке миллионы пользователей, которые там зарабатывают?
2) И причем тут вообще стороны исполнителя, если речь о заказах для вашего бизнеса? Где вы сами решаете, сколько платить исполнителям. Если вы считаете, что платите им мало - просто поставьте цену, которую хотите платить. 


Ну и третий, дополнительный: если вы профессионал в области развития бизнесов/сайтов, откуда вы вообще знаете, сколько  зарабатывают те, кто сдает стеклотару (её вообще сейчас принимают?)? 
Андрей О.
6 августа, 21:04
Елена Першина,
 Знаю, потому что зарегистрировался в сервисе 6 лет назад. 


Кстати, те заработанные копейки до сих пор не смог вывести.
Андрей О.,
Кстати да. Тоже пару лет назад интереса для покликал в толоке. За неделю вышла минималка, 5 центов вроде. Вывести невозможно. Так и висят там.
vlad77a2014,
История такая же. Но мне случайно удалось нарваться на противоречивое задание - попарное сравнение сайтов. Заработок там - 3 - 15 $ в день (пока глаза не вылезут из орбит). Правда, после пары месяцев выполнения и споров с дубовым заказчиком (яндекс), желания дальше ФАЛЬСИФИЦИРОВАТЬ ВЫДАЧУ не осталось.  
Комментарий удалён
Елена Першина
Сотрудник Яндекса15 августа, 14:55
Борис М,
чужие деньги беспокоят? Как это вам поможет в работе в Толоке как заказчик (ну и даже как исполнитель)? 
Комментарий удалён
Борис М,
а как заработок отдельного толокера описывает эффективность того, как ваша организация может работать с Толокой? Можете логику описать, хотя бы примерно - я бы тогда тоже присоединился к вопросу.
Закрыли бы уже свой "сервис".
Елена Першина
Сотрудник Яндекса6 августа, 20:27
gamefreelance,
в этот раз какой сервис вам не нравится? ) 
Елена Першина
Сотрудник Яндекса9 августа, 13:56
gamefreelance,
и чем он вам так не угодил? Вы его хоть пробовали как заказчик использовать? 
Мне представляется, что Толока решает множество задач для IT-компаний и поэтому в ней есть толк. Но заработать там хотя бы минимальный прожиточный непросто (если вообще реально).
Обновлено 6 августа, 13:02
Елена Першина
Сотрудник Яндекса6 августа, 20:31
alomakin95,
здесь вообще пост не для исполнителей - а для заказчиков. Как раз хотим показать, что задачи вашего бизнеса легко решаются через Толоку. Особенно если это ML.
что такое яндекс толока, кто знает ?

Ленар,
я думаю, что многие знают :)
Елена Першина
Сотрудник Яндекса6 августа, 20:32
Ленар,
это краудсорсинговая платформа, в которой можно обычным людям выдать задания для вашего бизнеса: собрать обучающий пул для ML, проверить размещение объявлений от подрядчика и много чего другого. 
Семен Семёныч
6 августа, 17:01
Тут все эти комментарии не к месту конечно, но Толока это реально сервис построенный на негритянском труде школоты. Как вам не стыдно, еще и хвалитесь:)))
Семен Семёныч,
плюсую. Добавлю, что не просто школоты, а глуповатой школоты. Ведь приложи это же количество труда в другой сфере, заработаешь в разы больше.
Елена Першина
Сотрудник Яндекса6 августа, 20:34
Семен Семёныч,
вообще-то стоимость оплаты труда выбирают там заказчики.  То есть вы сами указываете, сколько платить за задание. Да и пользователи там разные - есть обучающие пулы, пройдя которые, человек получает нужный уровень знания, а также более дорогие и сложные задания. 
Школота, не школота... Но пользователи толоки влияют на алгоритмы ранжирования поисковой системы.))) теперь понятно, почему позиции скачут и трафик не идёт?
Елена Першина
Сотрудник Яндекса6 августа, 20:36
fogi2000,
минутка сарказма: "да, берут и каждый сайт руками опускают".
Миф о том, что толокеры кого-то опускают или поднимают в выдаче даже комментировать не берусь. 
Елена Першина,
Инструкция
Задание содержит реальный поисковый запрос с указанием региона, из которого он задан, и пару документов, нашедшихся по этому запросу. Необходимо из двух документов выбрать один ("Левый лучше" или "Правый лучше").
Представьте, что Вы и есть тот пользователь, который задал запрос. Какой из двух документов Вы бы предпочли увидеть в выдаче? Почему? Необходимо выбрать документ, который как Вам кажется, лучше поможет пользователю справиться с задачей.
ОБЪЕКТИВНОСТЬ ВЫБОРА С УЧЕТОМ ВЫПОЛНЕНИЯ МНОЙ СРАВНЕНИЯ БОЛЕЕ 10000 ПАР САЙТОВ 30-40%. Как только начинаешь объективно оценивать сайты - навык и оплата падает. Все исполнители начинают подстраиваться, придумывают теории и высосанные из пальца стратегии - все для того, чтобы угадать мнение большинства (абсурд). В результате имеем нездоровый интеллект робота и не всегда адекватную выдачу. И, кстати, здесь прогоняются все ваши сервисы, ГСы типа FB, кинопоиск, турбо - как вы думаете, какую оценку они получают? Конечно же им всегда отдают предпочтение) А потом, на теме про турбо, вы нам рассказываете, как они хороши)   
Елена Першина
Сотрудник Яндекса9 августа, 12:52
armnbass,
социологические исследование аудитории на Толоке проводить нельзя ) Если вы знаете, что такое правильная выборка, я думаю, вы это понимаете. А если понимаете - то почему такое пишите? Для этого у нас есть реальные пользователи и Яндекс.Взгляд.


Так что, пожалуйста, давайте по сути. В ответах есть пересечения с другими пользователями, ответы в каждом пуле перепроверяются несколько раз. Если вам отмечают, что задание сделано не качественно, то это значит, что либо ваше мнение полностью отличается от подавляющего большинства других пользователей (предвзятость к Турбо, делать не хотите, пытаетесь это доказать через Толоку?), либо вы пропускаете ханнипоты: специальные вопросы-ловушки, которые устанавливаются именно для того, чтобы понять корректность ваших ответов.
Елена Першина,
Постараюсь ответить конкретно по этому заданию.
1) Непрозрачное формирование навыка.
2) Навык напрямую связан с ценой задания. Одно и то же задание может оцениваться от 0,05$ до 1$. Это очень большая разбежка, влияющая на объективность оценки. Если на обычных заданиях, где разбежка в зависимости от навыка в несколько центов особого влияния не имеет, то в попарном сравнении сайтов исполнитель начинает задумываться... Он уже начинает оценивать сайты не так, как среднестатистический пользователь (но с учетом инструкции), а как хитрый толокер, который не хочет просиживать за копейки.
3) Про сервисы яндекса объяснять нечего - кто платит, тот и заказывает музыку. Так думает большинство.
4) Форум. Почитайте форум Масалии, и вы многое поймете. Вся та каша вперемешку с полезными советами также снижают объективность оценки.
5) Неполноценная инструкция, призванная стимулировать индивидуальность оценок, в совокупности со всем выше описанным провоцирует к постоянным экспериментам для увеличения заработка.
6) Моя предвзятость тут не причем. Как бы я не считал, я всегда отдавал предпочтение вашим ресурсам. А весь мой выбор в 80% сводился к изучению уже имеющейся выдачи) А знаете почему? Потому что после тщательного анализа пула с аргументацией (на который уходит 30 - 40 минут) ваш навык все равно стремительно падает. Заказчик анализ ответов не дает - и круг замыкается. Индивидуальность ответов пропадает.
PS: задание может и хорошее, но система оценок все губит. Ну неужели вы не понимаете - если основной критерий попадание в большинство, все будут стремиться попасть в это большинство. К заданию, косвенно формирующему выдачу, такой подход не приемлем.
Еще раз повторяю - из порядка 10000 пар сайтов я уделил минимальное внимание 5-10% страниц (остальные игнорировались), аргументацию выбора никогда не писал. При этом навык скачет от 10 до 50 - и это норма у большинства. Если такая выборка вас устраивает, что ж - продолжайте в том же духе. А меня это не устраивает. 
Обновлено 10 августа, 00:03
Otshelnik-Studio
6 августа, 22:15
Я там зарегистрирован. заработал 1$
Елена Першина
Сотрудник Яндекса9 августа, 10:03
Otshelnik-Studio,
явно вы не регистрировались как заказчик, потому что заказчик там платит, а не зарабатывает. Заказчик там решает задачи своего бизнеса, а подрядчики - выполняют такие задачи, разбитые на простые действия. Не очень понимаю, зачем профессиональному вебмастеру регистрироваться как исполнителю, а не как заказчику. 
"SD Data — компания занимается разработкой систем разговорного искусственного интеллекта, а также систем приёмки и тестирования ИИ"

Смешно про искусственный интеллект)) Кто его вообще интеллектом то назвал? 
У эволюции ушло около 50 миллионов лет, чтобы появился интеллект, а то что вы называете интеллектом, это просто программа, которая никогда им не станет. И рабы из Толоки тут не помогут))
Обновлено 6 августа, 23:29
okna-mv-servis,
Зря вы так, Толокеры (люди), всего лишь корректируют, а уже на основе стадного аудита, вводятся корректировки.


P.S Елена, сколько в среднем зарабатывает обычный Толокер (упростим, больше 6 тыс в месяц или меньше?). Рублей конечно же. Ну или больше 100$+?
Елена Першина
Сотрудник Яндекса9 августа, 10:04
Амиль,
Амиль, к сожалению данный вопрос немного не ко мне,  а к поддержке Толоки для исполнителей. Зато я буду рада рассказать про то., как работать с Толокой бизнесу. 
Елена Першина
Сотрудник Яндекса9 августа, 12:32
okna-mv-servis,
вот так посмотришь, что уже умеет делать искусственный интеллект, и поймешь, что иногда он выполняет задачи лучше людей ))
Горшочек, не вари.
Ага, расскажите про маленькие заработки тем, кто на полевых за день $100+ зарабатывает...
Или вы дальше десктопной Толоки не смотрели?
mytown,
ага, целый месяц по городу бегал как идиот. Заработал около 30$, может в Москве и можно заработать чуть больше, но это исключение.
ilovedimka,
Плохо бегали. В регионах сейчас очень много дорогих полевых заданий. Например, у меня сейчас 30$ - это 60 домов в частном секторе, 2 часа работы. Есть объекты и дороже. 
Станислав
9 августа, 07:11
mytown,
Кул стори
Елена Першина
Сотрудник Яндекса9 августа, 12:53
mytown,
да, пешеходы - хороший пример. 
После посещений с толоки падают позиции интернет-магазина за которым стоит реальный бизнес и выше него поднимается не пойми что. Получается, что какие то "высокоинтеллектуальные" товарищи, оценивающие свой труд несколько центов, могут угробить магазин и плевать на все остальные факторы. Вы наносите реальный ущерб и объективно ухудшаете выдачу.
Елена Першина
Сотрудник Яндекса12 августа, 15:53
patent33,
я даже не буду это комментировать. Никто руками ваш сайт не ранжирует. Пока вы это не поймете, нет смысла обсуждать что-то подобное. 
Елена Першина,
я и не писал про ручное ранжирование. Я имел в виду, что наблюдал такую картину, что сначала метрика фиксирует достаточно большое количество переходов с толоки и через несколько дней падают позиции некоторых запросов.  Я конечно не могу утверждать, что эти события связанные.
Елена Першина,
Простой пример из задания и варианты выдачи Я и Г:
https://yadi.sk/i/nQhJYYupzNLmsQ
https://yadi.sk/i/rBqiQImxZvhddA
https://yadi.sk/i/0GXeWQIpxB0e5g
А теперь вопрос - ваш алгоритм умеет в десктопную выдачу выгружать основную версию сайта а не мобильную? Либо это ваш эксперимент - узнать мнение людей - как они относятся к урезанным сайтам в выдаче.Что это? Если второе, то это опровергает ваше "Никто руками ваш сайт не ранжирует". Если первое - то грош цена вашим алгоритмам и службе поддержки (так как об этой проблеме я сообщал несколько месяцев назад).
Я больше склоняюсь к версии с экспериментом, продвижением под этим соусом турбо и частичным ручным формированием выдачи посредством скармливания интеллекту необъективных сигналов (об этом читайте выше).
armnbass,
[Ticket#19050815344622156] чтобы не быть голословным.
А от вас как обычно тишина или вода) 
platon
Сотрудник Яндекса19 августа, 10:32
armnbass,
почему же тишина? Мой коллега ответил вам, что передал информацию аналитикам. Все изменения по итогам рассмотрения, если они будут, вы сможете увидеть непосредственно в результатах поиска.
Елена Першина
Сотрудник Яндекса19 августа, 10:36
armnbass,
комментирую скриншоты, по тикету Платон уже ответил. У нас есть задача, сравниваться с конкурентами. Кажется, любой, кто занимается улучшением продукта, сравнивается с конкурентами. Проблема-то тут в чем? 
Обновлено 19 августа, 10:36
Елена Першина,
Проблема в том, что у вас в десктопной выдаче мобильная версия сайта. При том что эта версия сайта участвует в задании DbD по десктопной выдаче.


А по ответу платона можно сделать вывод - что это в порядке вещей у вас. Дальше то что? Будете мобильное турбо в десктоп выгружать?


А теперь про сравнение с конкурентом. Представим, что мобильный маил - это ваш глюк и с заданием не связан. Нам дали пару страниц для сравнения. Задание по десктопу. Одна страница по критерию адаптация не подходит. Выбираем вторую. И что это за вторая - ваш сервис. Вы серьезно? А если большинство выберет touch маил? Вы его в выдачу по дескопу пустите? Хотя, он уже там)


Короче, ребята вы мне нравитесь, но ваши эксперименты по конкретному заданию в толоке - это не серьезно.
platon,
Прошло несколько месяцев. Ничего не изменилось. Яндекс может выгружать в десктопный поиск мобильные версии страниц, и это норма. Вопросов больше нет.
Елена Першина
Сотрудник Яндекса19 августа, 23:13
armnbass,
вам бы о качестве своего сайта беспокоиться, а не о наших тестах )  Продуктивнее для ранжирование вашего сайта было бы ) 
Елена Першина,
Нормальному сотруднику Яндекса было бы стыдно давать ответы в таком тоне. Либо молчите и не позорьте компанию, либо отвечайте по существу. И сайтом тыкать не надо. Я с ним как нибудь сам разберусь. ок.
platon
Сотрудник Яндекса20 августа, 08:07
armnbass,
а вы всерьез считаете, что алгоритмы корректируются вручную по щелчку пальца, и что это быстрый процесс?
Обновлено 20 августа, 08:08
platon
Сотрудник Яндекса20 августа, 08:07
armnbass,
тыкать сейчас как раз-таки начинаете вы. Давайте будем сохранять корректный тон в общении.
platon,
При чем тут по щелчку пальца. Основной посыл - это сомнительное задание DbD, которое создано якобы для обучения мифического интеллекта в целях улучшения выдачи. Исполнитель, основная цель которого заработать и своими ответами попасть в мнение большинства никогда не даст 100% объективных ответов. Что тут еще не понятного? Для заданий такого рода нужна другая, более стабильная, система оценок и детальный анализ пояснений к ответам. Ни того ни другого там нет. 
По поводу корректного тона - я обычный пользователь, если перегну палку, можете удалить комментарий или заблокировать (вы это можете). Но вы, как сотрудники компании, если вас даже что-то задевает, не должны переходить на личности, делать неуместные замечания, ехидничать и стебаться. Я могу вам тыкать, и тыкаю вам по теме поста. А вы мне не можете (тем более не по теме) - так как это выглядит глупо, порочит честь компании и признает всю вашу (относится только к Елене, которая не однократно высказывалась некорректно и пренебрежительно) некомпетентность.
Елена Першина
Сотрудник Яндекса20 августа, 09:46
armnbass,
во-первых, если прозвучит еще одно оскорбление в мой адрес или другого модератора, я вас забаню за нарушение правил блога. Во-вторых, если бы вы хоть раз попытались поработать с Толокой как заказчик, а не как исполнитель, то знали бы, как решаются проблемы некорректной мотивации на стороне сервиса. Если ты "подлизываешься", ты также теряешь деньги. 
Комментарий удалён
Елена Першина,
Вы считаете требование вести себя как грамотный сотрудник, отвечать по существу, не ерничать, ухмыляться и не тыкать - это оскорбление? Тогда извините.
И отвечу на если ты "подлизываешься", ты также теряешь деньги. Вся суть то в том, что исполнитель и не знает за что теряет. Все это незнание приводит к переосмыслению и попыткам поиска мнимых ошибок. В результате вы уже получаете мнение НЕ непредвзятое, но с учетом инструкции (это является основной целью DbD), а сформированное под влиянием определенных факторов (мнения на форуме, анализ ошибок не по существу, стремление попасть в большинство и угадывание этого большинства, переход от обычного мышления к асессорскому). И если вас задевает критика ваших ресурсов, то это не столь существенный перекос в DbD. В любом случае вы не получаете 100% объективных данных для выборки. А убеждать в обратном меня не стоит. Просто почитайте форум Массалии и проанализируйте мышление исполнителей. 
Елена Першина
Сотрудник Яндекса20 августа, 12:23
armnbass,
да, исполнитель знает, что теряет деньги, если работает не по инструкции. Ему специально могут подаваться, например, "плохие" серпы Яндекса, чтобы отлавливать подобные попытки. Методик очень много. Поэтому я и прошу не пытаться строить предположения без понимания принципов работы инструмента. 
Елена Першина,
Возможно я плохо формирую свои мысли, жаль. Резюмирую. Сейчас на проекте у меня низкий навык по DbD в большей степени из-за того, что задания я уже практически не выполняю. Для того, чтобы навык поднялся до среднестатистического максимума, достаточно лишь на протяжении нескольких дней выполнить по 5 - 10 заданий. Как они выполняются мной: открывается выдача и отдается предпочтение странице, которая уже выше в выдаче (если так не получается - пытаюсь угадать мнение большинства). Никакого анализа, никаких комментариев. Я своим выбором практически не влияю на выдачу. А теперь как должно быть - нужно понять запрос, изучить две страницы, если обе релевантные, выбрать ту, которая лучше отвечает на запрос и нравиться больше ПО ЛИЧНЫМ ОЩУЩЕНИЯМ! (основная цель DbD) и аргументировать выбор. А это очень долго (30-40 минут на 11 пар страниц)  и спасибо за честный труд не скажут (проверено на личном опыте). А навык так и будет скакать. Поэтому, я считаю бессмысленным тратить время на объективный анализ. И так считают многие, так как среднее время выполнения 5 -15 минут. И за это время исполнители еще умудряются написать аргументацию выбора! У меня без комментариев и с БЕГЛЫМ осмотром страниц уходит 10 - 15 минут. Вот такие вот дела. Думай тэ и делайте что хотите. Отвечать дальше мне не стоит - это отнимает у меня время и начинает раздражать. Тему закрываю.
Елена Першина
Сотрудник Яндекса20 августа, 20:42
armnbass,
ок, мне тоже кажется странным обсуждать это, особенно учитывая, что по теме поста - про использование Толоки бизнесом в качестве заказчика - не было сказано по факту ничего ( 


Надеюсь, вы когда-нибудь все-таки хотя бы попробуете использовать Толоку по назначению для бизнеса. 
Дмитрий Х.
26 августа, 14:09
armnbass,
служба поддержки у яндекса работает просто отвратно, у меня на ЯД порезали кешбек из-за багов сервиса, в итоге уже пол месяца жду ответа от службы поддержки, периодически напоминая о себе.
armnbass,
я тут случайно на вашу переписку наткнулся. Можно узнать что за сайт? А то прям заинтриговали.
Леонид,
https://toloka.yandex.ru/ задание от заказчика Я.Массалия
armnbass,
да с толокой всё понятно, я спрашивал о  сайте из-за которого вы так переживаете.
Леонид,
Я переживаю за поисковую выдачу которая в какой-то степени формируется не всегда объективными толокерами. Да и сам заказчик в лице яндекса хорош. Вот вам ответ от него по поводу мобильных версий в десктопе: Здравствуйте!
Обратите внимание, пожалуйста, цель задания - сравнить два документа и выбрать лучший из пары. Делать это надо с учетом не только версии задания, но в первую очередь - качества ответа. Ссылка https://touch.otvet.mail.ru/question/19527502 открывается на стационарных устройствах, и пользователь может получить ответ по своему запросу, а значит, вам необходимо сравнить качество документов и выбрать тот, который, по вашему мнению, лучше помогает решить задачу пользователя.
С уважением, Я.Массалия
Вроде и не докопаешься к ответу, но логики и здравого смысла в нем нет (с таким успехом можно и мобильное турбо в десктоп запустить). Как нет смысла и в десктопных турбо (особенно с ворованным контентом), которым дают приоритет над обычным сайтом (с которого этот контент украден).
Обновлено 5 сентября, 16:46