Открытка компании: Почему «Билайн» кардинально изменил результаты конкурса по Big Data?

Здравствуйте.

Не так давно я участвовал в конкурсе "Билайна" по Big Data.

В промежуточных результатах я шёл на первом месте, после окончания конкурса они выложили финальные результаты, в которых я так же был на первом месте.

(Скриншот первоначально опубликованного топа)

Но спустя несколько часов они были убраны, а на их смену пришли те, что видны сейчас, я успел сделать скриншот.

Специфика подобных конкурсов такова, что итоговые результаты могут немного отличатся от промежуточных, но мои отличались очень сильно. По их мнению мое решение оказалось на 435 месте из 831 участника, вместо первого,  это явно ошибка.

(откорректированный топ)

(новый результат бывшего первого места)

По правилам, в конце конкурса нужно было загрузить файл, который, по мнению участника, является самым лучшим решением из всех попыток. Сразу после окончания конкурса один из работников Хабрахабра (где проводился конкурс) написал, что у меня есть решение, которое занимает первое место, но в качестве итогового решения оно не было выбрано.

Сразу после окончания конкурса "Билайн" пообещал выложить проверочный файл, который позволяет сверить результаты самостоятельно, но случилось это только спустя месяц, после кучи напоминаний от участников. При этом нигде об этом анонсировано не было, они сделали это очень тихо. Благодаря проверочному файлу я убедился, что то решение, которое я выбрал в качестве итогового, заняло бы первое место. Организация конкурса была очень плохой, для того, чтобы выбрать лучший файл нужно было просто загрузить его самым последним, перед самым окончанием конкурса. Я отчетливо помню, какой я выбирал файл, но доказать это невозможно.

Об этой проблеме я написал на почту конкурса, с просьбой разъяснить ситуацию и посмотреть, не ошиблась ли их система при выборе файлов, ответа в течение 15 дней получено не было. Меня просто игнорируют.

На протяжении всего этого конкурса мне писали два рекрутера билайна и говорили, что им очень понравилось мое решение (с 435 местом-то, это несколько смешно, хотя о реальном месте они знают). Последнего рекрутера я также попросил прояснить ситуацию, на что сразу получил ответ, что он в курсе ситуации, я не первый жалуюсь, и он передаст руководству. Несмотря на повторные письма, он также не отвечает уже больше 10 дней.

Мне довольно сложно описать ситуацию в двух словах, чтобы вам были понятны все нюансы, но, на данный момент получается так, что по чьей-то ошибке я проиграл в конкурсе. Это может быть и моя ошибка, но вероятность такого исхода очень мала, я отчетливо помню как несколько раз все проверил, перед тем как загрузить последний файл. У меня есть большие подозрения, что программисты, которые устраивали этот конкурс, просто напутали временные зоны и не захватили решения, которые загружались в последние 2-4 часа, но опять же это никак не доказать.

У меня есть большой опыт участия в таких конкурсах, я вхожу в топ 100 (среди 425 694 участников) мирового рейтинга «Kaggle» (площадка, где каждый месяц проводится до десяти подобных конкурсов). Поэтому это не жалобы очередного «нуба», который не понял правила участия в конкурсе.

Комментарий Roem.ru: "Билайн" отвечает:

Артем действительно загружал файл, который на предварительной выборке в 30% показывал первый результат.  Предварительный рейтинг строился по лучшей попытке пользователя.

Площадка действительно ошиблась в составлении финального рейтинга и пересчитала его по лучшей попытке, а не по последнему загруженному результату.

По результатам этого рейтинга Артем имел топовый результат. Эта ошибка была быстро обнаружена, рейтинг пересчитали и результат обновили.

Последний результат пошел в финальный рейтинг, который сейчас можно увидеть на сайте конкурса.

Таким образом, на текущий момент все верно и рейтинг Артема соответствует всем правилам конкурса