Ингейт готовит свой монитор соцсетей?

http://www.youtube.com/watch?v=HO6JHjHuW1w

100 баксов на то, что «инсайд» — от ингейтовца. Только они могли так «маскироваться» при надписи (с) Ingate Development в футере. А вообще, про эти «бабки» давно уже разговоры ведутся.

А какие существуют ммониторы социальных сетей? Что то я ни одного не знаю.

Wobot, Youscan, Крибрум, в конце концов.

Да, Ингейт офигенная технологическая компания. Щазз она намониторит нам.

http://www.babkee.ru/index.php — если перейдти вот по этой ссылке, то вуаль будет частично приоткрыта )

перенаправление сделали неудачно немноггГ )

О, а это уже инсайд. :) Впрочем, завтра всё равно «официально откроют».

ну судя по недоделанному дизайну и «прорехам» в секретности успеют ли ))

Кстати, уже исправили. Молодцы. :)

РОООООЮТ!!!!))))

ух ты, Себрант нарисован :)

А что-то нет там никакого определения тональности. Предлагают просто вводить свои ключевые слова.

Похоже на перелицованный iqbuzz.ru — тоже аккуратненько и тоже без фантазии. 1. Это такой аккуратно нарисованный интерфейс к поиску по блогам Яндекса. Можно завести «объект», задать ему запросы, и он покажет находимые по этим запросам документы. Находимые в ППБЯ и только в нем. 2. Анализа текстов никакого нет, в принципе. Дубли не определяются и не склеиваются, все прочее тоже не определяется, но кое-что можно назначить руками. Понятие «Тональность» есть: можно руками назначить документу оценку. 3. В описаниях есть подозрительные ограничения на число документов (как можно понять — на число хранимых документов), называются числа типа 8000 штук. А на практике бывают случаи, когда только за сутки собирается 12к уникальных (без учета перепечаток) документов. 4. «Ретроспектива» — это чистый фейк, при тестировании сервис «ретроспективно» собрал документов начиная с позавчера (а графики пытается нарисовать за месяц). 5. Для авторов посчитано число «читателей» (friend-ов для ЖЖ, followers для twitter). Но только само число, не поименно. Это приводит к тому что в отчетах фигурирует сумма этих чисел, а не поименное пересечение. То есть тоже фейк. 6. На иноязычных запросах надолго задумывается, потом выдает нерелевантные русские документы. В общем, фейковая поделка. Разъем к ППБЯ. Так вообще аккуратненько, чистенько, без изысков. Но название чудовищное и бабки в дизайне тоже. Зачем сделали — неясно. Продать это можно только лохам, мне кажется.

Alter Ego кагбэ намекает, что он в теме, но не хочет палить свой ник. :) 1. Если тест был честным, то зачем скрывать себя? 2. Почему в сравнение поставлен IQbuzz? 3. Много ли автор знает о мониторинге социальных сетей? На самом деле нифига не в теме. >А что-то нет там никакого определения тональности. Все, кто предлагает автоматическое определение тональности – мошенники. Даже у Крибрума точность определения тональности до 30%. Вы, батенька, матчасть изучите прежде, чем лезть в серьезный бенч. >Находимые в ППБЯ и только в нем. Летом я проводил тест различных систем сбора упоминаний по social media (да-да, у меня был доступ к системе babkee еще тогда – разработчики активно сотрудничают с экспертами). Так вот, единственные системы, которые не на 100% зависят от ППБЯ – это iqbuzz и babkee. Примерно 50-60% от сбора из яши, все остальное -сбор по другим источникам. На практике проверял. Да вы сами сравните повнимательнее ради интереса, если конечно цель не троллинг продукта здесь. >Дубли не определяются и не склеиваются Мда, руки у вас, простите, не из того места растут. Или, быть может, вы просто некомпетентны делать анализ такого сервиса? >»Ретроспектива» — это чистый фейк Вобще 1-2 месяцев вполне достаточно. Это я вам как практик говорю. >В общем, фейковая поделка. Разъем к ППБЯ Теперь понятно, зачем вы написали этот пост, да еще и анонимно. Голословно помочиться на сервис, который толком и потестировать не можете… Чем же ингейт вас так обидел? :) >Продать это можно только лохам, мне кажется. Поизучайте такие системы как radian6, vocus, sysomos на досуге. С какими лохами и как они работают, а потом уже выползайте на серьезную дискуссию.

Летом я проводил тест различных систем сбора упоминаний по social media (да-да, у меня был доступ к системе babkee еще тогда – разработчики активно сотрудничают с экспертами). Так вот, единственные системы, которые не на 100% зависят от ППБЯ – это iqbuzz и babkee. Wobot сообщает о том, что у них собственный бот. Врут? Вобще 1-2 месяцев вполне достаточно Так Вам говорят, что она реально собралась за 2 дня. Хотя, впрочем, конечно, это у тестировавшего Альтера руки кривые, я понимаю. ;)

Все, кто предлагает автоматическое определение тональности – мошенники. Вот наша компания Крибрум предлагает автоматическое определение тональности. И самое главное, не только предлагает, но и поставляет её. Может быть, мы мошенники, действительно? А может, просто у вас не получилось и теперь вы разуверились в Высоких Технологиях? Даже у Крибрума точность определения тональности до 30%. Это вы откуда ещё взяли? Никакие алгоритмы с точностью «до 30%» использовать нельзя в принципе. Не фантазируйте. Так вот, единственные системы, которые не на 100% зависят от ППБЯ – это iqbuzz и babkee. Ну, мы-то мошенники, так что мы не считаемся, верно? Хотя мы-то качаем и ФБ и Твиттерпо API, блоги своим собственным пауком и т.п. И мы не одни такие, вообще-то. По-моему, любезнейший, вы гоните пургу. По-моему, вообще вышесказанное — набор простейших речёвок, которые велено было заучить продавцам. P.S. Андросову: Был сегодня на RIWе. Видел стенд «Бабок». Такой жести не видел давно. Никита, а точно этот жоский креатив с бабками в платочках — хороший маркетинговый ход?

Игорь, ты чего? Алгоритм (в случае выбора из двух вариантов) с точностью до 30 процентов — это прекрасный алгоритм. Просто инвертируйте его показатели и получите 70 процентов на выходе.

Был сегодня на RIWе. Видел стенд «Бабок». Такой жести не видел давно. Никита, а точно этот жоский креатив с бабками в платочках — хороший маркетинговый ход? Блин, вот так и знал, что что-то интересное пропущу, если на RIW не пойду. И нате вам…

Просто инвертируйте его показатели и получите 70 процентов на выходе. Там не может быть только 2 результата :) Самое смешное (и неожиданное), что технологически ингейтовцы могут побороться с Ашмановым, т.е. не факт что они врут.

Hippi , +100500! Мне также довелось поучаствовать в закрытом тестировании бабок. Система понравилась, очень дружелюбная в сравнении с конкурентами (у вобота 1000 галочек, пока настроил — голову сломал), работает очень быстро (на сбор более 5 000 сообщений ушло меньше минуты), помимо этого порадовал ряд уникальных метрик, в частности “Охват аудитории”. to Psycho , очень интересно наблюдать за тем, как здесь распинаются “крутые эксперты” в области SMM, строящие свои выводы только лишь на основании посылов рекламной кампании сервиса и инормации на сайте… Вы зайдите в тот же wobot, потестируйте ручками, и сравните потом их бота с ЯППБ, вот после этого дадите другое действительно экспертное мнение, касающееся правда всего лишь полноты сбора данных

Игорь, привет, давно не виделись :). Учитывая интерес аудитории к нашему стенду, уверен, что не зря :). Тебе пряник достался?

очень интересно наблюдать за тем, как здесь распинаются “крутые эксперты” в области SMM Во-первых, я не «распинаюсь». Во-вторых, я не эксперт в области SMM. Вы что-то перепутали. Очень приятно видеть в этом топике свежие лица. Hippi, Василий 81, вы-то как раз наверняка те самые мегаэксперты, знакомые с принципами работы всех систем мониторинга. Не могли бы вы представиться несколько более развёрнуто, чем сейчас, чтобы я знал, к кому обращаться за консультацией и «независимым тестированием» в случае чего? Самое смешное (и неожиданное), что технологически ингейтовцы могут побороться с Ашмановым Как у них насчёт лингвистических компетенций?

Известно как: всякий, кто говорит, что умеет делать сальто — мошенник. Люди не могут делать сальто.

Во-первых, я не «распинаюсь». Во-вторых, я не эксперт в области SMM. Вы что-то перепутали. В самом деле?! А так похоже, так похоже :) Не могли бы вы представиться несколько более развёрнуто, чем сейчас, чтобы я знал, к кому обращаться за консультацией и «независимым тестированием» в случае чего? Хм, я бы попросил представиться сначала Вас, но ввиду предыдущего ответа уже не интересно. Отдыхайте.

Хм, я бы попросил представиться сначала Вас, но ввиду предыдущего ответа уже не интересно. Отдыхайте. Домбровский Валентин Анатольевич. Но я-то на Роеме уже давно, так что моя персона не столь интересна. А отдыхать я буду тогда, когда мне захочется, о анонимный эксперт. Может быть, в таком случае отметившийся здесь Никита пояснит, какие же таинственные эксперты скрываются за никами на Роеме? Естественно, это не сотрудники самой компании-создателя столь замечательного инструмента, не так ли? Мне удивительно, что они так стесняются показать себя. Вроде эксперты должны себя как-то пиарить, что ли. Хотя каждому своё. Я вот в своё время «Рукам» помогал и не стеснялся. В скобках замечу, что нападки на оппонентов… впрочем, даже не на оппонентов, а на интересующихся сервисом вас не красят, молодые люди. Кстати, Александру Полынову, руководителю Wobot’а я передам ваши замечания.

У Wobot собственная машина поиска, не сомневайтесь, а лучше приходите завтра к нашему стенду: мы все расскажем и покажем, но, боюсь, бубликов не дадим. Кстати, мы тестируем все системы, и наша выдача самая большая и порой в разы превосходит ЯППБ — интерфейсы. Ретроспектива, раз речь зашла и о ней, у нас самая настоящая, и возможно делать такой мониторинг даже на несколько лет назад. Плюс полно всяких метрик, которые другие не считают: геотаргетинг, подсчет лайков и т.д. Михаил Брусов. Wobot.

Как ни крути, а все (ок, 99%) присутствующие на рынке мониторы соцмедиа сидят на поиске по блогам яндекса (+доступ к профилям) и гугла + внутренние поиски соцсетей через прокси. Ни у кого (ок, у 99%) нет ресурсов для своего кравлера-идексера. В итоге получается профанация.

>eremeev >Как ни крути, а все (ок, 99%) присутствующие на рынке мониторы соцмедиа сидят на поиске по блогам >яндекса (+доступ к профилям) и гугла + внутренние поиски соцсетей через прокси. >Ни у кого (ок, у 99%) нет ресурсов для своего кравлера-идексера. да нету чудес. ну и что плохого в том, что товарищи зажирают яппб и гугль, обрабатывают информацию и показывают в удобном виде? «свои краулеры»ТМ показали бы в лучшем случае такие же результаты.

Вы не правы. Для своей машины нам не нужны такие ресурсы, как у Яндекса. Да и что тут распинаться, простой открытый тест всех систем (в том числе и ЯППБ) покажет вам результаты. Wobot готов участвовать в таком тесте.

Уточню, что первые комментарии были к этой заметке. А то мало ли — вдруг кто не видел.

Валь, ты уж меня прости, но ты скучный нытик. Вот сколько я себя помню, все твои комментарии и заходы похожи один на другой как сопли младенца. Я тебя обидеть не хочу, но просто если ты на самом деле хочешь вести диалог, веди его так, чтобы с тобой хотелось поговорить.

Что-что? Это моя просьба раскрыть личности публикующих здесь хамские комментарии «экспертов» вызвала у тебя такую (опять же хамскую) реакцию? И какие именно мои «комменты и заходы» ты имеешь в виду? Кстати, об экспертах: за одну дискуссию они умудрились дважды соврать (впрочем, можно сказать мягче — «ошибиться») по поводу сервисов-конкурентов. Не очень хорошо получается.

Как лицо, напрямую заинтересованное в разных системах мониторинга соцмедиа, присоединяюсь к озвученной выше просьбе к господам экспертам представиться. Очень хочется знать, кто все эти люди, которые резво помогут своими знаниями новой мегасистеме могуче зарулить всех остальных.

Какой полезный тред! Думал посмотреть на «Бабок», разработчики выступили — необходимость смотреть отпала.

Игорь, а по какому API вы качаете Facebook? Мне казалось, что нет у них API для статусов людей (а страницы и неинтересно качать).

http://developers.facebook.com/docs/reference/rest/status.get/

Ни у кого (ок, у 99%) нет ресурсов для своего кравлера-индексера. Во-первых, это неверно. Ну вот у нас, например, под Флексумом бегает 15 серверов, под вьетнамским поиском — 50, и ещё закупаются. Свой паук-индексатор-поисковик разрабатывается уже лет восемь. Это всё есть. И в Крибруме мы, конечно, индексируем блоги самостоятельно. Ну и выкачиваем из поиска по блогам Гугла и Яндекса всё, что можно. Кстати, ППБЯ ищет по блогам неровно, плохо, каждый раз разные результаты, потери и т.п. Анатоликс обещал вскоре новую, улучшенную версию. А вот по Твиттеру и ФБ вообще надо искать самим, через API, а не через Яндекс или Гугл, по многим причинам. Дело, в общем, не в ресурсах. Во-вторых, индексатор и поисковик — действительно сложная технология, настоящий хайтек. Для его разработки нужно минимум несколько десятков человеко-лет, и у маркетинговых агентств, которые от клиентов внезапно узнали о спросе на мониторинг, он ниоткуда вдруг взяться не может. Разве что они сообразят взять открытые поисковые движки и начать бесконечный процесс подпиливания, но там куча ограничений. В-третьих, главная фишка в мониторинге социальных сетей — не в собственном индексаторе. Индексатор/поиск — это необходимое условие. А там есть ещё и достаточное: нужен ещё больший хайтек — хардкорная прикладная лингвистика. Это лингвистическое подавление чётких и нечётких дублей, распознавание спама, морфологический разбор лексики, синтаксический разбор предложений, анализ тональности, восстановление анафор и эллипсисов, выделение объектов и фактов и т.п. Это всё — уже первые сотни человеко-лет, которые ещё нужно умножать на два всякий раз, как нужно подключить новый язык. (Кстати, говоря, поисковые запросы через API Твиттера для арабского, например, практически не работают, Твиттер такие языки не поддержал толком, то есть там ещё и эти проблемы получения данных.) Ну и откуда это всё возьмётся у маркетингового агентства, даже богатого? Оно не имеет программистов, не умеет их нанимать и организовывать их труд. Лингвистов — тем более. Ему придётся сообразить и купить целую технологическую компанию для этого. А где они, такие компании? Где тот прилавок, где они выложены? Мы в последние пару лет приобрели две такие компании — Информатик (владелец ОРФО, машинных морфологий для нескольких языков, 24 года разработки, с 1987) и Диктум (владелец технологии машинного синтаксиса и других, 8 лет разработки). Но мы из этой сказки, мы знаем, где они водятся, и людей всех на рынке знаем. Ну вот и кончается это похвальное желание сделать мониторинг обычно тем, что веб-программистом пишется сборщик записей с ППБЯ, рисуется красивый интерфейс с рюшками, потом начинают клиентам продавать слайды PowerPoint про великую мощь системы. А начинаешь расспрашивать в кулуарах про сентимент-анализ, например — полнота 10%, точности вообще нет. Отсюда и берутся высказывания «кто предлагает автоматический определитель тональности — тот мошенник». Типа, аппараты тяжелее воздуха летать в принципе не могут! Ну да, кто функцию Жуковского не знает — у того не могут. Я думаю, постепенно мониторинговые компании приобретут технологии, людей, у них продукты заработают, просто это будет не быстро, пара-тройка лет.

@Alter Ego, этот апи работает только для некоторого залогиненного пользователя. Мне казалось, что EULA Фйесбука не разрешает индексировать фейсбук через фейкового залогиненного пользователя. Я не прав?

А почему бы не индексировать фейсбук через пользователя Роман Иванов или Илья Сегалович? Да и наверное, для такой большой и серьезной компании как Яндекс Фейсбук сделал бы исключение и позволил бы индексировать и искать публичные статусы русскоязычных пользователей Саша Москалюк писал, что фейсбук очень хочет стать интернациональным и привлечь русских.

Валь, ты меня приплел к вопросу, который вообще меня не касается, да к тому же бросил тень на моих людей, которые якобы где-то че-то написали. Так что я не схамил, я просто разговаривать об этом не хочу.

Игорь, сегодня все крупные маркетинговые агентства уже давно развивают свои технологии и многие делают это очень успешно. Опыт твой и твоей компании без сомнения огромный и, сомнений нет, уважения заслуживает. Тем не менее, я лично считаю, что те технологии, которые ты перечислил, не являются столь сложными и столь хардкорными, чтобы они были не по зубам сегодняшним технологичным игрокам рынка в ближайшем, подчеркиваю, будущем. Если говорить насчет наc и нашего сервиса Babkee, то разработку вела наша компания Ingate Development (кстати не маркетинговая, а чисто-технологическая компания холдинга Ingate), у которой серверов много больше 50, штат больше 80 человек и программисты и системные архитекторы и проектировщики и прочие хардкорные-технологические-высоколобые люди у нас работают уже давно и, как время показывает, успешно. И на Ромипе мы cо своими лингвистическими алгоритмами занимали места http://clck.ru/NAWB . То бишь жаловаться не на что. Что касается самого сервиса Babkee.ru , то сегодня лично мне он нравится до буквально розовых соплей. И по удобству использования и по полноте сбора информации и по скорости и по наглядности и по «заряду позитива» который он несет. Мы его активно тестировали на большой фокус-группе и общий фон отзывов был крайне положительный. Насчет отдельных комментариев по функционалу, присутствующих в этой статье сказать можно только: 1. сервис успешно работает и он сильно упрощает жизнь. 2. весь функционал в сервисе будет ежемесячно дополняться новыми вкусными фишками, у нас план разработки уже на год вперед сформирован. 3. ресурсы на развитие сервиса у нас есть, приоритеты высокие, команда веселая Короче, мы пришли на рынок SMM всерьез и надолго и с клиентскими услугами — smm.ingate.ru и с технологиями — babkee.ru

Ну хорошо, хорошо, вы там в Ингейте очень крутые лингвистические программисты. Никита, скажи пожалуйста, а это твои люди пишут: Все, кто предлагает автоматическое определение тональности – мошенники. Даже у Крибрума точность определения тональности до 30%. Вы, батенька, матчасть изучите прежде, чем лезть в серьезный бенч. Господин Hippi у тебя работает?

Что касается самого сервиса Babkee.ru , то сегодня лично мне он нравится до буквально розовых соплей. И по удобству использования и по полноте сбора информации и по скорости и по наглядности и по «заряду позитива» который он несет. еще бы вам не нравилось. я думаю каждый ваш сотрудник соплю может по этому поводу пустить. я вот как-то давно (не сам естественно) написал систему учета парка стройтехники для одной конторы. не CRM, конечно, но на мой взгляд система была аховая. и загрузка из excel, и всевозможные удобные формочки, доступ по шифрованному протоколу, веб-морда, автоматизация отчетов и все такое прочее. Основной задачей была — простота, наглядность, полнота и скорость. все как у вас. на самом деле клиент был грамотный, не дурак, делали не «на от…ись». через год был по случаю у них, дай, думаю погляжу как они с системой ворочаются. хрен бы там — оказалось, начальство автотранспортного цеха сменилось и все, народ моментом перебежал обратно в excel. «вы, ребята, конечно, молодцы, но мы с вашей системой не очень сдружились, нам в икселе проще». я прям спать перестал. не совсем, может, моя «кул стори» по теме ваших лингво-маркетинговых изысканий, но просто видно, как сразу детские болезни всплывают, максимализм и чуть что — личная обида. адекват в критике — это большой показатель. все молодые, с серьезными намерениями. вебальта вон, тоже яндекс за три года убила.

Игорь, я такого не знаю, это какое-то гонево.

Ого! Какой общественный резонанс… ) Ещё раз, цитирую уже самого себя: «Летом я проводил тест различных систем сбора упоминаний по social media (да-да, у меня был доступ к системе babkee еще тогда – разработчики активно сотрудничают с экспертами). Так вот, единственные системы, которые не на 100% зависят от ППБЯ – это iqbuzz и babkee.» С чем и кто не согласен? Если, со слов представителя Wobot’а, сегодня ситуация с их сервисом иная – не вопрос, предоставьте бесплатный тестовый доступ и я с интересом и разнообразно протестирую ваш сервис. Что касается сервиса Babkee – думаю, мне, как участнику прошлого тестирования, они бесплатный доступ не зажмут. Ну, и другие сервисы тоже попробую подпрячь к этому. Если согласятся… Устроим показательный бенчмарк, не вопрос. Ashmanov По поводу Вашего Крибрума – я его, понятное дело, не тестил. Я лишь высказал мнение, витающее в рунете и профильных конфах. Если в действительности это не так – что ж, поздравляю. На сегодня это круто и другим сервисам тут не тягаться. Psycho Я вам уже всё сказал. Раскрывать персональную информацию посторонним людям не намерен.

> И на Ромипе мы cо своими лингвистическими алгоритмами занимали места Помотрел ваши статьи с ромипа. Мда… Под крутыми лингвистическими технологиями вы, очевидно, понимаете использование чужого морфологического словаря АОТ и вычисление cosine similarity для двух документов? А под заниманием мест вы подразумеваете второе место из 2х возможных в дорожке по сниппетам? Я понимаю, что в дремучей сеошной тусовке это прокатывает, но все же гордиться тут нечем.

Я вам уже всё сказал. Раскрывать персональную информацию посторонним людям не намерен. Да, и Вы, и Андросов уже всё сказали. А остальные всё поняли. Если, со слов представителя Wobot’а, сегодня ситуация с их сервисом иная – не вопрос, предоставьте бесплатный тестовый доступ и я с интересом и разнообразно протестирую ваш сервис А. Ну то есть Вы его не тестировали? А что ж это за мегаэксперт, который… ну и так далее по тексту. З.Ы. Как-то тема соплей в треде активно муссируется.

Так что — господа мегаэксперты не представятся? Обидно. Первое лицо компании-разработчика от всех отрекся, кто такие тайные экспертные тестеры системы никто теперь не узнает, никакого срыва покровов и громких разоблачений? Как же так! Чего у Ингейта действительно не отнять, так это способности заявиться со скандалом. Сначала разбросать перчатки по чужим мордам, а потом простите, извините, я не я и лошадь не моя, мина хорошая, игра плохая. И вот казалось с чего бы, если критика была конструктивная, вопросы по делу, заинтересованность нормальная. Детский сад, игра в обиженку.

А вот «партизанский маркетинг» в топике «Юмор» на серче. Мило. Так что — господа мегаэксперты не представятся? Это персональные данные. Лучше не светить. Мало ли что. Да впрочем, если и представятся, мне кажется (почему-то) что их имена нам ничего не скажут. Потому что смм-экспертов на рынке — по пальцам пересчитать и ни один из них не замечен в попытках скрывать своё имя и избегать пиар-шумихи.

Я участвовал в закрытом бета-тесте системы «Бабки». Активно юзал возможности сервиса (было заведено 5 проектов — три за мониторингом локальных брендов в Челябинске и два за мониторингом персональной информации о людях), помогал разработчикам допиливать функционал и сейчас могу смело заявить что система в данный момент имеет наилучшее соотношение «цена/качество». А учитывая что команда разработчиков внедрила еще не все фишки, через какой то промежуток времени она будет реально выгоднее, учитывая ее возросший функционал. Я пробовал сервис http://www.buzzware.ru/ и http://www.wobot.ru/, поэтому мне есть с чем сравнивать.

Расскажите пожалуйста, чем бабки лучше вобота и баззверя? Прямо по пунктам, только конкретика.

Подтянулись люди с реальными именами. Уже интересней. Хотя ненамного.

Для примера, смотрим инфу с сайта. Вобот базовый пакет — 3 объекта, 8000 сообщений, цена 6000 рублей. Бабки базовый пакет — 5 объектов, 25000 сообщений (5000 на объект), цена 7900 рублей. Итого 1 объект у вобота стоит = 6000/3= 2000 рублей. 1 объект у базверя стоит = 1961 рубль. 1 объект у бабок стоит = 7900/5 = 1580 рублей. При большом количестве объектов разница в цене становится еще заметнее.

> Для примера, смотрим инфу с сайта. А что, закрытое бета-тестирование заключалось в делении одних четырехзначных чисел на более другие однозначные числа и сравнении результатов? А почему тогда меньшие значения признаны лучшими? Почему это меньше — значить лучше? Не очевидно как-то. Огласите всю методику! Учитывается ли количество простых делителей? Четность или нечетность результата? А делимость на 13? Целая часть отношения суммы третьей и четвертой цифры к сумме первой и второй (это особенно важно)? Посчитана ли цена не только одного объекта, но одного документа? А побуквенно? У кого буква дешевле? Где, в конце концов, результат деления на 7!?

Давайте ценовой фактор исключим, вот честно? Компании, которая готова мониторить упоминания о себе эти суммы совершенно некритичны.

Функционал у сервисов схожий, а учитывая что мне в работе не требуется какие то сверханалитические возможности (мне нужен обычный автоматический мониторинг) — я выбираю сервис исходя из цены. Я даже рад что у Бабок такие выгодные цены — это вынудит конкурентов следом снизить свои цены. Только что у Паши Дурова в Твиттере прочитал: «Где нет конкуренции — нет прогресса». Поэтому я за конкуренцию. Пусть Бабки бодаются с конкурентами, от этого выиграют непосредственные пользователи мониторинга SMM, в частности Ваш покорный слуга. P.S. И в конце концов прекращайте «троллингом» заниматься, Вы тем самым только репутацию Бабок поднимаете. Конечный потребитель все рассудит сам.

Опыт РОМИПа как раз показывает, что очень часто простые и наивные алгоритмы работают на уровне, а то и лучше каких-то сложных методов, достаточно вспомнить результаты на дорожке поиска 2009 года. Такие семинары как раз и позволяют оценить, что реально работает, а что только кажется крутым. В дорожке классификации мы использовали вполне простой и очевидный метод, но почему же мы получили результаты несколько лучше остальных? Если вы внимательно почитаете статью, или посмотрите на сами дорожки, то поймете, что основная задача – это правильно подготовить данные, так как они содержат мусор, нерелевантные страницы и т.д. Эта часть не так подробно описана в статье, но мы ее упоминали. Лингвистика – очень важная часть работы, при этом очень трудная и неблагодарная. До сих пор мы пользовались наработками ребят из AOT, большое спасибо им за прекрасный открытый инструмент. Однако, кое-что нам пришлось делать самим, например разрешение омонимии мы делали сами. Пока нам хватало этих инструментов, но это не значит, что мы не работаем над новыми. В свое время вы о них узнаете.

И в конце концов прекращайте «троллингом» заниматься, Вы тем самым только репутацию Бабок поднимаете До Вас троллингом как раз представители Ингей… в смысле тестировщики бабок занимались. Спасибо Вам за то, что хоть какая-то адекватность у Вас есть. Честное слово.

> Опыт РОМИПа как раз показывает, что очень часто простые и наивные алгоритмы работают на уровне, а то и лучше каких-то сложных методов, достаточно вспомнить результаты на дорожке поиска 2009 года А что не так с этими результатами? > В дорожке классификации мы использовали вполне простой и очевидный метод, Об этом я и говорю. Никакой «лингвистики» нет. Есть чужой морфологический парсер и студенческий алгоритм классификации. Или именно это вы называете «лингвистикой»? > почему же мы получили результаты несколько лучше остальных? Судя по графикам в вашей же статье, ни по точности, ни по полноте вы не являетесь лучшими. Прочитайте свою статью и убедитесь сами. Никаких результатов «несколько лучше остальных» не видно. Как-то нехорошо получается. Конечно, если тщательно поискать, то среди пары десятков разных метрик может найтись парочка где у вас окажется лучший результат, но это совсем не удивительно при таком маленьком числе участников. Так что ваше утверждение что вы лучшие по классификации — это такое недостойное преувеличение в чисто маркетинговых целях (что вообще-то запрещено правилами ромипа). Про второе место из двух возможных в снипетной дорожке уже говорилось :)

Устроим показательный бенчмарк, не вопрос. Не, ваш субъективный бенчмарк не покатит, т.к. не сложно будет найти в нем косяки и съехать. Но можно устроить объективный, в рамках РОМИПа. Тем более, что как раз сейчас мы затеваем именно такую [URL=http://romip.ru/forum/viewtopic.php?f=28&t=922]дорожку[/URL]. Присоединяйтесь к обсуждению и участию, любой кипеш приветствуется. Если возникнут проблемы с публикацией первого поста на форуме РОМИПа — пишите админу, т.е. мне, адрес можно из профиля на Роеме найти. Участи в дорожке РОМИПа расставит всех по местам, хотя я сомневаюсь, что все сервисы, упомянутые в данной ветке, захотят участвовать. Ведь кидать маркетинговые понты типа «мы скупили 100500 лингвистов и все компании на рынке» куда проще… Про второе место из двух возможных в снипетной дорожке уже говорилось :) Я занял первое место из двух в той сниппетной дорожке, поэтому выскажу свое более весомое мнение про исследования Ингейта. Ингейт, в отличие от всех остальных компаний своей отрасли, показал, что он ведет какие-то исследовательские работы и не побоялся выставить их напоказ. Да, над статьями Ингейта можно иронизировать, но не стоит забывать, что это был первое их участие в РОМИПе. Но оно было, тогда как остальные компании на такой показ своих достижений не идут, видимо стремновато им.

так я и не услышал ответа на вопрос про конкретные преимущества бабок. Граждане, сервисы мониторинга очень просто сравнивать: 1) количество найденных упоминаний (а это зависит от движка, у всех, кроме Wobot, движок ЯППБ, поэтому и выдача у этих клонов примерно одинаковая); 2) наличие или отсутствие метрик (подсчет аудитории, комментариев, лайков, геотаргетинг, пол, возраст и прочее); ну еще возможность глубокой ретроспективы. 3) цена (как можно выбирать сервис, который на 500 рублей дешевле другого, когда он находит в 10 раз меньше упоминаний по исследуемой теме? ВАЗ, знаете ли, тоже несколько дешевле FORD, Fiat, VW, Toyota, но я лучше куплю поддержанного «немца»…)

xydoshnik, раз так рвётесь оценивать — сравните! Будет потом, что обсудить. Кстати, сегодня проходил на RIW’e мимо вашего… ну, не знаю, стендом это не назвать, вывески что-ли, как-то не впечатлило. А после заглянул на сайт, и обнаружил очень интересную вещь. :) Пример того, как не надо делать промо материалы http://wobot.ru/details.htm

У нас есть аккаунты во всех системах, и мы каждый месяц сравниваем все сервисы. Публиковать такие сравнения считаем некорректным (свои достоинства и недостатки мы знаем лучше всех). Да, бубликов и голых телочек у нас не было, зато есть он-лайн мониторинг упоминаний о RIW11 в твиттере и содержательная беседа на тему. Ну подошли бы к нам, поговорили, а то ваши беспредметные выпады о нашем сайте и промо наводят тоску.

кстати. порог вхождения невысокий. средние РА могут себе позволить создать подобные сервисы и технически и материально. уже сейчас у многих есть свои системы отслеживания упоминаний для ФБ и бложиков. кривенькие-косенькие, но для внутренней кухни — вполне рабочие. ждем появления еще 10 подобных проектов — для РА это сведется к прикручиванию «интерфейса» к готовому продукту. работать ЛУЧШЕ других он и не должен, достаточно «представительские» функции перед клиентами выполнять. что типа есть. и «мы тут все такие техналааагииичныееэ». а когда вайт-лэйблы сделают массово — так у каждого уважающего себя агентсва будет подобный сервис.

GSuvorov , согласен с Вами от части, что среднестатистическое РА могут себе позволить собственную приблуду. С другой стороны текущие разработки, которые в частности здесь обсуждаются не будут скорее всего стоять на месте, тут вон про РОМИП, и что-то сверхтехнологичное вещают. :) Поэтому спрос на системы мониторинга думается будет.

У нас есть аккаунты во всех системах, и мы каждый месяц сравниваем все сервисы. Публиковать такие сравнения считаем некорректным (свои достоинства и недостатки мы знаем лучше всех) Да, да, всё вижу, всё знаю, но никому ничего не скажу… Слив засчитан. Goodman , думается одним клиентом стало меньше. Ну подошли бы к нам, поговорили, а то ваши беспредметные выпады о нашем сайте и промо наводят тоску Истеричная тоска — любопытная формулировка. Запишу обязательно в блокнотик.

watermelon , я подозреваю, что всех упомянутых в этом топике можно вычеркивать, может быть кроме бабоок, да и то сомнительно. Замечательным системам мониторинга честное и объективное соревнование противопоказано, потом ведь не получится запаривать авторитетом и прочими маркетинговыми фишечками.

G00DMAN , да я уж понял, тут дым столбом из-за выхода нового сервиса… :) Вообще, тема интересная, если не брать именно этот сервис, а как сама идея. Меня сейчас применение мониторинга в социалках сильно занимает. Думал здесь конструктив почитать — ан нет…

Замечательным системам мониторинга честное и объективное соревнование противопоказано, потом ведь не получится запаривать авторитетом и прочими маркетинговыми фишечками. Ой, да конечно. Да все эти авторитеты дутые, чо про них вуабще говорить-то. Вы бы лучше пояснили, зачем тем, кто работает на реальном рынке и с реальными клиентами, нужен РОМИП. Мне много раз это объясняли Сегалович и другие, но я так и не вкурил. С одной стороны, это не пиар (нельзя спрашивать, нельзя говорить, как у педиков в американской армии). С другой стороны, вон Никита всё-таки старается допустить утечку, чтоб, значить, это самое, всё же покрасоваться. С другой стороны, это не сравнение конкурентов и не сравнение свойств продуктов. Чего себя сравнивать — чтобы знать, что на формальном тесте, придуманном умозрительно, ты лучше или хуже тех, кого на рынке нет или у кого система на реальных данных не работает? В поисковых дорожках в прошлые годы соревновались такие участники, что с ними вообще не очень есть о чём говорить, на самом-то деле. Кроме академических возвышенных интересов, что предлагается как мотив затраты очень редких ресурсов разработчиков? Есть у вас объяснение не очень длинное?

У нас есть аккаунты во всех системах, и мы каждый месяц сравниваем все сервисы. Это в каких, например? То, что не «во всех» — это точно, сочтём это преувеличением, сделанным в запале спора. А в каких именно есть?

1) количество найденных упоминаний (а это зависит от движка, у всех, кроме Wobot, движок ЯППБ, поэтому и выдача у этих клонов примерно одинаковая); это откуда известно? 2) наличие или отсутствие метрик (подсчет аудитории, комментариев, лайков, геотаргетинг, пол, возраст и прочее); ну еще возможность глубокой ретроспективы. что там насчет тональности? 3) цена (как можно выбирать сервис, который на 500 рублей дешевле другого, когда он находит в 10 раз меньше упоминаний по исследуемой теме? это что за кейс? кто кого меньше?

—система в данный момент имеет наилучшее соотношение «цена/качество». вот это ведро говна стоит 17 рублей. а это ведро стоит 12 рублей. у него наилучшее соотношение цена-качество. берем то, что дешевле. несите на стол, будем хлебать!

Ой, да конечно. Да все эти авторитеты дутые, чо про них вуабще говорить-то. Да ладно, не все дутые. На примере бренда «Ашманов» многим в отрасли полезно поучиться. Вы бы лучше пояснили, зачем тем, кто работает на реальном рынке и с реальными клиентами, нужен РОМИП. С одной стороны, это не пиар (нельзя спрашивать, нельзя говорить, как у педиков в американской армии). С другой стороны, вон Никита всё-таки старается допустить утечку, чтоб, значить, это самое, всё же покрасоваться. Давно уже можно. Во-первых, если пролистать для примера доклады участников поисковой дорожки последних лет, то все показывают номера своих прогонов, публикуя при этом общие таблицы. Т.е. сразу понятно, где чьё добро. А, во-вторых, некоторые участники в своих докладах публично исследуют чужие прогоны, потому что всем это интересно. Например, в 2010-м Илья Тихомиров из ИСА РАН выяснил, что кто-то из участников поисковой дорожки не обучал свои формулы, получив при этом отличные результаты. Меня «пропалил». Что касается Никиты, то свои результаты никогда не запрещалось показывать, называя занятые по метрикам места. Никита показал свою технологичность с помощью независимой оценки, а вы нет, показав ему в ответ только большой лингвистический прибор с серверами. С другой стороны, это не сравнение конкурентов и не сравнение свойств продуктов. Чего себя сравнивать — чтобы знать, что на формальном тесте, придуманном умозрительно, ты лучше или хуже тех, кого на рынке нет или у кого система на реальных данных не работает? В поисковых дорожках в прошлые годы соревновались такие участники, что с ними вообще не очень есть о чём говорить, на самом-то деле. Это получение независимой оценки своих технологий. Что касается формальности теста, то правила дорожек не догма, любой желающий поучаствовать может высказывать свои предложения как по набору данных, так и по метрикам качества. И, показав унылые результаты на РОМИПе, потом будет сложно убедить специалистов, что есть какие-то «реальные» данные, и вот на них-то мы да, на них мы всех рвем! Если хотите меряться технологичностью – получите для начала независимые оценки. А если долями рынка и толщиной клиентов, то независимые оценки ни к чему, они ведь и навредить могут. Внезапно. Что касается участников поисковой дорожки последних лет, то можно посмотреть только на тех, кто получал лучшие оценки. Их не много, всего двое. Один из них, Саша Сафронов, после этого пригодился в Яндексе, а другой, гудман, благодаря РОМИПу основал новое направление в информационном поиске – спектральное. За которым большое будущее, зуб даю. Кроме академических возвышенных интересов, что предлагается как мотив затраты очень редких ресурсов разработчиков? Что касается шкурных мотивов, то они появляются только в том случае, когда есть чем пободаться. Вот Яндекс не показал ничего выдающегося в поиске на РОМИПе за последние два года, поэтому пришлось семинар на год прикрыть, открыв взад уже без поисковой дорожки.

Ну вот об этом и речь. Яндекс — лучший поисковик на нашем пространстве. Лучше Гугла, конечно. И конечно, лучше всех, кто там суетится на дорожках. И что показывает «независимая оценка»? Что вот этого чувака с его обморочным как бы поиском , приготовленным специально для дорожки, надо взять в тот же Яндекс. Да, достойная цель. Для чувака. Если хотите меряться технологичностью – получите для начала независимые оценки. По-моему, хотят мериться «технологичностью» как раз те, кто меряется на РОМИПе. В силу иллюзии, что это важно. Скажем, нам гамбургский счёт и так известен. Да он понятен и из статей на РОМИПе — как только произносится что-то вроде «а морфологию мы взяли на АОТ.ру». Мериться технологичностью нужно для кого? Клиентам ваш РОМИП не нужен, он не является критерием выбора исполнителя. Тем более, что он анонимен. До тех пор, пока не появится настоящий независимый тест наподобие Virus Bulletin — никто из потенциальных клиентов никакими этими как бы тестами интересоваться не будет. Ещё раз повторю: участие в РОМИПе — это академическая деятельность. Для участия в ней нужно тратить время разработчиков. Это можно делать в двух случаях: а) когда нечем больше заняться, то есть в случае академического коллектива или дохлой фирмы без заказчиков, то есть от бедности и от безделья; б) когда, как в Яндексе, есть куча лишних денег и сотня-другая человек с неопределёнными должностными обязанностям, то есть с жиру. При этом для того же Яндекса РОМИП — не необходимость, а по сути благотворительность. Ничего из реальных проблем реального поисковика в реальном грязном Интернете РОМИП не показывает и не обсчитывает. В частности потому, что надо же и остальных инвалидов как-то пустить побегать по дорожке. То есть ввести ограничения, которые позволят им асилеть тест. Заметим, что настоящую независимую оценку качества интернет-поиска Яндекс получает на наших анализаторах AnalyseThis.ru. И другого теста интернет-поиска — увы, в околоземном пространстве пока нет. Кроме того, РОМИП после отъезда Некрестьянова плохо себя чувствует. Дело не в том, что Яндекс типа вышел из РОМИПа, потому что у него «плохие результаты», а в том, что нет лидера, как я понимаю. А Яндекс не может сам это тащить, да и не по чину ему. Нам, впрочем, ни тесты, ни их организация не нравились и раньше — унылые дорожки, неинтересные тесты на то, что было как бы модно три-пять лет назад. Скучные участники, которых видно только на конференциях и на РОМИПЕ, но не видно на рынке. Дорожка на двух участников: один занимает 1 место, второй — угадайте какое. А что ж там их не больше? Вероятно, что-то не так с дорожкой, да и с участниками. Вы ещё предложите Яндексу со своими проектами на Главстарте с elevator pitch выступать и считать полученную оценку важной для рынка и клиентов. А если долями рынка и толщиной клиентов, то независимые оценки ни к чему, они ведь и навредить могут. Внезапно. Вредилка не выросла. Внезапно. Ещё раз повторю: хочется влиять — создайте настоящий тест, публичный, не анонимный. Оценивающий характеристики, важные для продуктов, а не «технологий». Как в сфере антивирусов, где их имеется в количестве. Вот они реально влияют на принятие решения в корпорациях о выборе антивирусного решения. А Трек и РОМИП не влияют и не могут влиять, это скучные академические игры в неизвестно что.

Вот, кстати, я читаю сейчас некий тест средств мониторинга, присланный из нашего английского офиса Крибрума. Вот так выглядит его оглавление. Это действительно интересно и работает на рынке, для клиентов. Social Media Monitoring Tool Buyer’s Guide A hands-on test and performance analysis 13 September 2011 What’s In Here? Introduction…………………………………………………………….. 3 Who Is This Buyer’s Guide For? ………………………………………….4 Methodology ………………………………………………………………….4 Vendor Selection………………………………………………………….4 Sales Demos ……………………………………………………………….5 The Trial ………………………………………………………………………5 Performance Summary ……………………………………………….. 6 Similar Feature Sets ………………………………………………………..7 Two Approaches to Data Capture ………………………………………..7 Data Quality ………………………………………………………………….8 The Tools ……………………………………………………………….. 9 Alterian………………………………………………………………………..9 Brandwatch ………………………………………………………………… 11 MutualMind…………………………………………………………………. 13 Radian6 …………………………………………………………………….. 15 Synthesio …………………………………………………………………… 16 Appendix ………………………………………………………………. 18 Matrix of Grading Criteria ………………………………………………. 18 Vendor Selection Stages ………………………………………………… 19 Definitions of Performance Summary Columns……………………… 20

«Лучше Гугла, конечно.» Судя по аналититике Ашманова опубликованной на сайте имеющем такой же название как и фильм с Робертом де Ниро и Билли Кристаллом, Яндекс совсем незначительно превосходит Яндекс. 81 против 78. Причем Гугл значительно превосходит Яндекс в таких важных поисковых параметрах как синонимы 70 против 63, двусмысленные запросы 79 против 75, во всех аспектах новизны, яндекс же в основном лидирует за счет региональности 69 против 16 и полноте 80 против 61. Как это ни смешно гугл лидирует в региональных навигационных 56 против 42. То есть никакого решаюшего преимущества яндекса в поиске не видно, преимущество не значительно за счет региональности которую подстраивали ручками 2 года, руссого индекса, в котором было бы глупо проигрыыать русскому поисковику поисковику иностранному.

поправка Яндекс совсем незначительно превосходит Яндекс. в Яндекс совсем незначительно превосходит Google.

Я вижу, вы умеете читать таблички на сайте. И что? Вы предлагаете Гуглу и Яндексу записаться на дорожки РОМИПа или Трека, и потом победителя официально объявить главным поисковиком и передать ему все 100% доли рынка указом Президента РФ?

The Trial Волнующе! :-)

Я про «лучший, конечно» Почему «лучший, конечно» если Ваши же тесты, которые на данный момент единственные, конкурентов я не вижу, показывают, что если и лучше, то ненамного, и непостоянно. То гугл лучше, то яндекс. По русскоязычным запросам. По англоязычным яндекс вообще никакой, а даже русскоязычные пользователи не ограничены только русскоязычными запросами. Или «лучший» у вас означает самый популярный вроде «кока-кола лучше, конечно, морковного сока».

Все никак не успокоитесь, коллеги. Я ведь пример с Ромипом привел по одной причине, сказать, что у нас есть технологии и они оцениваются экспертами как достойные, т.к. других у нас оценочных инструментов нет, пришлось к Илье Сигаловичу и компании обратиться за экспертной оценкой :). Насколько технологии компании круче или хуже конкурентных — дело пятнадцатое, покуда продукты, основанные на наших технологиях востребованы клиентами и приносят им пользу. Игорь, Илья — у нас публичных продуктов не много, но зато они все прибыльны и все — массово используются. И создаем их мы в полноценном R&D цикле: с маркетинговыми исследованиями, разработкой прототипов, тестированием функционала на фокус-группах, на других, на третих фокус-группах, нагрузочным тестированием функционала, функционально-стоимостным анализом каждого этапа разработки, маркетинговым анализом стоимостных характеристик продукта на рынке, запуском в коммерческую эксплуатацию и молитвой за успех продукта и всей команды разработки. И общую систему построения продуктов мы выстраиваем уже 4 года и уже набили шишек на неудачных релизах и научились выпускать успешные решения. Так что, касательно babkee.ru — смотрю на трехдневную статистику регистраций в сервисе, статистику использований объектов мониторинга — душа радуется. Смотрю на отзывы о сервисе (кстати в Бабках смотрю) — настроение вообще взлетает до небес. Народ принимает потихоньку сервис, пользователям явно нравится наше решение. А все почему? Потому что оно не только технологичное, но еще и очень позитивное, понятное и простое для любого нормального, адекватного, не излишне-высоко-летающего на тему технологий пользователя. Все высоколобые умники покрывают свои потребности, сидя в линухах, программя на ассемблере и паяя маршрутизаторы сисько, и высокомерно при этом смотрят на простой, ничего не понимающий люд. Тем лучше для нас и для наших клиентов.

По тем тестам, что у есть у нас, Яндекс — лучше. Сейчас и в последнее время. Потом Гугл будет лучше, возможно. И так далее. Но это хотя бы те тесты, которые меряют качество интернет-поиска в реальном мире. В рамках РОМИПа ничего этого померить нельзя, потому хотя бы, что большинство участников ничего про поиск в Интернете не знают и не умеют. А как продукт для русского рынка, Яндекс, конечно, выше на голову.

Яндекс совсем незначительно превосходит Яндекс. Что, собственно, ясно видно при сравнении качества поиска Рамблера и Яндекса.

Что, собственно, ясно видно при сравнении качества поиска Рамблера и Яндекса. Тогда ваши разработчики анализаторов плохо работают. Или кто-то подстраивается непосредственно под ваши анализаторы.

Этому разные могут быть объяснения. Может быть, плохо работают разработчики Рамблера.

> Да, над статьями Ингейта можно иронизировать, но не стоит забывать, что это был первое их участие в РОМИПе. Как раз к статье никаких претензий нет. Она, скажем так, не хуже остальных ромиповских статей, если вы понимаете, о чем я. Авторы — молодцы, вне зависимости от полученных результатов. Проблема не в статье, а в маркетинговой лапше, которую пытаются всем навесить товарищи из ингейта. На фоне вроде бы академического семинара вдруг включается маркетинговая говорильная машина и начинает что-то там бубнить про ромип. Ну вот смотрите. 1. Товарищ из ингейта говорит, что у них есть какая-то «лингвистика». Ссылается при этом на ромиповскую статью. Реальность же заключается в том, что никакой «лингвистики» нет, а есть только чужая морфология и алгоритм из учебника «IR для чайников». Ну, я уже об этом писал. 2. Товарищ из ингейта говорит, что они якобы получили результаты немного лучше остальных. Жесткая, неприятная правда состоит в том, что никакого «лучше всех» нет, а товарищ из ингейта статью своих сотрудников даже не читал. Или читал, но не понял, а говорит с чужих слов. В статье черным по белому нарисовано, что по точности, полноте и f1 участники ингейта не лучшие. 3. При первом удобном случае товарищи из ингейта ссылаются на свое участие в научном семинаре, типа мы за науку. Плохая, неудобная реальность заключается в том, что такое маркетинговое балабольство прямо запрещено правилами ромипа. Т.е. когда они утверждают, что были лучшими на семинаре, то они не только сильно преувеличивают, но и еще нарушают один из главных принципов семинара.

г-н Андроссов, вы тональность и дубли почему не делаете, если вы такие технологичные и все для пользователя? дайте угадаю. ………….понял, спроса нет на эту хрень.

Г-н Alter Ego, не делаем потому что качественный анализ тональности — супер сложная штука, Игорь писал. Но мы сделаем, сейчас в проработке вопрос. А по дублям уже много наработок, там все несколько проще, в ближайшем будущем выкатим. Почему не выкатили сразу? Потому что и без этих функций сервис будет весьма полезен нашим клиентам. Решили не ждать, все остальное-то уже хорошо работает.

@Inohodez Никита (к сожалению не знаю отчества), скажите пожалуйста — у вас на главной странице написано «Авторов: 1551 тыс, Охват аудитории: 4134 млн.» Вам правда удалось полутора миллионами русских авторов охватить аудиторию в 4 с лишним млрд человек?

AlterEgo, боже, конечно да :). И в этом случае я Джим Керри :). Это небольшая неточность, вы же понимаете, что мы имели в виду контакты с аудиторией :). Поправим. Собственно, я думаю, что за сим в теме я не нужен. Мои коллеги ответят на все предметные вопросы.

А, то есть эти хамы выше -все-таки ваши?

К слову, да. «Официально», кроме Никиты из Ингейта тут никого нет. :( А в плане «научности» и сравнения с прочими сервисами я рад был бы почитать Серёжу Панкова, например. Тем более, что он — руководитель обсуждаемого проекта.

Нет, явно есть «коллеги» Никиты. Он сам сказал только что. Думаю, их превосходительство г-н Панков тоже здесь.

Думаю, их превосходительство г-н Панков тоже здесь. Думаю, всё-таки вряд ли. Общался лично — вполне адекватный человек в отличие от отметившихся «анонимных экспертов».

Goodman , привет, Илья! Давно не виделись. Psycho , Валя, тебе тоже привет! Ну и каша тут заварилась… Прочитал написанное — без комментариев. 1)Представители Ingate кроме Никиты и меня в данной ветке отсутствуют. Панков работает на конференции. 2) Я не знаю мотивов тех, кто развел этот троллинг Ingate, но очевидно, что это связано с релизом сервиса. 3) По поводу замечания о цифре на главной странице — полностью согласны, в настоящее время формулировка изменена на более ясную. 4) Если у вас есть вопросы, касающиеся сервиса — адресуйте их мне.

И тебя тоже рад видеть, Саш. :)

Прошу прощения за задержку с ответом, был на RCDL в Воронеже и тупо не хватило времени. Ну вот об этом и речь. Яндекс — лучший поисковик на нашем пространстве. Лучше Гугла, конечно. По какой метрике? По доле в LI или по выручке от рекламы – сегодня лучший. По метрике «количество букв G и O в домене» — лучшие Гугл и Гога. Вы бы определились, чтоле, с метрикой. И конечно, лучше всех, кто там суетится на дорожках. Если вы думали кого-то унизить словом «суетится», то не вышло. На последнем РОМИПе все участники поисковой дорожки (Яндекс, ИСА РАН и я) были значительно круче вас например по баблу (если жен в счет не брать). Так что в данном случае это вы суетитесь, походу. Т.к. не имеете внятных аргументов. А большие дяди в это время и не суетясь решают свои задачи, не всегда меркантильные. И что показывает «независимая оценка»? Что вот этого чувака с его обморочным как бы поиском , приготовленным специально для дорожки, надо взять в тот же Яндекс. Да, достойная цель. Для чувака. Независимая оценка может много чего показывать. Например то, на сколько хороши ваши методы поиска и ранжирования текстов. Если ваша боевая формула показала результаты хуже других – можно плющить соответствующих менеджеров. И что за поиск, «приготовленный специально для дорожки»? Как специалист в небольшом количестве из набора современных поисковых технологий, объясню бывшему специалисту – специально подготовить формулу, при условии случайной выборки из всего набора запросов для оценки, можно только в одном случае – если разметить все 30К выдач вручную, на глубину 50. Это экономически не выгодно, организаторы РОМИПа не создали семинару нужной репутации для таких затрат. Вот на TREC-е было выгодно, кетайцы там и больше размечали. Потому и размер поисковой дорожки TREC-а вырос до миллиона запросов. По-моему, хотят мериться «технологичностью» как раз те, кто меряется на РОМИПе. В силу иллюзии, что это важно. Мериться хотят все, кто в теме и кому важны оценки собственных технологий. Однако не все рискуют делать это публично, рассказывая сказки о недостойности такого занятия. Скажем, нам гамбургский счёт и так известен. Да он понятен и из статей на РОМИПе — как только произносится что-то вроде «а морфологию мы взяли на АОТ.ру». Это позиция гамбургского маркетолога, а не специалиста. Делать выводы по статьям годичной давности в IR специалист бы не стал. Слишком отсталая отрасль, дистанция от новичка до примерно равного в некоторых технологиях может быть пройдена быстрее, чем за год. Это доли медленно прирастают, и новые методы. Мериться технологичностью нужно для кого? Клиентам ваш РОМИП не нужен, он не является критерием выбора исполнителя. Тем более, что он анонимен. Клиенту не нужен, но будет использован конкурентом, который не побоялся выступить и выиграл дорожку. Потому что если клиент станет выбирать, то конкурент ему обязательно покажет свою медальку и намекнет, что некоторые забоялись мериться неспроста. И анонимности давно уже нет, де-факто. Ещё раз повторю: участие в РОМИПе — это академическая деятельность. Для участия в ней нужно тратить время разработчиков. Это можно делать в двух случаях: а) когда нечем больше заняться, то есть в случае академического коллектива или дохлой фирмы без заказчиков, то есть от бедности и от безделья; б) когда, как в Яндексе, есть куча лишних денег и сотня-другая человек с неопределёнными должностными обязанностям, то есть с жиру. Есть и другие случаи, например тестирование новых технологий. Если таковые вяло появлялись на РОМИПе – винить нужно в том числе и Яндекс, который не смог «зажечь» местную поисковую науку. На TREC-е новые технологии тестируются регулярно, некоторые из них оказываются удачными и потом используются тем же Яндексом. Ничего из реальных проблем реального поисковика в реальном грязном Интернете РОМИП не показывает и не обсчитывает. В частности потому, что надо же и остальных инвалидов как-то пустить побегать по дорожке. То есть ввести ограничения, которые позволят им асилеть тест. Почему не решает? Современный большой поиск состоит из совокупности технологий, часть которых можно обкатывать на скромных объемах РОМИПа. Если кто-то поставит себе цель добиться первенства во всех технологиях без исключения, то РОМИП как раз поможет. Семинары такого типа оценивают отдельные составляющие поиска, владение современными технологиями в этих составляющих не требует наличия всех умений и ресурсов Яндекса или Гугла. Заметим, что настоящую независимую оценку качества интернет-поиска Яндекс получает на наших анализаторах AnalyseThis.ru. И другого теста интернет-поиска — увы, в околоземном пространстве пока нет. Про «настоящесть» и «уникальность» — согласен. То, что хотя бы такие оценки кто-то делает – замечательно. К «независимости», декларируемой маркетологами, следует относиться острожно. Что касается метрик качества вашего сервиса, то например мне они не нравятся, но спорить об этом бессмысленно, альтернативу я пока предложить не готов. Нам, впрочем, ни тесты, ни их организация не нравились и раньше — унылые дорожки, неинтересные тесты на то, что было как бы модно три-пять лет назад. Скучные участники, которых видно только на конференциях и на РОМИПЕ, но не видно на рынке. На интересность дорожек можно влиять, если набраться смелости для публичного теста. Что касается видимости на рынке, то не все имеют в своих целях масштабную монетизацию. Некоторым она не нужна, другие не могут. Но новые технологии создавать способны. Что касается долей рынка, то мериться ими не всегда интересно. Этот рынок может очень быстро измениться, каким бы стабильным он не казался. Теоретический пример для рынка поиска – завтра ВКонтакте ставит у себя поиск Гугла и Дуров выступает с пламенной речью «поддержи ВКонтакте – используй только наш замечательный поиск!» Доли тут же изменятся. Или, если взять мониторинг и тональности – кто-то из вашик конкурентов запустит такую услугу в виде приложения в том же ВКонтакте, с похожими ценами, но еще и с услугой «мониторинг знаменитостей». «Свежие сплетни про Жанну Фриске» или «все последние косяки Путина» за 10 рублей в месяц. Доли в этой нишке тут же поменяются, в т.ч. и по баблу. Дорожка на двух участников: один занимает 1 место, второй — угадайте какое. А что ж там их не больше? Вероятно, что-то не так с дорожкой, да и с участниками. А что не так с участниками? Они-то в чем провинились, если организаторы не завлекли больше? Вредилка не выросла. Внезапно. Она отрастет с ростом конкуренции. Трек и РОМИП не влияют и не могут влиять, это скучные академические игры в неизвестно что. Технологии, успешно показавшие себя на TREC-е, бодро используются тем же Яндексом при вычислении факторов матрикснета. Вы предлагаете Гуглу и Яндексу записаться на дорожки РОМИПа или Трека, и потом победителя официально объявить главным поисковиком и передать ему все 100% доли рынка указом Президента РФ? При чем тут «доли рынка», «главный» и «президент»? На этих семинарах вообще все не про то, вы не поняли. В отдельных технологиях большие поисковики могли бы посоревноваться, например в текстовом ранжировании, чистке от спама или в поиске дублей. Но не будут, потому что боязно. В рамках РОМИПа ничего этого померить нельзя, потому хотя бы, что большинство участников ничего про поиск в Интернете не знают и не умеют. Откуда взялся такой забавный вывод про большинство участников?

Я вам про РОМИП — вы мне про меня. Несколько раз про трусость, про непонимание, про то, что бывший специалист. Перечитайте свой пост, он же смешной: всё время попытки, как у гопников в подворотне, развести на «слабо». Вам сказать по существу нечего? РОМИП — типичное УГ. Тех, кто там участвовал, я практически всех знаю — вижу на конференциях, слушаю рассказы про дорожки. Академические коллективы, использующие постоянно меняющихся студентов и аспирантов и вяло пытающиеся свою автоматическую классификацию продавать политикам и чекистам. Корпоративные поисковики, живущие милостью системного интегратора и вяло продающиеся раз-два в год. Яндекс как спонсор и буксир. Ну и так далее. Если Трек лучше, а наши местные не смогли сделать свой РОМИП интересным и полезным — это их проблема и ваша, а не моя. Вот вам и остаётся неуклюже пытаться взять «на слабо». Единственный аргумент для боевых, настоящих компаний вроде Яндекса там участвовать, кроме ностальгии разработчиков по академической жизни, я вижу вот в этой вашей фразе: «Если ваша боевая формула показала результаты хуже других – можно плющить соответствующих менеджеров. » Такую же примерно фразу в Яндексе говорили и мне в период их острой борьбы за качество с Гуглом, мол, спасибо тебе за анализаторы, это для нас важный аргумент в разборках с поисковой группой, а то она имеет склонность закисать и считать, что у них всё прекрасно… Ну и насколько благородная это цель? В принципе, независимый тест — полезен. Но можно ведь и просто построить стада асессоров, чтоб получить объективную оценку своего качества. Ещё раз повторю — мы никогда не участвовали в РОМИПе, потому что: а) знаем большинство участников — нам они неинтересны, и б) потому что тестируются там всегда старые неинтересные области прикладной лингвистики, которыми мы уже не занимаемся. Это всё равно, что азартно участвовать в тесте машинных морфологий — ну вот на хрена? Это общее место, ничего не решает, неинтересно. А кто-то только что сделал на коленке свой первый стеммер и вот будет с нами соревноваться… А про новые сферы нам ромиповцы говорят: ну так вы и придумайте методику (для извлечения фактов, анализа мнений, тональности, …, нужное вставить), давайте, это же будет так прекрасно! То есть предлагают нам же и сделать их работу по постановке задачи. Для чего? Мы и так знаем своё место в этой технологической области. У нас НЕТ необходимости плющить своих менеджеров, мы не такая пока большая корпорация. И маркетинг такого унылого рода нам не нужен, типа, мы победили пять чуваков с ВМК и десятерых из системного интегратора по вот такой странной дорожке, но говорить об этом нельзя, это военная тайна, мы вам тайно в переговорной из рук покажем слепые таблички… Будет публичный тест наподобие Virus Bulletin — подадимся на сравнение. Или сами его сделаем в конце концов. Мне эта попытка вызвать у меня даровой энтузиазм по поводу чужого дела, проваленного его хозяевами, напоминает, как ко мне раз в года три-четыре приходили люди из местного Эппла или приближённые к нему и говорили: ну сделай уже настоящую проверку русского правописания для Мака! Я говорил «а зачем это мне»? — Ну как же, это же будет так прекрасно! Наконец на Маке будет хорошая проверка правописания для русского, которой нет уже 20 лет! Разве ты не видишь, как это будет прекрасно! Я отвечал — ну вы хоть денег заплатите, а то я не настолько фанат Мака, чтобы делать это бесплатно. Денег у них всегда не оказывалось или оказывалось типа 500 тыр. Но они пытались вызвать у меня энтузиазм и чувство общего дела, которого у меня в принципе не могло быть, потому что я из другого племени. А вот когда я купил Информатик, идея сделать ОРФО под Мак стала иметь хоть какой-то смысл, ну мы и спокойно сделали её за полгодика, без особого надрыва и натужного энтузиазма. Тем более, что Джобс за эти годы наконец решился перестать жлобиться, перешёл на Интел, биты в битовых масках не пришлось переставлять. Вот и вы с РОМИПом тоже, по-моему, не имеете аргументов кроме «а давайте вместе зажжём большой-большой костёр и будем петь под гитару пионерские песни!!!». Я не против, я за отраслевые тусовки, мы даже устраивали зимой такую тусовку с лыжами, костром и глинтвейном в Яхроме. Но РОМИП не про это.

Да, и вот это, конечно, показательный перл: Есть и другие случаи, например тестирование новых технологий. Если таковые вяло появлялись на РОМИПе – винить нужно в том числе и Яндекс, который не смог «зажечь» местную поисковую науку. Ну Яндекс-то тут при чём? Почему он должен зажигать? Он должен искать запросы и не пускать Гугл в Рунет. Я вижу, вы из тех, кто тут устраивает длинные унылые срачи про то, что у Яндекса гранаты, ну то есть научные статьи, не той системы. Как будто Яндекс — научный институт.

И что за поиск, «приготовленный специально для дорожки»? Как специалист в небольшом количестве из набора современных поисковых технологий, объясню бывшему специалисту – специально подготовить формулу, при условии случайной выборки из всего набора запросов для оценки, можно только в одном случае – если разметить все 30К выдач вручную, на глубину 50. А я вот вообще не в теме РОМИПа, поясните дилетанту пожалуйста. 1) Вот есть база из N документов, поисковик, даем K запросов из общего числа L, оцениваем выдачу. 2) Чтобы оценить качество выдачи — нужно ее сравнить с идеальной выдачей по этому запросу. 2b) Или иметь какие-то оценки релевантности конкретного документа конкретному запросу Получается, мы или заранее должны иметь L*N оценок, или в процессе тестирования делать K*N*(число участников), либо (число участников)*K * (число документов в Топ10) оценок. Вопрос: как? Субъективно (сидит жюри и оценивает выдачу)? Или по какой-то формуле? Не сводится ли соревнование к угадыванию этой формулы или свойств жюри? Имеет ли эта оценка отношение к реальной жизни?

Лёха, ну вот давай вернёмся к теме мониторинга мнений в контексте РОМИПа. Я на Диалоге-2011 разговаривал об этом с Павлом Браславским, руководителем екатеринбургского филиала Яндекса, на конференции и пока ехали в Москву по Киевскому шоссе. Ему жалко, что РОМИП как-то чахнет после отъезда Некрестьянова, он хочет его оживить. И вот мы обсуждали возможность создать дорожку по оценке тональности мнений из блогов. Нужна постановка задачи, описание данных, методика оценки результатов. Предположим, будет выборка мнений по чему-нибудь урожайному. Например, по какому-то супер-продукту, который много обсуждают. Или просто по услуге для миллионов (доступ в Интернет, например). Чтобы оценить полноту выкачки, надо понимать, что такое полнота и как оценить то, что НЕ выбрано из блогов. Судьи кто? Объединить выборки, принять за целое? А там 80% останется в дикой сети? Ладно, пусть полнота выкачки — это трудный параметр. Возьмём точность и полноту оценки тональности. Нужна эталонная выборка, очевидно, размеченная руками. А как иначе с негативом/позитивом, да и с любым неочевидным лингвистическим свойством? Слить разметки всех участников и считать сумму эталоном — не сработает, тем более, что у многих с полнотой обычно плохо (удаётся определить тональность у 10-20% максимум), да и ложных срабатываний полно. Следовательно, нужны руки добровольцев на изрядной выборке в многие тысячи мнений. Ну и рабочее место для разметки, согласованный формат данных, процедура и софт для автоматической оценки. При этом, что характерно, для реальной работы такая выборка не очень интересна — ну увидишь, что тональность плохо определяется на выборке по мобильникам. Ну, отладишься до 100% на этой выборке. А если клиентов по этой ПО нет, зачем она? А если есть, то всё ещё хуже — уже на этапе тестирования: ты отлажен на клиенте, другие нет и т.п. А по провайдерам, FMCG, отелям или авто — всё равно всё делать заново, там другие лингвистические средства выражения и другие маркеры негатива-позитива. Условно говоря, если телефон тормозит — это плохо, а если машина — хорошо. Ну вот я подумал-подумал пару месяцв и так и не асилел участие. У Крибрума стоит очередь пилотных проектов, все люди заняты по горло. Думать некогда даже над постановкой, не то что эталонную выборку помочь сделать. При этом ценность для нас такого внешнего тестирования равна нулю: качество нашей технологии в конкретных предметных областях нам отлично известно — непрерывный поток претензий по пилотам заснуть не даст.

Вопрос: как? Субъективно (сидит жюри и оценивает выдачу)? Или по какой-то формуле? Ты что, не знаешь про представительные выборки и доверительные интервалы? Хе-хе-хе. Или даже хи-хи-хи. Или даже хи2.

Толку то с того хи-хи квадратного: оценивать всю выдачу просто не имеет смысла, имеет смысл оценивать Топ10 или Топ50. И в эти самые топы должны попасть хоть в каком-то количестве документы, для которых у нас есть оценка пары (документ, запрос). Ну ладно, допустим мы даже не стали заранее оценивать документы, в которых нету слов запроса, но из оставшихся — надо оценить довольно изрядную долю. Вот я и спрашиваю — а как это делается то?

Оцениваются топы, присланные участниками. Устроено примерно так — раздаём коллекцию и 30К запросов. Участники присылают свои top10 для каждого из 30К запросов. Выбираем случайные 100 запросов и для каждого запроса оцениваем все документы попавшие в top10 хотя бы одного участника по этому запросу. В результате имеем оценённые top10 по 100 запросам для всех участников — считаем precision@10 или ещё чего

Ну вот, это оно и есть. Выборки, доверительные интервалы и всё такое. 100 запросов из 30 000. Именно потому, что нет экономической и физической возможности разметить хоть сколько-нибудь большую эталонную выборку. Для opinion mining и sentiment analysis не вижу способа это проделать даже в таком варианте. Объявить заранее тему, дать список объектов, которыми в настоящее время никто не занимается, про разведение крокодилов в Мехико? Дать время всем настроиться на тематику? Потом выдать всем набор текстов для анализа? По-моему, не сработает — заниматься дорогой настройкой тематики будут только те, кому совсем нечем заняться.

А размеченная эталонная база, в случае если эта разметка доступна участникам — тоже не имеет смысла т.к. обучаться будут по этим оценкам. А иметь ее размеченной и никому не давать — во-первых не получится, а во-вторых усилия по разметке тем более пропадут и заниматься такой разметкой вовсе глупо. Предыдущему альтерэге: беда методики даже не в «100 запросов из 30к» (хотя и в этом тоже), а в том что из всей коллекции оцениваются только те документы, которые попали в топы. А которые не попали — никак не оцениваются. Чем меньше участников, тем больше таких документов и тем больше беда.

Я вам про РОМИП — вы мне про меня. Несколько раз про трусость, про непонимание, про то, что бывший специалист. Перечитайте свой пост, он же смешной: всё время попытки, как у гопников в подворотне, развести на «слабо». Вам сказать по существу нечего? На оценку личностей вроде не я первым перешел. Я влез в эту тему по двум причинам – во-первых, чтобы напомнить сообществу, что сейчас можно сделать независимую оценку определения тональностей в рамках РОМИПа, и, во-вторых, чтобы указать вам на некорректность ваших аргументов для вашей же оценки Бабоок. По обоим пунктам я подробно высказался выше. По первому все понятно, по второму — сама оценка может и верная, а может и нет, мне сложно сказать, я не в теме на сегодня. А вот аргументы – не годные. Ваша логика примерно такая: если компания А привлекает кучу именитых лингвистов и имеет успешные внедрения в лингвистических технологиях, а компания Б пока показала только пару студенческих работ, значит компания А однозначно круче компании Б в определении тональности. Логика странная, такие «значит» в отрасли не приняты, потому что они не опираются ни на какие метрики. Если бы вы сказали, что компании Б не реально получить долю, равную доле А, на рынке крупных корпоратов – вопросов бы не возникло, может оно и так. Но качеством определения тональности пока никто не мерился, поэтому все заявления про «мы круто определяем» выглядят как-то не серьезно. РОМИП — типичное УГ. Тех, кто там участвовал, я практически всех знаю — вижу на конференциях, слушаю рассказы про дорожки. Академические коллективы, использующие постоянно меняющихся студентов и аспирантов и вяло пытающиеся свою автоматическую классификацию продавать политикам и чекистам. Корпоративные поисковики, живущие милостью системного интегратора и вяло продающиеся раз-два в год. Яндекс как спонсор и буксир. Ну и так далее. РОМИП чаще спронсировался РФФИ, а не Яндексом, как мне кажется. С тем, что семинар последних лет был унылым – согласен, с УГ – нет. Все же интересные работы в малом количестве там бывали. И унылость не отменяет объективность оценок РОМИПа, научные конфы унылы практически всегда. Если Трек лучше, а наши местные не смогли сделать свой РОМИП интересным и полезным — это их проблема и ваша, а не моя. Вот вам и остаётся неуклюже пытаться взять «на слабо». Так вы не меряйтесь оценками качества своих технологий, если таких оценок нет, никто и не будет вас брать «на слабо». Но можно ведь и просто построить стада асессоров, чтоб получить объективную оценку своего качества. Такая оценка не обязательно будет объективна, особенно в крупной компании. Потому что ответственные за качество менеджеры всегда хотят создать удобные для себя метрики, убедить всех в их чудесности, а потом работать не над улучшением качества, а над улучшением своих метрик. Если внутренние метрики показывают, что все хорошо, а сравнение в рамках РОМИПа получается в пользу чужих методов от менее крутых коллективов, то в консерватории явно что-то не так. Для чего? Мы и так знаем своё место в этой технологической области. Тогда и не стоит заявлять, что ваше качество лучше того, что вы не мерили. говорить об этом нельзя, это военная тайна, мы вам тайно в переговорной из рук покажем слепые таблички… Я в третий раз напишу – таблички не слепые, все свои дорожки авторы давно показывают сами. попытка вызвать у меня даровой энтузиазм по поводу чужого дела Не, это попытка убедить вас не делать голословных заявлений при специалистах. Потому что выглядят эти заявления иногда забавно. Вот и вы с РОМИПом тоже, по-моему, не имеете аргументов кроме «а давайте вместе зажжём большой-большой костёр и будем петь под гитару пионерские песни!!!». Я в сентиментальных дорожках не буду участвовать, поэтому «а давайте» мне не нужно. Большее количество участников сделает дорожку интереснее, но мне-то что с того? Ну Яндекс-то тут при чём? Почему он должен зажигать? Он должен искать запросы и не пускать Гугл в Рунет. Я вижу, вы из тех, кто тут устраивает длинные унылые срачи про то, что у Яндекса гранаты, ну то есть научные статьи, не той системы. Как будто Яндекс — научный институт. Про гранаты из Яндекса срутся альтегэги (похоже, что их больше одного, типа две штуки), кто за ними прячется – мне не известно. Я обычно с этого ника пишу, прятаться ни к чему. Яндекс был одним из затейников РОМИПа, значит должен был зажигать, привлекая на семинар больше народа и стимулируя этот народ к креативу. Но Яндекс на это забил, как и все остальные затейники РОМИПа, которые так же забили. Что касается гранат или стимулирования отечественной науки, то Яндекс ничего не должен, я бы на его месте делал иначе, но позиция Яндекса в этом месте меня не сильно напрягает. Вопрос: как? Субъективно (сидит жюри и оценивает выдачу)? Или по какой-то формуле? Не сводится ли соревнование к угадыванию этой формулы или свойств жюри? Имеет ли эта оценка отношение к реальной жизни? Не сводится, альтерэга уже примерно объяснил. Оценки всем документам, попавшим в топ-20/50 выбранных запросов, ставят асессоры, уже после выполнения заданий. Хотя например в прошлом году часть из тестовых запросов была прошлогодняя, т.е. с уже имеющимися оценками. И все, кто обучал свои формулы на предыдущих оценках, получили существенный бонус. Тестовые выборки вполне достаточны, на TREC-е они похожи по объему, а результаты TREC-а считаются вполне достоверными (проще на TREC сослаться, чтобы в муть статистики не лезть). По одной коллекции оценивается несколько сотен запросов на глубину до 50-ти. Т.е. оценок на самом деле делается много, вполне достаточно для адекватного расчета метрик качества, которых в последний год считалось 18 штук. Ладно, пусть полнота выкачки — это трудный параметр. Он не трудный, он не интересный в рамках семинара, хотя и важный для реальных систем. нужны руки добровольцев на изрядной выборке в многие тысячи мнений. Ну и рабочее место для разметки, согласованный формат данных, процедура и софт для автоматической оценки. На поисковых дорожках все так и было. А размеченная эталонная база, в случае если эта разметка доступна участникам — тоже не имеет смысла т.к. обучаться будут по этим оценкам. Обучаются на оценках прошлых лет, текущих в это время еще физически нет. Предыдущему альтерэге: беда методики даже не в «100 запросов из 30к» (хотя и в этом тоже), а в том что из всей коллекции оцениваются только те документы, которые попали в топы. А которые не попали — никак не оцениваются. Чем меньше участников, тем больше таких документов и тем больше беда. Оценивается не 100 запросов, а больше. И по-факту беда такая имеется где-то на уровне погрешности, т.к. коллекции не большие (чуть меньше 5М документов на 2 штуки), найти не слишком сложно, а поисковые машины у участников приличные.

Goodman На последнем РОМИПе все участники поисковой дорожки (Яндекс, ИСА РАН и я) А Вы кто? Какую организацию представляете?

Ну Яндекс-то тут при чём? Почему он должен зажигать? Он должен искать запросы и не пускать Гугл в Рунет. Ерунду говорите. Как-будто Яндекс это такой абстрактный тяни-толкай. Яндекс это конкретные люди. А конкретные люди хотят зажигать и быть известными, публикующимися учеными, а не просто программистами, офисным планктоном, которых за пределами офиса никто не знает. Одно дело писать в своих блогах, а другое дело публиковаться и зажигать.

Ваша логика примерно такая: если компания А привлекает кучу именитых лингвистов и имеет успешные внедрения в лингвистических технологиях, а компания Б пока показала только пару студенческих работ, значит компания А однозначно круче компании Б в определении тональности. Вы воюете с ветряными мельницами и ломитесь в открытую дверь. Логика у меня не такая. Чего мне тут доказывать, что мы лучше, потому что якобы. Sapienti sat и так. Мы и так знаем, кто круче в определении тональности. И нет смысла на Роеме доказывать это, да ещё таким странным образом. Вы покупатель, штоле? Какой ужас-ужас-ужас по позитиву-негативу и прочему намеряют вам системы социального мониторинга, я и так знаю. Мы регистрировались, тестировали, мерили и т.п. Мы слышим их доклады на конференциях, где они прямым текстом говорят, что мерить тональность толком нельзя и поясняют суровые, непреодолимые, ужасные причины того (типа, омонимия слова «перекрёсток» и тому подобные). Роем.ру — про интернет-бизнес, а не рекламная площадка. Поэтому я и объясняю рыночные и административные причины, по которым у них такой ужас-ужас или вообще саморазоблачительные высказывания типа «определение тональности предлагают только мошенники». Причина — в высокой трудоёмкости и нехватке редких кадров, необходимости задела в несколько лет, в том, что большинство игроков этого пока что недорынка пришли со стороны маркетинга, а не технологий. Да и дальнейшее обсуждение того, что «мы тоже технологическая компания, вот в АОТе морфологию взяли» только подтверждает сказанное. Да ну ладно. Мне тут сказали — «ну вот что ты на них наезжаешь. Они сделали максимум возможного на их месте, нормальный, красивый, удобный разъём к ППБЯ с поиском ключевых слов и накоплением статистики. Выше по склону — стена, на которую им всё равно не влезть, но за 12 тыщ в месяц ничего больше требовать и нельзя». Ну, в принципе, да. Бог с ними. Что касается РОМИПа — опять же, высказывание «поисковые машины у участников приличные», показывает, что вы не понимаете, что вам Тутубалин пишет про документы за пределами топа и неустранимый дефект вашей (РОМИПовской) методики в этом месте. «Приличность» поисковых машин только усугубляет этот дефект. Может, не надо в каждом посте так настойчиво употреблять слово «специалист» в отношении себя любимого? Вот Тутубалин — специалист, а про вас это из дискуссии пока не очень ясно.

А конкретные люди хотят зажигать и быть известными, публикующимися учеными, а не просто программистами, офисным планктоном, которых за пределами офиса никто не знает. Тогда, казалось бы, что ж они не зажгли с РОМИПом? На самом деле, если спросить желающих «публиковаться и зажигать», не хотят ли они вместо того стать собственниками (получить там дольку и опцион) — многие призадумаются. Публиковаться и зажигать — это (кроме чистого желания славы) — на случай смены работодателя, всё-таки. Если кто-то работает в Яндексе, допустим, 10-15 лет и планирует работать ещё 10 (не будем далеко ходить за примером — возьмём Сегаловича) — зачем ему так уж публиковаться? Авторский мотив можно утолить, поставив имя на Яндексе или на одном из сервисов.

Проблема ведь не только в том, что трудно иметь большую коллекцию, размеченную по большому набору запросов и все — силами добровольцев. Те же автоматические определители тематик могут объем работы заметно сократить (следствия будут интересные, впрочем). Проблема в том, что задача имеет мало отношения к реальности. Ну что это за задача — поиск по небольшой коллекции документов без внешних факторов? Корпоративный поиск? Поиск по одному сайту? Даже в этих случаях возникают факторы ранжирования и группировки, внешние относительно текста и на практике полезнее сгруппировать/отранжировать по ним, собственно текстовая релевантность имеет небольшой вес. А в интернетном поиске и вовсе рулят внешние факторы (ссылки и т.п.), clickstream, география, полнота и качество выкачки, борьба со спамом, наконец. Собственно текстовая часть поиска — только малая часть и давно решенная. Игорю: ну какой я специалист в поиске, я просто рядом постоял.

Я знал, что ты сделаешь такую оговорку. А я не про поиск. Уважаемый Гудман (не знаю, где уж он там специалист) по существу обсуждает на бытовом, в общем-то, уровне принципы тестирования систем распознавания, полноту-точность, матстатистику, прочее. Что, например, нам всем пришлось изрядно изучить на материале Спамтеста. Это всё вещи общие для всех систем распознавания, которыми приходится заниматься в прикладной лингвистике — поиск, анализ тональности мнений или фильтрация спама.

Ashmanov > …надо же и остальных инвалидов как-то пустить побегать по дорожке > …суетится на дорожках Игорь Станиславович! При всем к вам уважении — спилите, пожалуйста, мушку.

Это от кого совет?

А в чём проблема с документами за пределами топа? Неустранимый дефект заключается в том, что теоретически могут существовать документы с положительной оценкой, которые никто не нашёл? Как это помешает сравнить участвующие системы и кому интересно какой recall у представленных систем относительно идеала? Вообще все довольствуются recall-ом по отношению к множеству всех найденных хоть кем-то релевантных. Множество найденных релевантных — достаточно хорошая аппроксимация всех релевантных вообще и стоит на порядки дешевле. «Текстовая часть поиска — давно решённая малая часть» — orly?? «ну какой я специалист», ааа, это многое объясняет

Игорь Станиславович! ваши рассказы о лингвистах утомили. Местный люд вас уважает за былые заслуги, за конференцию оптимизаторскую, за все про все, хватит уже ;) После рамблера ШИРОКО известного продукта НЕ видно. орфо, анализаторы, мифический крибрум — НЕ внушают. при всем моем к вам уважении — Ашманов уже не торт.

lexa > беда методики даже не в «100 запросов из 30к» (хотя и в этом тоже), а в том что из всей коллекции оцениваются только те документы, которые попали в топы. А которые не попали — никак не оцениваются. Чем меньше участников, тем больше таких документов и тем больше беда. Частично эта статья отвечает на ваш вопрос. http://download.yandex.ru/company/grant/2005/04_Nekrestyanova_103126.pdf

Ashmanov > Это от кого совет? Это не столько совет, сколько попытка обратить ваше внимание на диссонанс между используемой вами лексикой и тем сдержанным уважительным тоном, который принят в кругу технических специалистов по отношению к коллегам.

А, вот оно чё. Ну да, действительно. Паяют технические специалисты, бывало, «Буран» или адронный синхрофазотрон и тихо, интеллигентно беседуют между собою: — Что ж это вы, Иван Петрович, льёте мне расплавленное олово за шиворот? Неаккуратно получается. — Да, Василий Анатальевич, действительно, неаккуратно получилось, уж вы извините меня. Видно, ушли те времена и те инженеры в некую ментальную плоскость, в фольклор. Вот я читаю, чего выше пишут технические специалисты, участвующие в РОМИПе и вообще туго знающие поиск и прикладную лингвистику: «- на самом деле нифига не в теме. … Все, кто предлагает автоматическое определение тональности – мошенники. …Вы, батенька, матчасть изучите прежде, чем лезть в серьезный бенч. … это попытка убедить вас не делать голословных заявлений при специалистах. Потому что выглядят эти заявления иногда забавно. … Однако не все рискуют делать это публично, рассказывая сказки о недостойности такого занятия. … На последнем РОМИПе все участники поисковой дорожки (Яндекс, ИСА РАН и я) были значительно круче вас например по баблу (если жен в счет не брать). … Так что в данном случае это вы суетитесь, походу. Т.к. не имеете внятных аргументов. … Замечательным системам мониторинга честное и объективное соревнование противопоказано, потом ведь не получится запаривать авторитетом и прочими маркетинговыми фишечками. … ваши беспредметные выпады о нашем сайте и промо наводят тоску. … ты уж меня прости, но ты скучный нытик. … Вот сколько я себя помню, все твои комментарии и заходы похожи один на другой как сопли младенца. … но ввиду предыдущего ответа уже не интересно. Отдыхайте. … Голословно помочиться на сервис, который толком и потестировать не можете… … Мда, руки у вас, простите, не из того места растут. Или, быть может, вы просто некомпетентны делать анализ такого сервиса? Да, я бы, конечно, начал бы разговаривать в академическом тоне. Так-то приятно, что ни говори! — Извините-с! Пожалуйста! Позвольте мне… Нет, позвольте уж я… Совершенно с вами согласен! Эх. Но остальных-то «технических специалистов» куда девать?

Кстати, про дорожку по сентиментальные анализы! Вот чего писали на РОМИПе: Re: Новые дорожки — Sentiment Analysis Postby chetvil » Sun Oct 23, 2011 3:05 pm Открыта регистрация на семинар и дорожки по анализу мнений! Установлены новые даты (надеюсь окончательные :) ) по проведению семинара! Объявление дорожек: 20 октября Распространение данных для обучения: с 25 октября Распространение тестовых данных: с 15 ноября Предоставление результатов выполнения заданий: до 15 декабря Результаты оценки: 20 декабря Тексты докладов: 1 февраля Как там оно?

BlastBeat, я не в теме — и возможно в используемой терминологии просто не увидел ответа на заданный вопрос. Более того, я там не увидел ответа и на более простой вопрос, «меняется ли результат (оценки) от увеличения глубины просмотра топа». Там есть ответ на другой вопрос: «с увеличением глубины от ~20 до 50 количество новых документов (на каждый шаг) почти не уменьшается», что само по себе прикольно.

А Вы кто? Какую организацию представляете? По классификации Ашманова в этом треде я из тех, кто участвовал в РОМИПе «с жиру». Я случайно влез в IR, стало интересно, что-то получилось. Потому и. Никаких меркантильных интересов не преследовалось в принципе. Ерунду говорите. Как-будто Яндекс это такой абстрактный тяни-толкай. Яндекс это конкретные люди. А конкретные люди хотят зажигать и быть известными, публикующимися учеными, а не просто программистами, офисным планктоном, которых за пределами офиса никто не знает. Одно дело писать в своих блогах, а другое дело публиковаться и зажигать. Ну зажигать они и сейчас могут в каком-то объеме. Хотя поддержки от коллег разработчиков скорее всего не получат, у компании другие задачи. Вот доля по LI немного припала – все работают над этим. Наука подождет. И пока компания прибыльная, причем прибыль эта бодро растет с годами – правда на стороне руководства Яндекса. Вы воюете с ветряными мельницами Может и так. 4 дня в непривычном окружении на RCDL дались с трудом, нужно было куда-то выплеснуть. Мы и так знаем, кто круче в определении тональности. Это сомнительно. Пока никто не знает, я не исключаю, что какие-то потенциально интересные коллективы давно могли всех порвать, да только повода не было. Не все же умеют или желают это кому-то впаривать. Дорожка на РОМИПе – хоть какой-то повод для развития данной технологии в стране, и это гуд. Судя по вашим буквам выше, вы ведь пока не умеете определять тональность в общем случае, хотя все время утверждаете обратное. На самом деле вы определяете тональность только по малому набору узких тематик и ваши внутренние метрики наверное говорят, что определяется хорошо. Но шаг в сторону от знакомых тематик – и ваши алгоритмы начнут жестко косячить. Для определения тональности РОМИП полезен, т.к. подходов к этому определению больше одного. И конкуренция на дорожке может родить другие, до которых раньше не додумались, потому что поводов не было. В этом и есть большой теоретический плюс. Да и дальнейшее обсуждение того, что «мы тоже технологическая компания, вот в АОТе морфологию взяли» только подтверждает сказанное. Вроде Никита таких логических цепочек не выстраивал. Они сделали максимум возможного на их месте, нормальный, красивый, удобный разъём к ППБЯ с поиском ключевых слов и накоплением статистики. Выше по склону — стена, на которую им всё равно не влезть, но за 12 тыщ в месяц ничего больше требовать и нельзя Может и стена, хотя в целом это утверждение не только не верно, оно даже забавно. В этой отрасли наука пока слабенькая, во-первых, любой толковый студент может очень быстро освоиться на приличном уровне, а во-вторых – от освоения до вершины путь очень короткий. Посмотрите на работы ведущих гуру в IR – любому математику-студенту там понятно все и с первого беглого прочтения. Это не топология или теория групп, где только для понимания нужно несколько лет усердного учения. Поэтому сделать крутой прорыв могут многие, пришедшие со стороны и не зашоренные унылой кучей простых знаний. Такое может и у Бабоок получиться, чего только в жизни не бывает… Что касается РОМИПа — опять же, высказывание «поисковые машины у участников приличные», показывает, что вы не понимаете, что вам Тутубалин пишет про документы за пределами топа и неустранимый дефект вашей (РОМИПовской) методики в этом месте. «Приличность» поисковых машин только усугубляет этот дефект. Может, не надо в каждом посте так настойчиво употреблять слово «специалист» в отношении себя любимого? Вот Тутубалин — специалист, а про вас это из дискуссии пока не очень ясно. Дык, мы же не на научном диспуте, я стараюсь писать простыми словами и пользоваться аргументами, понятными большинству читателей треда. Никакого «дефекта» в этом случае нет, выше про это уже без меня написали. Публиковаться и зажигать — это (кроме чистого желания славы) — на случай смены работодателя, всё-таки. Работодателю тоже не помешала бы такая слава, но он по другому расставил приоритеты, на что имеет полное право. Проблема в том, что задача имеет мало отношения к реальности. Ну что это за задача — поиск по небольшой коллекции документов без внешних факторов? Корпоративный поиск? Поиск по одному сайту? Даже в этих случаях возникают факторы ранжирования и группировки, внешние относительно текста и на практике полезнее сгруппировать/отранжировать по ним, собственно текстовая релевантность имеет небольшой вес. А в интернетном поиске и вовсе рулят внешние факторы (ссылки и т.п.), clickstream, география, полнота и качество выкачки, борьба со спамом, наконец. Собственно текстовая часть поиска — только малая часть и давно решенная. Ну естественно, это малая часть, хотя и не решенная, даже на сегодняшнем уровне решений. Смысл текста начнет понимать только ИИ, когда-нибудь. Но до ИИ еще в семантику полезут, там пока непаханое поле. На сегодня, когда все решают проблему взвешиванием слов, некоторые методы только появились, например мои спектральные. Вот когда из них выжмется все, можно будет сказать, что на уровне взвешивания задача решенная, больше там некуда пойти. Большой поиск все такие малые части собирает в единое целое, они не всегда плюсуются, иногда одна корректирует другую. Но, если в какой-то из малых частей ваши технологии кому-то уступают, нужно как минимум спуститься с небес на землю. А как максимум – попытаться исправить положение, улучшая свои методы. В этом плане РОМИП помогает, т.к. все данные доступны и всегда можно проверить свои алгоритмы на данных РОМИПа, сравнив потом результаты. Некоторые так и делают, хотя в дорожках не участвуют по каким-то причинам. В этом еще один плюс РОМИПа. А я не про поиск. Уважаемый Гудман (не знаю, где уж он там специалист) по существу обсуждает на бытовом, в общем-то, уровне принципы тестирования систем распознавания, полноту-точность, матстатистику, прочее. Бытовой уровень выбран намеренно, иначе не поймут. «Текстовая часть поиска — давно решённая малая часть» — orly?? «ну какой я специалист», ааа, это многое объясняет +1

Смысл текста начнет понимать только ИИ, когда-нибудь. Но до ИИ еще в семантику полезут, там пока непаханое поле Смысл текста тут полбеды. Вы смысл запроса поймите. И добейтесь того же от ассессоров. А задача — «решенная» не в том смысле, что некуда копать, а в том — что нет смысла копать т.к. другие факторы ранжирования уже весят больше, чем возможная дельта от улучшения имеющихся. P.S. Синодову: если «редактировать» текст с цитатой, то все портится нахрен.

На самом деле вы определяете тональность только по малому набору узких тематик и ваши внутренние метрики наверное говорят, что определяется хорошо. Хорошо, что вы знаете заранее, как оно на самом деле. Хотя должен предупредить вас, что в действительности оно обычно не так, как на самом деле. Пожалуйста, расскажите, прошу вас, коллега, что такое «определять тональность в общем случае», как вы понимаете это понятие, так сказать? Но шаг в сторону от знакомых тематик – и ваши алгоритмы начнут жестко косячить. Ну раз вы говорите, что будут косячить — вы же специалист, значит — будут косячить. Вероятно, это неправильно. Научный позор, так сказать. И в правильных системах, вероятно, какую тематику ни возьми, определение тональности будет работать как влитое. Нельзя ли привести примеров, так сказать, только не поймите меня неправильно, вы же специалист.

Гудман, а вы Зябрев или Пожарков? Я так понимаю, Зябрев.

Он это. Вот отсуда: http://www.altertrader.com А вот его великая теория поиска: http://www.altertrader.com/publications33.html Казачок засланный. Типа математик такой, трейдер-трейдер, а на самом деле оптимизатор: http://www.searchengines.ru/calendar/speakers/ilya_zyabrev.html Окончил МГУ, мехмат, в 1986 г. Известный российский ученый-математик, автор большого числа научных трудов. В последние годы занимается исследованиями в области Information Retrieval. Постоянный докладчик научных конференций по информационному поиску. В 2007-2010 активно занимался SEO (около 50 проектов, в основном крупные). Регулярно публикует статьи об алгоритмах ранжирования поисковых систем. Выступал с докладами на многих SEO-конференциях.

Зато он круче ашманова по баблу, он сам сказал!

А задача — «решенная» не в том смысле, что некуда копать, а в том — что нет смысла копать т.к. другие факторы ранжирования уже весят больше, чем возможная дельта от улучшения имеющихся. Задача пока окончательно не решенная даже на уровне взвешивания слов. А вес разных групп факторов в ранжировании не постоянный, он все время будет меняться. Хоронить текстовую релевантность не стоит, она на сегодня потеряла в весе, потому что в соответствующих технологиях нет большого прогресса, а в других есть. Некоторые это понимают, потому и устраивают семинары типа РОМИПа или TREC-а. Какие факторы весят на сегодня больше я не готов говорить по всем поисковикам, т.к. данные не из всех вываливаются пачками. Думаю, что у всех по-разному. С развитием технологий понимания смысла, текстовая составляющая опять вырастет и для многих запросов (особенно многословных) станет решающей. Пожалуйста, расскажите, прошу вас, коллега, что такое «определять тональность в общем случае», как вы понимаете это понятие, так сказать? Понимаю так же, как и все, есть текст о чем-то, в котором это что-то оценивается. Для упрощения задачи допустим, что мы знаем, что именно. Нужно определить тональность оценки. Как вы сами писали выше, ваши алгоритмы затачиваются под узкую область, т.е. в общем случае работать будут слабо. Ну раз вы говорите, что будут косячить — вы же специалист, значит — будут косячить. Вероятно, это неправильно. Научный позор, так сказать. Почему это не правильно и позор? Это нормально. Просто желательно фразы строить корректно, типа «в некоторых узких тематиках мы хорошо определяем тональность, судя по нашим внутренним метрикам» вместо «мы умеем определять тональность». Школьник, который напишет примитивный парсер Яндекс.Маркета и будет скачивать отзыв с готовой авторской оценкой, также может заявить, что он умеет определять тональность, без указания где и почём. И качество его определялки будет около 100% — выдающийся результат. И в правильных системах, вероятно, какую тематику ни возьми, определение тональности будет работать как влитое. Нельзя ли привести примеров, так сказать, только не поймите меня неправильно, вы же специалист. Вы же наверняка лучше меня знаете, что таких на сегодня нет. Поэтому никто и заявлений не делает. Кроме вас. на самом деле оптимизатор Давно уже нет. Хотя на Се-Тиме до сих пор пишу регулярно.

Как вы сами писали выше, ваши алгоритмы затачиваются под узкую область, т.е. в общем случае работать будут слабо. Нет, я пишу, как оно будет выглядеть при тестировании в РОМИПе. Потому что там данные подготовить — трудно, гораздо труднее, чем для поиска. Данные гораздо сильнее зависят от тематики. И каждый, кто уже в ходе коммерческой деятельности настроился на предметную область, получит преимущество. У нас-то есть и общий алгоритм, с самообучением, и узкозаточенный под тематику. Поверх общего синтаксического разбора. Скажем, на арабском нам пока приходится применять общий алгоритм, потому что только начали с ним работать, а для русского и английского — комбинацию. Может быть, вы думаете, что в рамках вашего «спектрального» подхода можно будет сделать «общий» алгоритм, который каким-то чудом поймёт всё вплоть до сарказма. Ну так вперёд — программируйте. Вы же наверняка лучше меня знаете, что таких на сегодня нет. Поэтому никто и заявлений не делает. Кроме вас. Ну так если я знаю, почему бы мне не сделать заявление-другое? Или мне нужно ждать, пока мне РОМИП или какой-то другой цензор (вот Гудман, например) разрешит говорить то, что я и так уже знаю? А насчёт «кроме вас» — почитайте тред ещё раз. Таких заявлений выше — масса. Как мы видим выше, «технические специалисты» нимало не стесняются уверенно сказать, что определение тональности могут предлагать только мошенники. Они тоже ЗНАЮТ.

>Смысл текста тут полбеды. Вы смысл запроса поймите Согласен, современный поиск в меньшей степени про формулу ранжирования и факторы, а в большей про понимание запроса. Развитие классификаторов, делящих запросы на узкие типы, каждый со своей асессорской разметкой и своей формулой ранжирования — вот будущее поиска.

Развитие классификаторов, делящих запросы на узкие типы, каждый со своей асессорской разметкой и своей формулой ранжирования — вот будущее поиска. Это ближайшее будущее. Настоящее будущее — все же за пониманием смысла текста. Поэтому копать в текстовое ранжирование полезно, как ни крути.

Господа! Мне уже трудно вас так называть, но всё же, вы насорили здесь в размере 15 439 слов! Какого чёрта?! Ашманов! Я рад за вас и за Ваш Крибрум – но хотя бы до конца не теряйте лицо… Goodman! Все уже поняли и все у ваших ног, Вы велики – теперь Вам осталось это только доказать… Ingate! Какого чёрта вы влезли в эту свору? Волнуетесь за продукт? Сходите на фейсбук, там интересно… Остальные! Это надо же было поднять такую вонь на ровном месте… Я вам ещё раз, всем, предлагаю провести показательный бенчмарк. C меня – почтовый ящик + гарантия публикации окончательного материала на одной хорошо известной площадке. С вас – высланные на мейл логин + пароль и бесплатный доступ без ограничений на, скажем, 2 недели. Жду! P.S. Сижу ковыряю Youscan – мля, в нём даже определения дублей нет…

P.S. Сижу ковыряю Youscan – мля, в нём даже определения дублей нет… А, то есть Вы его раньше тоже не видели? Ок. Отдыхайте… в смысле, ковыряйтесь дальше.

2 lexa Давайте я в двух словах объясню. Большинство описанных в литературе и реально используемых в индустрии метрик не предполагает сравнения качества выдачи поисковой системы с идеальной выдачей. Например, при расчете DCG, Expected Reciprocal Rank или Pfound не требуется знать, сколько существует релевантных документов всего в базе. Методика, используемая в ромипе, называется «общим котлом». Сначала собираются ответы всех систем-участников (допустим, 100000 запросов). Случайным образом выбирается подмножество оцениваемых запросов (допустим, 500). Затем для каждого оцениваемого запроса для каждой системы производится оценка топовых ответов (допустим, 20). За счет того, что все системы пытаются предсказать одно и то же, их выдачи сильно пересекаются, и документов нужно оценивать заметно меньше, чем 20 * количество участников. При этом все документы по всем оцениваемым запросам у каждого участника оказываются оценены. Это позволяет корректно сравнить качество всех систем участников между собой.

Ashmanov > Вот я читаю, чего выше пишут технические специалисты, участвующие в РОМИПе и вообще туго знающие поиск и прикладную лингвистику Это были сеошники. Не обращайте внимания. На мой взгляд, уровень разговора сильно зависит от уровня его самых авторитетных участников.

Это то я понял, геологического образования хватило. Вместе с тем, в поминавшейся статье (которая «методологическая» т.е. обосновывает используемые методики) я не увидел попытки даже феноменологически обосновать «глубину котла» (почему 20 или 50, а не 1 или 2?), не говоря об ответе на мой вопрос.

Статью-то мы читали. Про общий котёл — понятно. Это, как мне кажется, указывает на то обстоятельство, что сравнивать на дорожках с общим котлом можно те технологии, которые делают примерно одно и то же. А если кто-то выбивается полностью, на 100%, то будут разные нехорошие эффекты в дорожках. Я не прав? И второе возражение Тутубалина — почему не рассматриваются документы глубже верхних 20 или 50 — тоже, видимо, относится к этому же предположению, что все ранжируют примерно одинаково и примерно одно то же.

Да у меня возражений особых и нет, ну вот такая методика, сравниваем выдачу «не зная» базы, ну да. Обоснование (пусть экспериментальное) в методологической статье было бы интересно увидеть, но не более того. Единственное возражение по сути заключается в том, что поисковики с подавлением дублей (частичных дублей, длинных цитат) и поисковики без оного — сравнивать путем подсчета релевантных документов в выдаче не вполне корректно. Ну так мы в эту игру все едино не играем, хрен бы с ней тогда.

Ну вот, это оно и есть. Выборки, доверительные интервалы и всё такое. 100 запросов из 30 000. Игорь, простите великодушно. Вы это ещё РОМИП троллите или уже аналайзвиз?

Ashmanov > почему не рассматриваются документы глубже верхних 20 или 50 Большинство метрик малочувствительно к документам, расположенным далеко от начала выдачи. Часто современные метрики пытаются оценить выдачу именно с точки зрения пользователя, который начинает просмотр результатов более-менее с начала. Как для живого пользователя в первую очередь интересно качество документов на самых первых позициях (или хотя бы на первой странице), так и метрики DCG/ERR/Pfound (и даже старенькая average precision) сильно зависят от нескольких первых результатов, и слабо реагируют на изменения за пределами первой двадцатки. Таким образом, если мы доверяем этим метрикам, то оценки топ-30 вполне достаточно в большинстве практических случаев. Вывод о достаточности глубины 20-30 делается исходя из здравого смысла и знания свойств метрик. Насколько можно доверять этим метрикам — другой вопрос. Вроде бы на ведущих IR-конференциях принято считать, что доверять можно. Известны попытки посмотреть, как та или иная метрика коррелирует с «удовлетворенностью» пользователей, но сделать какие либо определенные выводы из подобных экспериментов затруднительно. На ромипе эти метрики используются, поскольку ничего лучше пока никто не придумал. > Это, как мне кажется, указывает на то обстоятельство, что сравнивать на дорожках с общим котлом можно те технологии, которые делают примерно одно и то же. А если кто-то выбивается полностью, на 100%, то будут разные нехорошие эффекты в дорожках. Я не прав? Не совсем. Метод общего котла гарантирует, что первые N документов каждого участника по каждому запросу будут рассмотрены асессорами. Если кто-то сильно выбивается, то его выдача в пределах первых N документов все равно будет полностью оценена. При этом чувствительность основных метрик находится ниже числа оцениваемых документов. В принципе, для особо сомневающихся на ромипе рассчитываются также метрики, ограниченные по глубине тем самым числом N. В таком режиме мы как бы делаем вид, что размер поисковой выдачи ограничен числом оцененных документов (например, 20). Таким образом, расчет метрик производится только по полностью оцененным выдачам, и ни одна из систем гарантированно не получает преференций или штрафов за похожесть/непохожесть на других. P.S. А насчет суетящихся на дорожках инвалидов, вы бы, Игорь Станиславович, лучше бы все же извинились. Перед участниками.

Извиняться не вижу причин. Пояснить высказывание могу. Это высказывание не относится ко всем участникам. Однако я знаю достаточно много участников, которые ни сколько-нибудь существенной технологией, ни заметным продуктом не обладают. Это те же люди или подобные тем, кто на конференциях типа Диалога рассказывает унылые статьи о том, как они померили что-то на массиве из 100 новостей или как они классифицируют документы методом, который они вычитали в статье, скачанной из Интернета год назад. Обычно из статьи не следует никаких выводов или открытий. Просто «ну ква!», как в известном анекдоте про говорящую лягушку. В научном мире таких много и Бог с ними. Среда терпит. Но когда они соревнуются на одной поисковой дорожке с чемпионами типа Яндекса — извините.

Игорь, простите великодушно. Вы это ещё РОМИП троллите или уже аналайзвиз? Да всех подряд. Невидимая рука бога рынка рассудит, кто грешник, а кто праведник.

Ashmanov лает, а РОМИП идет… Ради красного словца, не пожалеет ничего. Следует учитывать, что Ashmanov давно уже сам не лингвист, не прикладной лингвист, а так — бизнесмен (и до самого недавнего времени числился младшим научным сотрудником ВЦ РАН), который сегодня скажет одно, завтра другое. Что-то про лингвистику он еще помнит, но немного. Его бизнесы с лингвистикой — убыточны. Прибыльны бизнесы без лингвистики. Чего его слушать про это? Какие то сказки про «синтаксический разбор предложений»,…, «восстановление анафор и эллипсисов» — неужели сам верит, что его Диктум все это делает хоть сколько-нибудь нормально? Рассуждения по пул — детские — почитайте исследования, наконец. Не позорьтесь — для «знатока» должны бы знать. Задания РОМИП не сложные. Люди Ashmanov’а в прошлом году точно брали данные и вроде собирались участвовать. Но не смогли. Или смогли, но показали результаты хуже и решили не открывать. В любом случае без этого именно «многолетний флекснум» = УГ. У РОМИПа много проблем. И он некоммерческий. Цель — ставить задачи, уточнять постановки, уточнять критерии оценки. «Дорожки», «соревнование» — это инструмент. На практике РОМИП немного оздоровил атмосферу в отрасли по поводу того, кто «лучше ищет», у кого «самая чудодейственная технология». Все стали более аккуратнее в высказываниях — кроме Ashmanov’а, конечно. У которого, каждые полтора-два года новые «открытия», сдувающиеся еще через год . Если начать вспоминать — аппликата, блондинка, новотека (которая новости), инфы — все не упомнить, хотя мозги конопатились, будь здоров. Возвращаясь к начальному посту. Вот сделали люди нечто новое — и как оценить? Причем только запустились, как отличить проблемы роста от проблем технологии? Можно послушать людей с распальцовкой и понтами, да еще уязвленных тем, что их технологии проигрывают новому конкуренту в чем-то. Или обсуждать с более взвешенных позиций, выработка которых и есть, собственно, цель РОМИПа. А пока сам в РОМИП или в чем-то независимом хоть что-то не показал — все это болтовня пустая.

Врёте много, но некоторые перлы особенно удачны. Вот, например: (и до самого недавнего времени числился младшим научным сотрудником ВЦ РАН) Вот это жесть, да. Инсайд, б.п. Какое же это недавнее время? И какая всё-таки должность? Люди Ashmanov’а в прошлом году точно брали данные и вроде собирались участвовать. Покажите переписку, что ли. Вы ж оттуда откуда-то, при РОМИПе как-то тусуетесь? Я такого что-то не помню. Мы в РОМИПе никогда не участвовали и не собирались даже. Что-то про лингвистику он еще помнит, но немного. Да, старость не радость, склероз измучил. Есть такая поговорка: я про лингвистику забыл больше, чем вы смогли узнать. Чего его слушать про это? Какие то сказки про «синтаксический разбор предложений» Да-да, не бывает же синтаксического разбора, это всё мошенничество. Ну вот как разобрать ваше предложение, если вы «какие то» без дефиса пишете? Слушать и не надо, надо вот здесь почитать, попросить демо. http://www.dictum.ru неужели сам верит, что его Диктум все это делает хоть сколько-нибудь нормально? Ну да, я же доверчивый. Даже купил эту компанию. Причём вокруг меня повелись ещё десяки людей, ну и клиенты тож. Ну ладно, это всё пурга. А вот это, похоже, главное (видать, это очнулся кто-то из разработчиков Ингейта): Вот сделали люди нечто новое — и как оценить? Причем только запустились, как отличить проблемы роста от проблем технологии? Действительно, как оценить? Очень просто оценить, дорогой специалист Ингейта. Вы же даёте пробный доступ на две недели. Кстати говоря, есть же уже дорожка по анализу мнений, опубликована же вчера — регистрируйтесь, коллега: http://romip.ru/ru/2011/tracks.html

@Можно послушать людей с распальцовкой и понтами, да еще уязвленных тем, что их технологии проигрывают новому конкуренту в чем-то. @ О, вот это конкретно. А что там проигрывает?

А, вот мне в почту написали про случай, когда кто-то из наших брал данные РОМИПа. Это были люди не из АиП, а из Поисковых технологий, в 2009 году. Брали не под участие, так посмотреть, погонять Флексум, видимо, на тестовых данных. Участвовать и они тоже не собирались, как мне пишут. Так что да, было дело.

Брали не под участие, так посмотреть, погонять Флексум, видимо, на тестовых данных. Переведите. Что такое «погонять на тестовых даных»? Я думаю — сравнить результаты Флексума с оценками РОМИПа. Сравнили, наверное, не так уж много текстов. А что-то результаты не показали. Дальше только конспиралогия. Результаты были замечательные, но люди, которые очень любят пиариться, решили тут проявить скромность… Это были люди не из АиП, а из Поисковых технологий, в 2009 году. Надо будет уточнить при случае — а кто подписал бумагу. Могу ошибаться, но мне когда-то говорили, что некий Ашманов И.С. Наверное, Ваш однофамилец из Поисковых технологий.

Я вообще не знаю, что тестировали и какие там были результаты. Это не имеет значения. Потому что с Флексумом не было никакого вопроса с качеством поиска, там была и есть проблема с бизнес-моделью. Там порядка 10 000 пользовательских поисков, в которых «качество» вообще не очень важно — поиск и так идёт по чистым подготовленным данным. Однако, как сделать, чтоб было много трафика, чтоб владельцы поисков не платили денег, а зарабатывали — мы пока ниасилели. Зачем в ПТ брали данные РОМИПа, какие именно и что тестировали, не знаю, могу ещё поспрашивать, хотя тот, кто брал, сейчас работает в другой компании, делает там известный поисковик. Подписывал наверняка я, как формальный гендиректор ПТ, только я — Ашманов И.С., а не А.С. Поскольку это было два года назад, то я не помню, естественно. У меня по 40-50 договоров и актов только с утра лежит на столе. **************************** У вас я вижу, по-прежнему очень сильна иллюзия, что тестирование чего-то в РОМИПе или даже просто на данных РОМИПа может как-то помочь в пиаре и маркетинге, а если типа, всё плохо, упало на дорожке — то сильно повредить. В реальности РОМИП — это такая странная штука для гиков, местечковая и анонимная, до которой никому нет дела и о которой почти никто не знает. Хвалиться ею при продаже — только вредить делу, посмотрят как на идиота и постараются отделаться. Вам же выше объясняли: это дубинка для своих разработчиков. Якобы это способ улучшить технологии, но мне это крайне сомнительно. Ещё способ потратить время и силы на странный пиар в аутичной тусовке из пары сотен человек максимум. И в этом-то и есть отличие от Вирус Бюллетеня, который известен всем в индустрии ИБ, и реально влияет на маркетинг. По нему действительно выбирают поставщика. Да что там — по рейтингу Теглайна и то выбирают поставщика.

А вот это, похоже, главное (видать, это очнулся кто-то из разработчиков Ингейта): Вот сделали люди нечто новое — и как оценить? Причем только запустились, как отличить проблемы роста от проблем технологии? Действительно, как оценить? Очень просто оценить, дорогой специалист Ингейта. Вы же даёте пробный доступ на две недели. Уважаемый, Игорь Станиславович. Сотрудники компании Ingate в настоящей переписке не участвуют. С уважением, директор по маркетингу Ingate Development Салтыков А.А.

Сотрудники компании Ingate в настоящей переписке не участвуют. С уважением, директор по маркетингу Ingate Development Салтыков А.А. В воздухе запахло парадоксом критянина!

У вас я вижу, по-прежнему очень сильна иллюзия, что тестирование чего-то в РОМИПе или даже просто на данных РОМИПа может как-то помочь в пиаре и маркетинге Формально результаты РОМИП не могут быть использованы в пиаре. РОМИП (да и любая независимая экспертиза) «используется» участниками для нескольких целей: * Самый дешевый способ себя перепроверить (=дубинка для разработчиков, причем самая дешевая). * Уточнение постановки задач — практически все «широко обсуждаемые» задачи IR неправильно поставлены — их решение в стандартной постановке невозможно выше бессмысленного для практики уровня. Причем каждый неофит говорит о 99% качестве, что обычно — наглая ложь. В результате TRECов и РОМИПов находятся реальные пределы и ограничивающие факторы. Далее эти знания используются при проектировании реальных продуктов. То есть достаточно получить приемлемый уровень (см. «морфология»), а дальше можно и не тратить усилия (что полезно для любой фирмы). А недостатки технологии обработки дотягиваются организационными или интерфейсными решениями — по сути, новыми постановками задач. * Косвенно — отсекаются гопники, которые определяются как раз по бравым неадекватным речам. а если типа, всё плохо, упало на дорожке — то сильно повредить. За это не ругают — ошибки бывают у всех. Тут важен процесс. Во всех соревнованиях: TREC, CLEF, РОМИП — результаты участников растут год от года, сходясь к окрестности максимума возможного для решаемых задач. В реальности РОМИП — это такая странная штука для гиков, местечковая и анонимная, до которой никому нет дела и о которой почти никто не знает. Хвалиться ею при продаже — только вредить делу, посмотрят как на идиота и постараются отделаться. Это не так. Конечно, ранее выполненные проекты важнее. Но совсем не вредит, что предлагаемые решения прошли независимую экспертизу.

Формально результаты РОМИП не могут быть использованы в пиаре. Подождите, вот тут вот, выше по треду, разве не этим самым занимаются? Ну, там где эти, критяне, которые не участвуют в переписке. И что, им теперь пальчиком погрозят, да?

за фразу И на Ромипе мы cо своими лингвистическими алгоритмами занимали места ругать не будут Ругают за примерно такое: «наши алгоритмы лучше чем алгоритмы компаний Х,У и Z» — пока угрозы опубликовать контр-объяснение хватало. Можно примерно так «наши алгоритмы в специфических условиях РОМИП показали лучшие результаты чем экспериментальные алгоритмы других участников».

@И на Ромипе мы cо своими лингвистическими алгоритмами занимали места@ Второе из двух участников!! Или даже первое из двух участников!!!! Но зачем уточнять? Кому это будет полезно?

ну иногда их бывает и больше http://romip.ru/romip2009/01_organizers.pdf (стр.7) Ну и, как не странно, даже «второе из двух» не так плохо — это второе из двух тех, которые готовы были представить свои алгоритмы на независимую экспертизу. Так как дорожки открыто объявляются — это может восприниматься, что других либо нет, либо они боятся :) Вот, например, сейчас обсуждается сравнение синтаксических парсеров — несколько «основных» участников говорят: «а мы вообще не понимаем зачем сравнивать» — у нас лучше всех! То есть типичная ситуация — у нескольких игроков (вполне успешных в плане реализаций конкретных проектов) — «лучше чем у других». А новые игроки, быть может тот же ашмановский Диктум на самом деле лучше — но как узнать?

«а мы вообще не понимаем зачем сравнивать» О, смотрите-ка. Тот же вопрос опять возник, на склоне дискуссии, прямо удивительно. Причём в довольно чистой ситуации — вряд ли кто-то из обладателей синтаксического парсера собирается его продавать. Это внутренняя технология, без коммерческого применения. Но вопрос «зачем» всё равно остаётся. Пока, как мне кажется, здесь на него не было дано удовлетворительного ответа. Этак вы предложите и машинные морфологии тестировать, чего доброго.

Познавательно, кстати, про РОМИП-2009: Не обошлось и без накладок: * По решению организаторов былы отменены дорожки по кластеризации новостного потока и фактографического поиска по новостной коллекции, несмотря на наличие желающих принять в них участие. Нам не хватило ресурсов на подготовку инструмента для оценки и формирование правил проведения этих дорожек. * Дорожки поиска похожих документов и поиск по смешанной коллекции были отменены в связи со сходом заявившихся участников. * Отменена дорожка вопросно-ответного поиска, поскольку результаты сдал единственный участник. * Задержка графика предоставления результатов оценки участникам. В частности, оценка по дорожке контекстно-зависимого аннотирования не завершена к моменту публикации трудов. * Технические накладки при проведении оценки нескольких дорожек (поиск по нормативной коллекции, поиск по KM.RU), что внесло дополнительный шум в результаты. Знаете, в принципе нормальный перечень проблем, честный и открытый. Ну да, не все асилели, нормально. Но как только я вижу слабые следы реальной ситуации, например, упоминание КМ.ру, мне снова хочется высказаться про инвалидов. Вы вот в ЭТОМ предлагаете участвовать, с КМ.ру? Ага, щас.

Игорь, насколько я помню, КМ.ру — это такая коллекция текстов. Всего лишь.

Ну может быть. Или также и участник (ведь неспроста они дали свою коллекцию?). А это такой участник, с которым на одной дорожке типа это.

Но вопрос «зачем» всё равно остаётся. Пока, как мне кажется, здесь на него не было дано удовлетворительного ответа. Попробую ответить — «зачем» это для Вас лично. Нет уверенности, что Вы в силу свойств своего характера поймете меня, но Вы спросили — я отвечаю. Возглавляемый Вами куст компаний вызывает симпатию периодически-постоянным выпуском вполне себе инновационных продуктов — сегодня часть из них называлась. Однако абсолютное большинство этих симпатичных проектов быстро умирает, очевидно, принося убытки, или не принося ожидаемой прибыли. Мне кажется, что часто это предопределено еще при запуске. В силу недостаточной информированности, опыта и прочих причин многие Ваши проекты содержат «родовые» ошибки, которые, возможно, могли бы быть исправлены, если бы кто подсказал. Причем не потому, что советчики умнее, но просто больше видели или читали в этой области. Но, действительно — зачем? В текущей ситуации прикольнее смотреть как все загибается через годик. По фирменному «ашмановскому» объяснению — «попался плохой менеджер». Так вот — вынос соответствующей темы на обсуждение в профессиональную тусовку — может быть Вам просто выгоден. Хотя бы для минимизации убытков. При этом конкуренция маловероятна. Во-первых, места пока всем хватает. Во-вторых, у Вас преимущество времени. Например, сейчас, кажется, стагнирует вьетнамский проект. В смысле удастся ли Гугл отжать — не понятно. А лимон-то уже потрачен, а то и больше. При этом и Яндекс ищет по-вьетнамскому интернету и лезет в турецкий. Чуть-чуть и разные российские компании захотят полезть в другие интернеты. И тут можно было бы уменьшить риски, запустив дорожку в РОМИП, или поучаствовать в CLEF или NTCIR — на РОМИПе свет клином не сошелся. Но, конечно, стоя в гамаке — оно интереснее.

Поразительные юговосточные тараканы у вас в голове празднуют свои праздники. Ну если не знаете — ну зачем выдумывать? Выше вы уже врали-врали, назвали меня лингвистом зачем-то, потом младшим научным сотрудником, потом вообще бизнесменом обозвали… Сейчас запал приврать вернулся и вот вы давай поливать… Кто там у нас загибается? Да ещё через год? Дайте примеров, что ли? Как может «стагнировать» еще не запущенный вьетнамский проект? Поразительно, дай советскому интеллигенту волю, он придумает другую реальность. Но в отличие от Средиземья, в ней будет одно говно. Так интеллигенту приятнее. Ну да ладно. Из содержательного. Я понял так: если на заре, на этапе запуска проекта поучаствовать в РОМИПе, это может сильно, кардинально помочь коммерческому успеху проекта! Вот это угар, я понимаю. Вот это вещества. А мужики-то не знают, что им положен коммерческий успех! Ну и кто там у нас участники РОМИПа, много среди них коммерчески успешных проектов? Известных, оглушительно успешных? По-моему, концентрация в выборке несколько пониже концентрации на улице. Те, кого я знаю (кроме Яндекса) — пожалуй, скорее могут быть названы, в американском стиле, неудачниками. Мне кажется даже, что участие в РОМИПе — это фактор. С отрицательным весом. Потому что видно корреляцию. Похоже, родился полезный совет для стартапов в области ИИ и прикладной лингвистики: экономьте, думайте о пользователе, найдите хорошего инвестора, много работайте и НИКОГДА, слышите — НИКОГДА не участвуйте в РОМИПе, а то станете козлёночком.

О как задело Ашманова! И как человек, поднаторевший в кухонных спорах (даже аргумент типа — «еще шляпу одел»), он сразу стал переводить стрелки. Кажется мы обсуждаем наукоемкий бизнес. В каждой стране он соответствует масштабу страны. В РОМИП участвует мелкий бизнес, исследовательские подразделения корпораций, лаборатории вузов и отдельные исследователи. Если объединить их (без Яндекса-Мейла) проекты, то окажется, что они вполне востребованы руководством страны, большинством министерств, основными корпорациями и банками, ну и, конечно, спецслужбами (куда же без них). Список этот расширяется. Участники «широко известны в узком кругу» названных организаций. Люди учитывают интересы заказчиков и не орут о проектах на каждом углу. (Они вообще тихо работают и не пишут обычно с утра до ночи по форумам). Это достаточно честный бизнес, соответствующий масштабу нашей страны. И они деньги инвесторов не просирают, как некоторые просрали деньги Медиалогии, Рамблера (ведь Ваша подпись стояла на всех финансовых документах — и когда не хватало компьютеров в Рамблере, о чем так трогательно в книжечке написано — это Ваша вина). Сейчас Вами просирается вьетнамский проект. В Вашем случае это будет, конечно, яркий запуск, красивые интерфейсы, шумный пиар и … большие финансовые потери, причем в основном не Ваши. Ну тут дальше главное быстренько еще что-нибудь новое-самое-важное-что-перевернет-мир выкатить. Иду закупаться попкорном, смотреть дальше на это. Кто там у нас загибается? Да ещё через год? Дайте примеров, что ли? У Вас успешны бета-новотека (так сразу бы порнухой торговали), изготовление сайтов и сео. Была коммерчески успешна сомнительная сделка (думаю, современная ЛК просто в восторге…) по продаже Спамтеста. А насколько успешны в финансовом плане проекты аппликата, блондинка, флексум? Что у Вас наукоемкого-то прибыльно? Не громко пропиарено, а прибыльно?

Изготовление сайтов?

Подпись Ашманова на финансовых документах? Дайте мне такой травы!

lexa > Да у меня возражений особых и нет, ну вот такая методика, сравниваем выдачу «не зная» базы, ну да. Возможно, описанная методика не идеальна, но она является общепринятой. Если у вас есть способ лучше, и при этом вы можете научно обосновать его преимущества и практическую применимость, то best paper award на конференции sigir у вас практически в кармане. > Единственное возражение по сути заключается в том, что поисковики с подавлением дублей (частичных дублей, длинных цитат) и поисковики без оного — сравнивать путем подсчета релевантных документов в выдаче не вполне корректно. Это как раз вообще не проблема. Все вопросы о методике проверки принято решать до проведения самой дорожки. Если все договариваются, что нужно давить дубли, то оценка производится с учетом этого. У меня сложилось впечатление, что суть ромипа не совсем очевидна многим участвующим в разговоре. Кажется, некоторые представляют, что участники поисковых дорожек действительно соревнуются с яндексом. Отсюда и насмешки Игоря Станиславовича над теми, кого он называет «инвалидами». Неуместность этих насмешек объясняется ошибочным восприятием как соревнования тех вещей, которые соревнованием не являются. Это как если бы сказать, что по сравнению с Биллом Гейтсом Игорь Станиславович является нищим голодранцем, суетливо собирающим в дорожной пыли свои копейки. Сравнение верное по сути (т.е. оно в целом неплохо передает соотношение между сравниваемыми объектами), но бессмысленное (поскольку ни Игорь Станиславович с Биллом Гейтсом, ни Билл Гейтс с Игорем Станиславовичем не соревнуются) и при этом некорректное по форме. Ромип не предполагает соревнование участников. Это не забег «Вася Пупкин против яндекса». Это даже не соревнование технологий. Разумеется, вменяемые участники понимают, что помимо способности проиндексировать несколько сотен гигабайт и способности находить что-то в этом индексе от нормальной поисковой системы требуется масса других вещей, не учитываемых в дорожке. Ромип является площадкой для сравнения алгоритмов. Участнику может быть вообще неинтересно сравнение с другими участниками — он может просто сравнивать разные варианты своей собственной ранжирующей формулы. Участники специально поставлены в такие условия, когда все прочие факторы (например, производительность) удалены из сравнения, а оценивается, скажем, лишь способность некого алгоритма находить релевантные документы с помощью текстовых факторов. Зачем это нужно участникам — это уже другой вопрос, который лучше задать им самим. Кстати, задайте, Игорь Станиславович, если действительно интересно. Например, в результате участия в дорожке можно лучше понять, как именно работает тот или иной алгоритм, как его можно улучшить. Можно понять, что алгоритм хорошо выглядит на фоне алгоритмов других участников. И обо всем этом можно рассказать коллегам в виде статьи. В результате общее количество знаний в индустрии возрастает, и никто не уходит обиженным. Но это, вероятно, лишь одна из возможных мотиваций. Бывают, конечно, товарищи, которые начинают что-то там говорить про «подтверждение высокого качества наших технологий» и даже про то, что наша система «немного лучше других» (как вот давеча высказался товарищ из ингейта). Но это — обычные неодушевленные маркетинговые балаболки, чего уж с них взять.

ну вы там в своем экс-Рамблере разберитесь чьи там подписи где стоят — я-то только читатель в данном случае [url=http://]http://www.forbes.ru/tehno-opinion/internet-i-telekommunikatsii/69024-v-proekte-whoyougleru-ya-realizoval-o-chem-ya-mecht[/url] Я, внимательно читая эту книгу, так и не понял. Куда девались деньги, я так и не понял. Зато вокруг главного героя в белой одежде (исполнительного директора), чья подпись стоит на всех денежных документах, существует огромное количество мерзавцев, придурков, жуликов, которые компанию разваливают. При этом не видно, какое количество миллионов досталось этим мерзавцам, придуркам и жуликам. Самый простой вопрос, который мог бы себе задать думающий человек при чтении «Жизни внутри пузыря», — «Как ты, исполнительный директор, допустил возникновение финансовой дыры?».

Я, внимательно читая эту книгу, так и не понял. Куда девались деньги, я так и не понял. Это же пишет «президент Рамблера», который его возглавлял несколько лет и тоже подписывал? Удивительное дело, да!

Все-таки про РОМИП: Если у вас есть способ лучше, и при этом вы можете научно обосновать его преимущества и практическую применимость, то best paper award на конференции sigir у вас практически в кармане. В смысле? То, что «метрики по всей коллекции — полезны» — нужно доказывать и за такое доказательство дадут шоколадную медаль? Вы это сгоряча, я надеюсь. Все вопросы о методике проверки принято решать до проведения самой дорожки. Если все договариваются, что нужно давить дубли, то оценка производится с учетом этого. Ага, но что будет, если качество подавления дублей (и вообще — само понятие дубля) у испытуемых разное? При наличии дублей (близких документов, длинных цитат) — для получения высокой оценки может оказаться выгодно эти самые дубли не давить (ну то есть можно построить такие коллекции и такие запросы, где это так).

Подпись Ашманова на финансовых документах? Дайте мне такой травы! Да, здесь пурга ещё та. Но основное — опять в одной фразе. Прямо сеанс саморазоблачений. Это где речь о спецслужбах и тихой работе, без шума. Вчитайтесь ещё раз в этот замечательный пассаж: …они вполне востребованы руководством страны, большинством министерств, основными корпорациями и банками, ну и, конечно, спецслужбами (куда же без них). Список этот расширяется. Участники «широко известны в узком кругу» названных организаций. Люди учитывают интересы заказчиков и не орут о проектах на каждом углу. Я поясню, что это значит. Люди, которые годами делают в своей «лаборатории» некое УГ (типа собственного поиска, анализа оперативных сводок, поиск экстремизма и т.п.), для уговаривания тихих серьёзных заказчиков (которые не очень компетентны в данной узкой области) — видимо, используют в том числе и РОМИП, а также другие разные басни, сказки и страшилки. Я приведу пример того, как это может звучать на тихих беседах с «заказчиками». Я наблюдал такую историю воочию. Давно уже было, можно рассказать, мне кажется. Меня осенью 2008 пригласили поговорить к министру Щёголеву про национальный поисковик. Поскольку я уже аналитическую записку про НПС написал за месяц до этого (я предлагал как лучший вариант купить Рамблер у Профмедии и вложить в него денег) и делать НПС сам УЖЕ не собирался, я пошёл только потому, что пригласили к министру. Там был Серёга Андреев, из ABBYY, со своей главной лингвисткой, кажется, и Владислав Рудников (КМ.ру) с Сергеем Татевосяном, главным разработчиком их поиска. Ну и я. Буквально с полуоборота Рудников с Татевосяном стали говорить министру, что Яндекс и Гугл почиют на лаврах, все инновации у них закончились давно, в 2006 году примерно, они стагнируют (то же самое словечко, что выше, кстати), вообще новых технологий поиска не выпускают. А вот КМ.ру, если дать ему эти планируемые 100 мегабаксов, даст невероятный инновационный проект. И обгонит Яндекс только так. То есть все инновации УЖЕ есть, проблема только с деньгами на технику. Причём это всё почему-то каким-то детским, наивным языком, как будто министр слабоумный ребёнок. Угар, в общем. Я прямо ушам своим не поверил, такой это был абсурд. Я какое-то время сдерживался, потому что это было не моё дело, и я не собирался конкурировать в этом «тендере», и молчал себе. Но когда меня Щёголев спросил прямо о моём мнении, я ответил, что это всё чушь и наглое враньё, что Яндекс набрал такой ход, что выпускает новые фишки и примочки к поиску каждую неделю, что там 300 программистов только на поиске и свалить их нельзя вообще. Можно оттеснить в Рунете Гугл, в крайнем случае, который между тем тоже непрерывно развивается и тоже набрал уже огромную скорость. То есть построить поисковик Рунета номер 2 — можно, но это трудно, небыстро и недёшево. А номер 1 — вообще уже поздно. Спросил уж их заодно, почему на КМ.ру стоит в качестве поисковика не свой великий поиск, а Гугл, если он такой стагнирующий. Ответа не последовало (точнее, что-то насчёт нехватки техники было сказано). Коллеги были неприятно удивлены, даже шокированы. Кто ж так себя ведёт, что, я не понимаю, что ли, что это важная встреча, бизнес у людей, а не просто поговорит собрались. Мне в коридоре потом знающие люди в теме сказали: ну чего ты, ну включайся, давай делать все вместе, ну не нападай на них, тут всем хватит. В общем, вышел я раздражённый и с тех пор про «поиск от КМ.ру» прямо кушать не могу, такую неприязнь испытываю. Ну и я не сомневаюсь, что такие разговоры происходят с другими «серьёзными» государственными заказчиками. И если ещё и РОМИП там в качестве аргумента…

lexa > В смысле? То, что «метрики по всей коллекции — полезны» — нужно доказывать и за такое доказательство дадут шоколадную медаль? Вы это сгоряча, я надеюсь. Я написал, что шоколадку дадут только тому, кто предложит практически реализуемый метод. Вы же, насколько я понимаю, предлагаете оценить все документы в базе по каждому из запросов. Я прав? Если прав, поинтересуйтесь как нибудь, сколько стоит такое удовольствие для базы хотя бы в десяток миллионов документов и хотя бы для тысячи запросов. Если же я не прав, и вы имели в виду что-то другое, то давайте вы немного более формальным языком сформулируете, что именно. Просто в этой области есть устоявшаяся терминология, и я не совсем уверен, что хорошо понимаю, что подразумевается под словами «метрики по всей коллекции». Какие конкретно метрики, как именно их рассчитывать, какие документы оцениваются и сколько их оценивается. Впрочем, если не уверены, что вам это надо — лучше не продолжать. > Ага, но что будет, если качество подавления дублей (и вообще — само понятие дубля) у испытуемых разное? При наличии дублей (близких документов, длинных цитат) — для получения высокой оценки может оказаться выгодно эти самые дубли не давить (ну то есть можно построить такие коллекции и такие запросы, где это так). Вы вот все пытаетесь воспринять ромип в терминах пузомерки. А он не про это. Вот я пишу: все участники договариваются про дубли до начала дорожки. Допустим, все договорились, что давят дубли, причем разметка что является дублем, а что нет присутствует в самой базе (т.е. однозначна). А вы спрашиваете — а что будет, если я все же не буду давить дубли? Ну, получите вы прогон, не сравнимый с прогонами других участников. Никаких новых знаний вы не обретете. Хотя, конечно, метрики будут показывать более высокое значение качества для вашего алгоритма. Но ведь способов обмануть себя существует бесчисленное количество, и зачем выбирать такой сложный, с помощью ромипа? Вы буквально спрашиваете — а что будет, если на марафонскую дистанцию рядом с прочими бегунами поставить мотоциклиста. Будет то, что он приедет первым. Ничего нового вы не узнаете. Хотя, конечно, если ваша цель была победить в марафоне любой ценой — она будет достигнута, пусть и идиотским способом. Ромип — это исследовательская площадка, лаборатория для проведения экспериментов. Она позволяет сравнить то, что можно сравнить, и таким образом выяснить какие-то новые свойства реальности. Чтобы провести корректный эксперимент, нужно соблюдать некоторые принципы. Об этих принципах договариваются до начала эксперимента. Простите, что пишу такие очевидные вещи, но никак иначе на ваши вопросы ответить нельзя.

lexa, Да, метрики по всей коллекции — бесполезны. Если доказать обратное то все будет мягко говоря удивлены. Что вы собираетесь измерить такой метрикой и почему она будет более точна чем существующие при одинаковых затратах? Дубли никто не выкидывает при сравнении ранжирования. Традиционные IR метрики не учитывают дубли. Наоборот дубли к первым документам или просто похожие на них документы повыше подтягивают.

Ромип — это исследовательская площадка, лаборатория для проведения экспериментов. Она позволяет сравнить то, что можно сравнить, и таким образом выяснить какие-то новые свойства реальности. Ну да, естественно. Но как будто автор технологии не ставит достаточно масштабных экспериментов у себя, in house. Как при тестировании, так и при реальной эксплуатации. Приведу два примера 1) По «отчету РОМИП за 2009» (тут выше есть ссылка на PDF), поиск по базе юридических документов. Один из ассессоров (профессионал в предметной области) поставил другие оценки т.к. он «в теме» и признавал нерелевантными устаревшие версии, триальные версии (в смысле — проекты) и так далее. И это — правильно. Только не имеет отношения к «поиску текстов», потому что юридический поиск — это поиск структурированной информации (у документа есть типы, номера, даты действия и так далее). С практической точки зрения, «выигрывать» (т.е. получать более высокие оценки) должен поисковик, который все эти метаданные знает. Только вот такой спец-поисковик и будут кормить уже размеченными текстами, а с просто текстовым массивом (полученными из РОМИП) он не умеет. Вопрос: зачем мог бы быть нужен такой тест? К практике он не имеет отношения. Оценки ассессоров «не в теме» — тоже неинтересны. А для оценки «в теме» нужен другой тест. 2) Тоже поминавшийся выше тест на opinion mining. Предлагаются несколько крупных классов объектов (фильмы, цифровые камеры) и массивы отзывов. Ну вот на массивы отзывов по ЦФК я посмотрел (прямо на Я-маркете, по моделям камер), особенно с негативным рейтингом, поржал. Как мне кажется, никакого ручного до-обучения на таких объемах (все фильмы, все модели ЦФК) никто делать под РОМИП не будет слишком много и слишком дорого. Вопрос: а что мы сравниваем то? То есть я тут вижу следующее противоречие: * «дешевые» тесты, вроде просто поиска просто по текстам, можно, казалось бы, сделать и самим. К реальности они будут иметь косвенное отношение т.к. тестирую простые вещи, а на рынок сейчас надо идти со сложными. * что-то привязанное к предметной области (юридический поиск, анализ отзывов на ЦФК) — если участник уже занимается данной предметной областью, то у него уже есть размеченные массивы данных, специализированные именно под него — и без этой разметки, на чужих данных, хорошо не получится. А если не занимается, то заниматься тем же извлечением атрибутов юридического документа из просто текста — дорого и глупо. То есть проблема в том, что с одной стороны хорошо бы иметь полезные в реальной жизни метрики, а с другой — приемлемые усилия по подготовке данных и по их всасыванию участниками. А тусовка, да, тусовка полезна, конечно. И что задача плющить собственных разработчиков тоже может возникнуть — я теоретически понимаю.

lexa, Да, метрики по всей коллекции — бесполезны. Если доказать обратное то все будет мягко говоря удивлены Вот блин. В антиспаме (который, по сути, есть поисковик спама по коллекции/потоку) — полезны. А в каком другом поисковике — нет? Полнота совсем никому не интересна, ага? Про дубли тоже отжыг. IR-метрики — не учитывают дубли. А если вывалить пользователю Топ10 одних дублей, он будет несчастлив. В чем проблема, в пользователе или в метриках?

Cлушайте, а не движет ли всем поведением г-на Ашманова зависть, или даже ревность? Когда он заходит в Минсоцзравразвитие со своим «ТакЗдорово» — это хорошо. КМ заходит в Минсвязь — это УГ. Когда он занимается экстремизмом (http://www.e-xecutive.ru/knowledge/an.. ./1440933/) — это хорошо. Когда другие (и кто только не занимался, начиная с MUC-6, кажется) — это УГ. Когда Ашманов сотрудничает с МВД (где-то рассказывал, что даже форму одевал) — это хорошо. Когда другие — несомненное УГ. Вообще, когда Ашманов что-то делает в стране — он патриот, ненавистник американского. Когда другие — это УГ, лузеры «по-американски». Просто чудо, интересно аблюдать эту, э-э-э…, раздвоенность сознания. Но насколько же надо делить авторитетность такого мнения? Кажется, со временем, коэффициент только растет. Кстати, сюда же, собственно, предмет — когда Квибрум-Крибурм-Крибрум — это хорошо. Когда «Ingate Development запустил монитор соцмедиа и СМИ» — это УГ.

lexa Если честно, я не совсем понимаю, к чему эти вопросы. Вы начали с того, что заявили, что для оценки качества поисковой системы нужно сравненивать с идеальной выдачей. Вам показали, что вовсе не обязательно. Что общепринятый способ (например, метрика DCG или ERR) как раз не предполагает знание идеальной выдачи. Т.е. эта ваша претензия несостоятельна. Затем вы стали утверждать, что если какие-то релевантные документы не попали в топы и остались не оцененными — то это большая беда. Вам указали на то, что в большинстве случаев это не так, что разные прогоны можно корректно сравнить между собою без знания о тех релевантных документах, которые остались за бортом. Получается, и эта ваша претензия не по делу. Затем, не возвращаясь к предыдущим вопросам, вы усомнились, что глубина котла в 20 может быть достаточна для корректной оценки системы. Вам ответили, что в ромипе это предусмотрено, и есть метрики, которые рассчитываются только на глубину котла. Таким образом, и это ваше возражение ошибочно. После всего этого вы стали утверждать что все это называется методикой оценки «не зная базы». Что, видимо, означает, что методика ромипа все же «плохая». Вам ответили, что это лучший из практически осуществимых методов. Сформулировать четкие критерии альтернативной методики, которая была бы экономически целесообразна и давала бы разумные результаты, вы не пожелали. Т.е. выходит, что методика все же «хорошая». Далее, вы выдумали ситуацию, когда оценка будет не корректна при разном подходе у участников к подавлению дублей. Вам пояснили, что эти сомнения не имеют под собой почвы, поскольку методика тестирования оговаривается до начала дорожки, и что участники вольны поступать с дублями как им заблагорассудится, что никак не отражается на потенциальной возможности поставить разумный эксперимент и получить интересные результаты. Не возвращаясь к предыдущим вопросам (как бы «забывая» про них, этот прием в системе женской логики имени Беклемишева называют «отвергание аргумента») вы теперь справшиваете что-то новое про частные особенности дорожки поиска по нормативным документам. Конечно, существует рациональный ответ и на этот вопрос, но экстраполируя предыдущие раунды общения, я предполагаю, что сразу после этого последует какое-то новое сомнение или вопрос. У меня сложилось субъективное ощущение, что вы просто хотите тут любой ценой доказать, что методика ромипа плоха, и хватаетесь за первое, что попадется под руку. Т.е. задача состоит не в том, чтобы выяснить истину, а в том, чтобы любым способом настоять на приятной вам точке зрения (в той же системе женской логики это называется «принцип абсолюта»: Если из высказывания P следует Q, и Q приятно, то P истинно). В таком споре (когда ошибочность предыдущих сомнений как бы замыливается, а новые генерируются произвольным образом в произвольном количестве) последнее слово будет, очевидно, за тем, у кого больше свободного времени — и это буду не я. Чтобы завершить тему про методику ромипа, скажу лишь, что любые осмысленные/научнообоснованные предложения по улучшению методики принимаются там с благодарностью. Если у вас есть что предложить по делу и аргументированно, то вы всегда можете это сделать. Если же ваша цель состоит в том, чтобы во что бы то ни стало доказать, что ромип плохой, то я вас без труда опроверну с помощью вашей же логики: просто сказав, что ромип — хороший.

Cлушайте, а не движет ли всем поведением г-на Ашманова зависть, или даже ревность? Да, такая ревность мучает к КМ.ру, что просто ужос. Прям так завидую этому великолепному, выдающемуся, блестящему ресурсу с его удивительными инновационными поисковыми технологиями! Я до встречи с этими ребятами в кабинете Щёголева и знать их не знал. И я не уверен, что они «зашли в Минсвязь». Они пытались «зайти», наврав с три короба и не имея технологии. Но имея там приятеля в ранге замминистра, кстати говоря. Потому-то мне в коридоре и объясняли, что типа, под проект НПС эту лавку КМ.ру всё равно купят, а ты не заедайся, формально согласись на их участие в проекте, важные люди решат свои проблемы, а ты потом выбрось их технологии, да и сделай свой поисковик, всем будет хорошо. Тьфу. Я не захотел понимать, «как жизнь устроена», махнул рукой и пошёл заниматься своими делами, а они всё заходили и заходили, насколько я слышал. Вообще терминология «зайти в», кстати, очень показательная. Я вот в таких терминах не разговариваю и не думаю, а вот КМовцы или системные интеграторы, многоразные там пильщики и откатчики — наверно, думают. Меня бесит хамство и убогость. Басни про то, что Яндекс и Гугл, оказывается, уже много лет стагнируют и не имеют технологий. Расчёт на то, что чиновник глупый, ничего не знает и ни в чём не разбирается — бесит. А вот успехи Яндекса меня не бесят, как ни удивительно. Я к ним ревности не испытываю. Отчего так? Вам бы, из вашего узкого жлобского мирка доения «серьёзных заказчиков, руководства страны и большинства министерств», стоило бы иногда вылезать на солнце и воздух. Ну и врать поменьше, это вообще полезно. Чтоб вот такой херни не писать: Когда Ашманов сотрудничает с МВД (где-то рассказывал, что даже форму одевал) — это хорошо. Я никогда не надевал никакой формы, кроме школьной в начальных классах. Дайте ссылочку на рассказ, что ли? (Я-то знаю, про какой это случай речь, но помогать не буду.)

этот прием в системе женской логики Уличить Тутубалина в женской логике и вообще поучить его уму-разуму — это по-мужски. Как надо раздуться от самомнения для этого — даже думать не хочется.

BlastBeat, тут, собственно, подсовывают ссылочки, которые должны мне открыть глаза. Я их читаю, появляются вопросы, я их задаю. Получаю ответы, читаю. Задаю еще уточняющие вопросы. При этом, я — вовсе не в позиции «а не пойти ли мне на РОМИП» (было бы странно с цифровым фото), но абстрактный вопрос о том «а стоило бы вообще туда ходить, если бы я этим занимался» я, конечно, задаю сам себе. И ответ мой вроде уже прозвучал, но я могу его еще раз артикулировать: на какую-то «дорожку» не привязанную к конкретной предметной области, вроде «просто поиска по текстам» — может быть и да. С оговорками о применимости и полезности результатов к практике (см. про дубли и про полноту). Ну и о том, что свое тестирование уж всяко будет, для простых то данных. На «дорожку» к предметной области привязанную («юридические тексты», «мнения о цифровых камерах») — очевидно что нет, price/performance ratio совершенно негодное. За исключением случая, когда данная предметная область уже покрыта по какой-то причине, а данные РОМИПа подходят или практически без проблем натягиваются (но тогда это будет мотоциклист среди марафонцев). В процессе обсуждения у меня еще выродился текст в блоге, про академическую науку и реальность. По той тематике, которой я сам занимаюсь: http://blog.lexa.ru/2011/10/23/ob_aka…nauke.html Просто не мог пройти мимо аналогии. Несмотря на то, что работал в этой самой науке с 87-го по 2007-й с небольшим перерывом в 90-91-м.

lexa, полнота, измеряемая за такие деньги не интересна, да! В «поисковике спама» запрос один «это спам?» в обсуждаемой дорожке число возможных запросов неограничено. Поэтому совсем честную полноту никто не меряет в миллардных коллекциях ибо разоришься. Используется то или иное приближение. Если вы думаете, что показ хорошей выдачи и получение максимального скора по Average Precision это одна и та же задача, то вас ждёт жестокое разочарование. Не только дубли, но и diversity, актуальность, скорость ответа, спам и много чего ещё учитывается в реальной выдаче в отличие от специально упрощённой (в том числе и игнорированием вопроса с дублями) постановки задачи, используемой в РОМИПе и подобных дорожках. ashmanov, раздулись от самомнения это вы. lexa очевидно не догоняет и ему это пытаются объяснить. Ваше мнение «lexa не может тупить» (как обобщение «я не могу быть неправ») очевидно неверно

Подождите, ну так я о том же: академические метрики имеют косвенное отношение к «пользовательскому качеству». Отсюда и вопрос, в каких случаях имеет смысл проделывать эти упражнения с бревном. И ответ, как мне кажется, очевиден: — нужна практическая применимость академической метрики к практике («поплющить менеджеров»?) — затраты на участие должны быть приемлемыми при том, что результат получается близким к жизни (см. выше про конкретные предметные области). Конечно, если результат меряется как в исследовательском институте, количеством публикаций, то смыслы совершенно другие.

Лёха может, вероятно, что-то не догонять. Но не в этом обществе. Лёха с вами движется с одной скоростью только потому, что сознательно надевает гири на ноги. Иначе бы вы его и не увидели. Я думаю, что все беседующие с Лёхой не очень понимают реального смысла его вопросов и отвечают заученными формулами не на тот вопрос. После чего Лёха переспрашивает, задавая в другой форме тот же самый, настоящий вопрос, а вам кажется, что он не догоняет. Со стороны этот замкнутый круг очень хорошо виден. А создан он вашим самомнением и жестяной несгибаемостью.

Я повторюсь про «полноту по Лёхе» в поисковых дорожках на РОМИПе. Она близка к 100%, потому что коллекции маленькие, выбирать ответы особо не из чего и все находится той или иной системой. Проверялось вручную, на паре сотен запросов, с целью найти витальные и релевантные+, не попавшие в общий котел. Не нашли ни одного, запросы брали из самых длинных в словах. Так что если такие и бывают, то в крайне малом количестве.

Игорь, я тут зашел еще раз и охренел. К вопросу о бабках — спасибо за pr, признателен. А к вопросу о всяком фуфле, которое гонят якобы наши люди, то еще раз хочу заверить — не наши, официально и не официально, строго на строго запретили подходить к этой ветке, Саша Салтыков — единственный кто на крайний случай готов подключиться и проконсультировать по сервису, технологиям и функционалу, так что на личный счет ересь брать не стоит, пустое. А насчет технологий, господа, ну просто АбАлдеть можно, сколько у нас умных и страждущих общения в стране. Выпускайте поскорее ваши сервисы на рынок (на любой рынок) и презентуйте, очень интересно будет посмотреть на успехи! Никита Андросов (нижайше!)

А я вот тут зашел на РОМИПовский форум http://romip.ru/forum/viewforum.php?f=10 Смотрю по разделам, вижу что с апреля сего года какая-то активность была только в «Общих вопросах». Иду в общие вопросы, вижу там активность в одном топике, про Sentiment Analysis, еще одно сообщение за май, а остальное все март и старше. Оно вообще живое? Может мы зря тут труп пинаем?

Я повторюсь про «полноту по Лёхе» в поисковых дорожках на РОМИПе. Она близка к 100% Ой! Вот в одной из PDF-ок (см. выше по треду) приведен график. По оси Хэ там глубина котла, по оси У — количество новых (релевантных) документов. И оный график асимптотически приближается вовсе не к нулю, а к какой-то константе (разной для AND и OR). Из чего следует, что никакой «полноты 100% по мне» там нету. Вообще, меня данная дискуссия преизрядно развлекает. На один и тот же вопрос я получаю три разных ответа. Вот про полноту — она не нужна вообще — она не нужна, потому что слишком дорого — она и так есть. Удивительное дело!

Ой! Вот в одной из PDF-ок (см. выше по треду) приведен график. По оси Хэ там глубина котла, по оси У — количество новых (релевантных) документов. И оный график асимптотически приближается вовсе не к нулю, а к какой-то константе (разной для AND и OR). Из чего следует, что никакой «полноты 100% по мне» там нету. Хех. lexa, вы невнимательно смотрели в пдф-ку. Там графики исследований за 2003-2004 годы, когда были другие коллекции, другие алгоритмы у участников, и, может быть, даже другие методики оценки для асессоров (на счет оценок — я не в курсе). Если там чего и нету — какое отношение это имеет к моему утверждению, что в 2010-м «полнота по Лёхе» была отличной? С тех пор многое изменилось, в том числе и на РОМИПе. И алгоритмы ранжирования явно прибавили в качестве. Вообще, меня данная дискуссия преизрядно развлекает. На один и тот же вопрос я получаю три разных ответа. Вот про полноту — она не нужна вообще — она не нужна, потому что слишком дорого — она и так есть. Ну и? Все утверждения верны. Первое вытекает из второго. Например в большом поиске полнота хардкорно запрещена, для точной оценки берется несколько десятков тысяч примерно подходящих кандидатов, хотя релевантных вариантов могут быть миллионы и где-то там затерялся самый замечательный. Последнее верно (по моему мнению) в частном случае поисковых дорожек РОМИП-2010, которые мы тут и обсуждали. Попробуйте не удивляться, а понять.

Четал-четал и дочетал. Не поял вот чего: > Пользователи сервиса Babkee смогут проводить исследования рынка, управлять своей репутацией и активно коммуницировать с клиентами». Где те люди, что будут оплачивать банкет? Вот например зачем Ашманову платить за «свет мой зеркальце скажи»? Или, скажем, мерседесу зачем? Или скажем Дмитрию Рогозину оно надо? Нет, ну из любопытства можно глянуть, но походу вот Юра денег не даст, он и так про роем в курсах. Кто башлять будет объясните, плз. Не вкуриваю.

Где те люди, что будут оплачивать банкет? Этот вопрос по поводу любого подобного сервиса можно задать. Например, спросить у Ашманова, кто платит за Крибрум.

Ну, я и спрашиваю. Причем действительно не понимаю. У всех контор налажена обратная связь, все денно и нощно принюхиваются, причитываются, прислушиваются. Ищут-рыщут-изучают-волнуются. Спецам, имхо, такой сервис ничего не даст. Вот просто полюбопытствовать — да, прикольно. Вот мне, например, было бы интересно узнать какая резина круче Континенталь или Нокиан. И насколько круче если че, потому что Нокиан дороже на 10%, а я боюсь продешевить.

Или вот у меня еще пара вопросов: 1. Могу я с самсунговским планшетом на людях показаться или только айпад? 2. Могу я штаны от вранглера купить за три тыщи вместо четырех за левис или заопускают коллеги? 3. Холодильник атлант в доме — это как? Совсем плохо или всем пофиг? 4. Насколько в пятерочке продукты покупать позорнее чем в перекрестке? 5. Кому круче поклоняться Джобсу или Гейтсу? 6. Сколько Ашманову нормально переплачивать за сео? 7. Если не джип, то лучше на метро или можно на мотоцикле? Н и еще много у меня вопросов, но платить не стану. Чесслово.

Или вот у меня еще пара вопросов: 1. Могу я с самсунговским планшетом на людях показаться или только айпад? Это вопросы от потребителя. Понятно, насущные всё вопросы, жизни и смерти, в общем-то. Но мониторинг социальных медий — не об этом, увы. Так что я просто отвечу бесплатно: никаких самсунгов, вы чо. Или соней, не приведи бог. Только Эппл!!! Эппл делает продукт для умных. Те кто пользуются Эпплом — умные, и наоборот. Все остальные 93% — идиоты. Хотите к идиотам? За что платят клиенты. Тут очень просто. Большие компании хотят вкладываться в продвижение в СМ. У них есть на это деньги. Но. У них нет метрики. Нормальный цикл был бы такой: 1. Померили в СМ отношение потребителей к бренду/товару/услуге. 2. Влили денег в продвижение. 3. Померили результат. Пока нет метрики — бюджеты на продвижение в СМ будут маргинальными, в конце таблички. Хотя все хотят (но платить «за группу бренда в ФБ» устали). Соответственно, клиентами являются крупные компании, с миллионами потенциальных клиентов, с собственным брендом или продуктом. То есть из потребителей услуги SММ выпадают дилеры (чужой бренд/продукт, неподвластный влиянию), выпадает электронная коммерция (где сотни тысяч чужих брендов/товаров). Почему они сами не могут это делать ручками (типа в поисковике): 1. Полнота. Поиск типа ППБЯ охватывает не всё, работает плохо, неустойчиво. ФБ, ВК, Твиттер выкачиваются поисковиками плохо. Есть форумы/блоги, по которым нужно искать отдельно, специально. 2. Функциональность. Общий поиск не оценивает отношение, только находит упоминания. Статистики тоже не даёт или даёт негодную. Историю вести неудобно. С большим семантическим ядром работать неудобно. 3. АвтоматизацияПри количестве упоминаний выше порога в 500-1000 в день руками анализ уже не сделаешь, нужно держать целый отдел людей на дешёвой глупой работе. Им нужно готовое рабочее место (АРМ). Система мониторинга — и есть такое рабочее место, с автоматизацией (отношение, статистика, история, доступ к записям, формирование отчётов). 5. Языковые проблемы. С языками типа арабского вообще всё плохо, с обычным поиском в принципе ничего не получается.

Или вот у меня еще пара вопросов: 1. Могу я с самсунговским планшетом на людях показаться или только айпад? Это вопросы от потребителя. Понятно, насущные всё вопросы, жизни и смерти, в общем-то. Но мониторинг социальных медий — не об этом, увы. Так что я просто отвечу бесплатно: никаких самсунгов, вы чо. Или соней, не приведи бог. Только Эппл!!! Эппл делает продукт для умных. Те кто пользуются Эпплом — умные, и наоборот. Все остальные 93% — идиоты. Хотите к идиотам? За что платят клиенты. Тут очень просто. Большие компании хотят вкладываться в продвижение в СМ. У них есть на это деньги. Но. У них нет метрики. Нормальный цикл был бы такой: 1. Померили в СМ отношение потребителей к бренду/товару/услуге. 2. Влили денег в продвижение. 3. Померили результат. Пока нет метрики — бюджеты на продвижение в СМ будут маргинальными, в конце таблички. Хотя все хотят (но платить «за группу бренда в ФБ» устали). Соответственно, клиентами являются крупные компании, с миллионами потенциальных клиентов, с собственным брендом или продуктом. То есть из потребителей услуги SММ практически выпадают дилеры (чужой бренд/продукт, неподвластный влиянию), выпадает электронная коммерция (где сотни тысяч чужих брендов/товаров) — за исключением мониторинга новинок или специальных акций. Почему они сами не могут это делать ручками (типа в поисковике): 1. Полнота. Поиск типа ППБЯ охватывает не всё, работает плохо, неустойчиво. ФБ, ВК, Твиттер выкачиваются поисковиками плохо. Есть форумы/блоги, по которым нужно искать отдельно, специально. 2. Функциональность. Общий поиск не оценивает отношение, только находит упоминания. Статистики тоже не даёт или даёт негодную. Историю вести неудобно. С большим семантическим ядром работать неудобно. Влиятельность блоггера или высказывания не посчитаешь. Медийный отклик постинга не посчитаешь. 3. АвтоматизацияПри количестве упоминаний выше порога в 500-1000 в день руками анализ уже не сделаешь, нужно держать целый отдел людей на дешёвой глупой работе. Им нужно готовое рабочее место (АРМ). Система мониторинга — и есть такое рабочее место, с автоматизацией (отношение, анализ авторов, статистика, история, быстрый доступ к записям, формирование отчётов). 5. Языковые проблемы. С языками типа арабского вообще всё плохо, с обычным поиском в принципе ничего не получается. Скажем, Твиттер по-арабски почти не ищет. Это всё о клиентах Крибрума. Есть ли клиенты на дешёвую услугу ( 400 долларов в месяц за всё) по автоматизации работы с ППБЯ, без анализа текста — не знаю. Наверно, это агентства и средний бизнес (но средний бизнес вообще не очень пока нуждается в мониторинге брендов).

> клиентами являются крупные компании, с миллионами потенциальных клиентов, с собственным брендом или продуктом Я бы рад согласиться, но ценник меня смущает: базовый пакет — 3 объекта, 8000 сообщений, цена 6000 рублей. Бабки базовый пакет — 5 объектов, 25000 сообщений (5000 на объект), цена 7900 рублей. Итого 1 объект у вобота стоит = 6000/3= 2000 рублей. 1 объект у базверя стоит = 1961 рубль. 1 объект у бабок стоит = 7900/5 = 1580 рублей. Сдается мне, что филипморис на 6000 рублей сломать — это задача не из легких. Они таких купюр с роду не видели. Вобщем, как-то странно выглядит затея. Хотя в пеарах не силен, могу ошибаться.

Я и говорю, что ЭТОТ ценник и ЭТА услуга — не для Филипса. И не для Морриса.

ЭТА услуга вполне может быть подходящей для какой-то медиаперсоны. Актер-музыкант-политик-блоггер-алегарх. Бренд есть, объектов немного, все такое.

@GOODMAN, ну я потратил еще 30 секунд, посмотрел. И в 2003-2004 и в 2010м была «дорожка по веб-поиску». Ужели эта дорожка так сильно поменялась за 6 лет, что там все иначе?

@lexa, я думаю, что да. За эти 6 лет поиск сильно изменился (даже по текстам), ну и семинар тоже. Другие коллекции, другие алгоритмы участников (лучше находят), качество асессоров выросло в 2010-м (судя по дорожке аннотирования, где у меня результаты за 2 года, есть с чем сравнивать). Может и методика оценок асессорами сменилась, но тут я не уверен, старые методики не нашел. Опять же — я смотрел полноту по более длинным запросам, как бы по более сложным. Если на какой-то короткий запрос ответов явно больше глубины оцениваемого пула, то «полнота по Лехе» не особо интересна, т.к. не просто ее применить. В таких случаях методика если и будет сбоить, то редко и скорее только в теории. И по минимуму метрик, а всего метрик считалось почти два десятка, так что не критично ни разу.

получается, даже по одному названию метрики/дорожки результаты 4-го и 10-го годов могут оказаться несравнимы?

@lexa, ну да, могут. Это ограничивает область применения результатов семинара, но альтернативы все равно нет. Я бы даже результаты 2009 и 2010 не стал сравнивать в абсолютных цифрах, хотя некоторые участники так делали, сравнивая свое прошлогоднее с текущим. Думаю, что имеет смысл сравнивать либо с чужими в пределах одного года (если чьи-то метрики явно хуже лидеров, то что-то нужно менять, а если отставание есть, но не большое, то скорее всего все хорошо), либо запускать несколько своих прогонов и сравнивать только их, между собой. Я по второму варианту гонял, т.к. он наиболее эффективный. А на тот факт, что по многим метрикам результаты получились лучшими среди всех, я щеки не особо раздувал, т.к. это мало о чем говорит. Разве что для понтов сгодится.

Эээ, ну чего затихли то? Даёшь пятничный отжиг! Пожалуй начну, Крибрум-кибибрум атстой не умеющий определять тональность! Ну, мужики, поехали!

Да, это правда. Пытались тут наигрывать Крибруму на гитаре, он как-то подпевает, но фальшивит. В тональность вообще не попадает.

2Ashamonov У меня американский MBA. Возьмете меня к себе на работу руководителем?

Американский MBA — это серьёзный drawback для кандидата, сочувствую. Такой недостаток может перевесить только огромный успешный опыт бизнеса. Но можем попробовать. Первый тест: как на самом деле пишется моя фамилия?

Я буду Вами руководить и звать Вас по имени-отчеству.

Да я в принципе не против, если вы разовьёте наш бизнес до оборота хотя бы в 100 миллионов евро в год, но пару-тройку тестов пройти придётся. Во-первых, как всё-таки правильно пишется моя фамилия? Это важно, потому что она совпадает с названием компании и домена, а вы пишете её неправильно. Во-вторых, ответьте не задумываясь, что вы сделаете, если ваш подчинённый (я или другой топ-менеджер) в ответ на поручение пошлёт вас на хер? Это довольно обычная практика в нашей компании, а неправильная реакция может привести к немедленному увольнению. Третье: готовы ли вы как главный руководитель поехать в целях развития бизнеса на полгода в Сомали или Камбоджу? Мы сейчас выходим на развивающиеся рынки. Это тоже очень важно. Четвёртое: можете ли вы отжаться 50 раз от пола, выжать 70 кг от груди 10 раз и не есть семь дней? Это у нас обязательное требование (да и в Сомали без этого ехать нельзя).

Недавно Ашманов в порыве откровенности рассказал об условиях работы в АиП. Будьте осторожны.

С интересом жду правильный ответ на второй пункт вопросов.

1 отгуглил вас на яндексе Вы «Ашманов» 2 уволю 3 да, закажите мне Four Seasons в этой стране 4 да, я занимаюсь спортом, хожу в джим, на теннисный корт и в бассейн.

2 уволю а я бы в глаз дал

Чо так кисло? Где мегасралово, где кидание какашками в опонентов? Ашаманов уже не торт, низачот, разочаровал он отца. (((

уволить за нелояльность руководству фирмы

Ага, всех уволить, остаться одному в белом.

> выжать 70 кг от груди 10 раз Что-то как-то мало!

>Что-то как-то мало! 7 дён не емши-то?

на лапше Доширак много штангу не потягаешь

А у меня 50 см, меня в возьмут в АиП штатным ассенизатором или нет? Так и быть ассенизирую крибрум, чтобы он наконец-то заработал и научился определять тональность.

Американский MBA может кардинально изменить бизнес Вашей организации приведя его к оглушительному успеху. Процветание, успех и благополучие — ГАРАНТИРУЮ.

Как Американский MBA гарантирую повышенное внимание и зарплату геям Вашей организации, а руководство будет состоять на 50 процентов из геев, а остальные 50 процентов будут им сочувствующие.

Процветание, успех и благополучие — ГАРАНТИРУЮ. Геям, как я понял. Давайте вы тогда в Большой театр. Тем более его открыли вчера. Или лучше на МузТВ. Или нет, лучше возглавьте какую-нибудь большую, очень большую буровую компанию на дальнем Севере, сделайте её оглушительно успешной, а они все к вам туда, процветать, благополучать и успехать. Калифорния за Полярным кругом — круто же.

Ашаманов уже не торт Совершенно согласен, передайте ему от меня.

Игорь Станиславович Вы такой остроумный, Вам нельзя не любить. Я уверен все сотрудники Вашего АиП Вас любят, не зря Вы их зовете Партнерами.

Вы такой остроумный Не, это не я такой остроумный, это вы такие смешные. Не скромничайте. Вам нельзя не любить. Да, мне нельзя не любить. Вечный вопрос — кого?

Ashmanov Игорь Станиславович, а ваши сотрудники не планируют поучаствовать в дорожке сентимент-анализа на ромипе? Например, с Крибрумом?

> Да, мне нельзя не любить. Вечный вопрос — кого? Все мужики козлы.

Игорь Станиславович, а ваши сотрудники не планируют поучаствовать в дорожке сентимент-анализа на ромипе? Например, с Крибрумом? После всего вышенаписанного… да, конечно, собираются. ;)

Игорь Станиславович, а ваши сотрудники не планируют поучаствовать в дорожке сентимент-анализа на ромипе? Например, с Крибрумом? Ну, когда дорожки объявили, я пошёл ещё раз спросил у крибрумовцев. Они грубо ответили мне, что готовы потратить на это не более получаса в месяц. А что в нашем холдинге делает директор, когда его посылают на хер?

А что в нашем холдинге делает директор, когда его посылают на хер? Идет туда?

Игорь Станиславович, так Вы это… заставьте каждого служебную записку написать — дескать, как, да почему, да что же это такое.

Похоже американские МБА не в большом почете в России.

да уж не в большом. в принципе все в молодости совершают ошибки, так что мы к таким вещам относимся снисходительно. не говори об этом, а мы не будем спрашивать. но не дай бог тебе в курилке об этом проговориться, в щщи с разворота точно получишь!

Американское образование подкреплено, прежде всего, весомым словом «американское». Это сильный brand и дает отблеск на все, что под него подпадает. Для меня MBA — это прежде всего дополнительная степень свободы. Это умение вести бизнес по американски, как Дейл Каргени и Билл Гейтс.

Тогда уж «по-амекирански, как Дейл Каргени и Гилл Бейтс».

Как же человека колбасит при слове «Америка». На Роеме уже пора запретить это слово, а то инвалидом его сделаете.

Да, жалко этого сембирека. Не говорите это слово.

Разве Американский МБА не ценится больше как раньше? Почему? В начале двухтысячных, когда я ехал в Америку, недавний выпускник мог получить немедленно оччень хорошую работу на крупном московском предприятии или организации уровня ГазПрома. Почему какой-то Ашманов смеет сомневаться в пригодности американских МБА для ведения бизнеса?

У Ашманова небольшая компания, вряд ли ему нужны професиональные управлянцы, которые кроме как управлять ниччего больше не умеют. С MBA лучше подавать в компании с многими уровнями подчинения с большой бюрократией: Лаборатория Касперского, Яндекс, Мэйл ру.

Так вы про MBA серьёзно, что ли? Ну вы и прикольщики. Ну хорошо, поясню. Почему какой-то Ашманов смеет сомневаться в пригодности американских МБА для ведения бизнеса? Ой, ой! Покущение на основы! Какой-то моськи! А не надо было делать корочку основой карьеры, уважаемый. А. Общие утверждения 1. Я смею делать и говорить что угодно, что не запрещено десятью заповедями Моисеевыми. Не вижу, что может мне помешать вслух презирать американский МБА, да и отечественный, кстати говоря. Это такой дисклаймер сразу, чтоб не было нелепых вопросов. 2. «Ведение бизнеса» с американской корочкой — вообще довольно сомнительная похвала в в современном мире. Посмотрите, ЧТО такое американский бизнес сейчас. Все плохие практики — тоже оттуда, включая официально разрешённые взятки, спам и пирамиды. А к нам ещё с начала 90-х устремились в среднем худшие экземпляры как американцев, так и репатриантов, которых оттуда что-то выпихнуло — халявщики, мошенники, бездельники, авантюристы. Б. Про MBA, американский и отечественный 1. MBA не учит бизнесу. Не путайте. Расшифровка этого вида образования — бизнес-администрирование, то есть управление. Предпринимательству научить нельзя, как мы все тут понимаем, наверно. Это свойство не знаний, а воли. 2. Более того, МВА не учит и управлению. Потому что нет такой целостной науки, а есть разрозенные методики, часто противоречащие друг другу. Нет и науки «маркетинг» или «стратегическое управление», есть набор разношёрстных теорий от «гуру». Вот разнообразным «а можно и так», «а Джон Доу считает так», «а давайте сыграем в деловую игру», «а вот кейс с другой стороны планеты из другой индустрии» на МВА и учат. Самые лучшие МВА дают не знания, а связи и корочки. 3. Хотя в бизнес-школы в теории должны поступать люди с опытом реального бизнеса и производства, на самом деле там 80% учащихся — неопытные, но амбициозные карьеристы спустя пару лет работы на дядю после института. То есть это просто продолжение формального образования вечных студентов. 4. МВА — это на самом деле языковая школа. Она учит разговаривать на едином управленческом языке (хорошо описанном, в частности, в игре Bullshit Bingo). И все 2-3 года в такой школе (любого уровня) именно в этом языке и натаскивают. Сейчас это в основном средство узнавать своих в среде представительств западных компаний и экспатов. (Такой развитый деловой язык был и в СССР, как и управленческая школа, только был отброшенв 90-е). 4. Это языковое натаскивание даёт очень неприятный эффект при найме: у кандидата всё от зубов отскакивает, но понять, на самом ли деле он понимает в бизнесе — невозможно. То есть к концу обучения процесс превращения в лощёного зомби завершается. Таким образом, на собеседовании перед вами сидит парень с гладким резюме, с гладким лицом, гладко говорящий, защищённый толстым слоем заученных формул, в личность которого нельзя погрузиться, про которого абсолютно невозможно понять, есть ли у него ум, опыт и энергия. А так он всё понимает, всё правильно говорит. Просто потом приходится увольнять через пару месяцев или заточенной ложкой всю эту фальшь и мракобесие выскребать. Особенно это верно ещё и про репатриантов и иностранцев с «опытом работы в большой западной корпорации», которые в последние годы зачастили на собеседования (как в США и Европе стало плохо с работой в ИТ). Про такого репатрианта или иностранца при найме нельзя понять, делал ли он хоть что-то существенное в своей предыдущей компании или просто торчал в середине бюрократической пирамиды, бумажки со стола на стол перекладывал да митинги по имейлу назначал. То есть риск ошибки при найме — возрастает многократно. А тогда проще просто считать это отрицательным фактором. Есть некоторые основания думать, что обученный этому языку человек может относительно легко инсталлироваться в большую транснациональную компанию. Это скорее относится к его личным нуждам и карьере. Однако же его реальные результаты от МВА зависеть не будут. Если в такой компании есть тёплые карманы, где можно спокойно функционировать как говорящая голова для совещаний и конференций — нанимайте, если охота. Ну, если ещё хочется на IPO — таких МБАшников нанимают именно как переводчиков, послов в мир спекулянтов и деловых СМИ. Кстати о примерах «больших корпораций». Жена моя, которая построила огромную международную компанию «Лаборатория Касперского» и за пятнадцать лет наняла/уволила массу дипломированных иностранцев, также с большим подозрением относится к МВА. По тем же причинам — это фактор, осложняющий оценку кандидата при найме и не дающий никаких реальных преимуществ. Так понятнее «как я смею усомниться!»?

На Quora был ряд серьезных обсуждений «хорошо ли нанимать МБА в интренет стартапы» «хороши ли МБА для компаний разрабатывающих софт» http://www.quora.com/Does-getting-a-MBA-make-someone-a-better-product-manager http://www.quora.com/Is-it-better-to-go-Google-or-to-a-top-tier-management-consulting-company-after-an-MBA итд в целом мнение — МБА скорее всего вредно, так как учит ничего не делать, а болтать непонятным языком Да и посмотрите в руководстве компаний типа Гугл крайне мало МБАшников. Почти все руководители крупных компаний уровня Гугл, Интел с образованием в информатике, математике и тому подобных, «профессиональные бизнесмены» в этом мире вверх не пробиваются. С МБА надо идти в бизнес консультации, МкКензи и тому подобные.

Еще http://techcrunch.com/2010/05/08/is-an-mba-a-plus-or-a-minus-in-the-startup-world/

MBA дает важные умения, которые важны бизнесу такие как умение проводить benefit analysis бизнеса основанный на бенчмарках в целях реактивация экосистемы бизнеса умение проводить сессии мозгового штурма сфокусированные на создании 30 000 футовых обзоров бизнеса с песпективной на улучшение эффективности и многие другие умения МБА это не одна простая дисциплина как математика или computer science Это множество дисциплин и овладеть ими можно только пройду курсы MBA.

Ashmanov > Ну, когда дорожки объявили, я пошёл ещё раз спросил у крибрумовцев. Они грубо ответили мне, что готовы потратить на это не более получаса в месяц. Получаса в месяц:) Как надо раздуться от самомнения для этого — даже думать не хочется.

Как надо раздуться от самомнения для этого — даже думать не хочется. Подам на вас жалобу в ФАС за использование цитаты без указания имени! Самомнение у них страдает от другого: когда их пинают за медленные продажи, за то, что у клиента что-то не заработало, за то что кросс-постная анафора в сарказме не восстанавливается или ещё за что. А «полчаса в месяц на РОМИП» — это просто презрительная издёвка над РОМИПом и грубое глумление над инвестором-основателем-идеологом-лидером-визионером, то есть мной.

умение проводить benefit analysis бизнеса основанный на бенчмарках в целях реактивация экосистемы бизнеса И по итогам бенефит-анализа и бенчмарков провести реинжиниринг бизнес-процессов, со созданием системы мотивации и личностного роста на всех уровнях персонала, с привязкой инсентив к кейпиаям и майлстоунам, с вертикальным и горизонтальным масштабированием групповых активностей и проактивного шеринга ключевой экспертизы. Да, этому больше нигде не научишься.

Ashmanov > Подам на вас жалобу в ФАС за использование цитаты без указания имени! Лучше в спортлото, Игорь Станиславович. А мушку вы уже спилили?

Еще чуток про РОМИП. Надо понимать, что когда дорожка появляется в РОМИП/TREC и т.п., то это признак «прединдустриального» состояния задачи. Идея уже овладевает массами (в дорожке по сентименту будет вроде бы больше 10 участников). Логичными следствиями являются: — массовая проверка всех известных методов, — быстрая фиксация «хорошего» уровня — выбор НЕСКОЛЬКИХ методов, достигающих этот «хороший» уровень Дальше появляется какой-нибудь Яндекс, что запускает бесплатный(!) сервис, выбивающий всех с рынка кроме 1-2 игроков, имеющих какие-то изюминки, которые как-то доказываются. Без доказательств утверждения о чемпионских технологиях после РОМИПа будут вызывать только смех. … кросс-постная анафора в сарказме не восстанавливается … По одной этой фразе можно сказать (так как «кросс-постная анафора в сарказме не восстанавливается» в ближайшие 5-10 лет не будет восстанавливаться с качеством более 30-40%) на выбор: — либо Ашманов брякнул глупость, — либо шурум-бурум безнадежен — люди им занятые тратят свои усилия на ненужное, очевидно, упуская более эффективные методы повышения качества.

По одной этой фразе можно сказать (так как «кросс-постная анафора в сарказме не восстанавливается» в ближайшие 5-10 лет не будет восстанавливаться с качеством более 30-40%) на выбор: — либо Ашманов брякнул глупость, Вот какая точная оценка! 30-40% на ближайшие годы! Вы подумайте! У вас катастрофическое отсутствие чувства юмора. На 78%. Поэтому вот эта страшная угроза: Без доказательств утверждения о чемпионских технологиях после РОМИПа будут вызывать только смех. оставляет меня спокойным. Мне кажется, вы никогда не смеётесь, а к себе относитесь вообще со смертельной серьёзностью. Ну и к РОМИПу тоже. Может быть, злость заставит вас растянуть губы и издать несколько кашляющих звуков, но смеяться вы не сможете. Ну, а клиенты про РОМИП и вас вместе с ним — никогда не слышали.

А мушку вы уже спилили? Да вы заходите, заходите в гости на к нам 2-ю Звенигородскую, сами и посмотрите на мушку. Сравним, у кого есть, а у кого спилена.

Ashmanov > Да вы заходите, заходите в гости на к нам 2-ю Звенигородскую, сами и посмотрите на мушку. Сравним, у кого есть, а у кого спилена. Спасибо за приглашение. Я, в общем-то, не в обиде, да и мушками мериться не привык. Просто немного резануло слух ваше пренебрежительное высказывание об участниках ромипа.

Это не обо всех. Но согласитесь, что много там у вас и инвалидов. У которых и технология так себе, и продукт унылый, и единственная надежда на убалтывание как-то милиционеров или чекистов, что их анализ оперативных сводок, новостей или экстремизма — самый крутой.

Ashmanov > Но согласитесь, что много там у вас и инвалидов. У которых и технология так себе, и продукт унылый, и единственная надежда на убалтывание как-то милиционеров или чекистов, что их анализ оперативных сводок, новостей или экстремизма — самый крутой. Возможно. Таких, конечно, любить не за что. Но вот, допустим, студент-старшекурсник по собственной инициативе что-то там сделал для ромипа, получил какие-то результаты. Понятно, что и законченных технологий у него никаких нету, и система не продакшен качества. Его что — тоже «инвалидом» назвать? Поглумиться над ним? Ну не про это ромип, не про сравнение реальных рыночных систем (например, поисковиков). Он про конкретные алгоритмы, про исследовательскую научную работу. То, что отдельные маркетинговые балаболки (как вот товарищ из ингейта, который даже статьи своих ребят не читал) всерьез меряются пиписьками — это все же не повод смотреть на семинар их глазами. Эх, ладно, Игорь Станиславович, наверное хватит уже про это.

Да дело в том, что это не моя тема. Это здесь начали другие люди, которые стали преподносить РОМИп, как пузомерку. Вы почитайте на пост выше буквально: только тот, кто участвует в РОМИПе, имеет право вообще что-то там говорить о технологиях, а остальные могут вызывать только смех. Кто не участвует в РОМИПе — тот трус, трус, трус! Такие дартаньяны, просто загляденье… Наверно, РОМИП кому-то полезен. Для трудоустройства, для воздействия на разработчиков, для тусовки. Я ж не спорю. Но точно не для работы на рынке.

Не стоит смешивать теплое с мягким. Ну что за песни про «темных» заказчиков («милиционеров или чекистов») и РЫНОК с большой буквы. Ведь и там и там заказчик по определению разбирается в предмете хуже разработчика. Заказчику вообще нужны продажи или если «милиционеры или чекисты» — наверное, ловить кого-то. А и тем и другим льют в уши либо «что у нас лучше Яндекса и Гугла» (обвинение Ашманова против попавшегося ему под руку КМ), либо «семантическое зеркало», «больший хайтек — хардкорная прикладная лингвистика». Ну где логика-то? Заказчику абстрактно хочется одного, но на практике ему достаточно и более простых вещей, но сразу. Эти простые функции, реально нужные заказчику реализует 100 фирм и фирмочек. А дальше чистая «маркетинговая балаболка» — кто во что горазд, чтобы впендюрить именно своего да побольше. А кто более легковерен и темен — госзаказчик или покупающие клики за неясно какие деньги — ну где тут разница? И давайте про сарказм по-подробнее. Про 78%. Я утверждаю, что это наглое вранье. Вы готовы демо-сервис предъявить для проверки? Будете правы, публично извинюсь.

У вас не только с чувством юмора беда, вы и читать, оказывается, можете с трудом. Ещё раз: У вас катастрофическое отсутствие чувства юмора. На 78%. Юмор у вас отсутствует на 78%, понимаете? Это наглое враньё? Я утверждаю, что это горькая правда! Вообще, к вашему сведению, раз уж вы занимаетесь «анализом мнений» и «вычислением тональности», могли бы слышать, что конструкция » 78%» — это такой популярный в последнее время интернет-мем, применяется для вышучивания наукообразности. Скажем, у вас волосы будут шелковистее на 78%, если вы перестанете сраться в форумах… Про кросс-постную анафору в сарказме — это была шутка. Подъ*бка, коллега. Как слышно, гараж? А что у вас, например, с отрицанием в форме двойного утверждения по отношению к однородным членам в цитате внутри цитаты с референцией к оригинальному высказыванию? Тоже в ближайшие годы будет сделано на 30-40%? Или всё-таки на 78%?

кросс-постная анафора в сарказме не восстанавливается Страшно представить.

Нет, Игорь Станиславович, не съезжайте с базара! Пока не будет демо-сервиса — перед вами не извинятся! Я бы кушать спокойно после такого бы не смог, все бы бросил и срочно делал бы демо-сервис. По полчаса в месяц! С саркастическими анафорами.

Кстати, про семантическое зеркало. Когда-то, в позднем палеозое, Давид Ян в Абби (кажется, тогда это был ещё Bit Software) придумал говорить, что у них внутри Файнридера — «фонтанное преобразование». И начали они налегать на это в пиаре так, что аж шуба заворачивалась. Как-то мы в июне 1995 года лежали на пляже под Казанью с Сегаловичем (Илья тогда делал поиск по Библии на CD-ROM) и Анисимовичем (техдиром Абби), отдыхая в промежутке между секциями Диалога-95. И вот Анисимович и говорит: — А что такое, по-твоему, фонтанное преобразование? Я отвечаю: — Да ясно, херня просто, лажа для лохов. — Нет, — говорит Костя, — неправильно! Это торговая марка и бренд. — А, ну тогда другое дело. Так вот когда мы в МедиаЛингве потом на кухне прикалывались над битовским Фонтанным Преобразованием, мы решили, что надо будет сказать Яну, что у нас — Семантическое зеркало. И вот на выставке Комтек-96 Андрей Коваленко, столкнувшись с Давидом, с важным видом ему сообщил, что у нас зато — Семантическое Зеркало! Поскольку Давид, как всякий человек, успешный в пиаре и навешивании лапши, сам подвержен таким же воздействиям, его начало несколько колбасить. То есть нужного эффекта мы достигли. Ну, а потом нам в 2006 было нужно как-то назвать движок автоматической классификации документов и извлечения ключевых слов с веб-страниц, Автоконтекст, который мы сначала делали для Бегуна под общим названием Автоконтекст. Мы с Бегуном разошлись, да и Бегуну отказали в регистрации названия «Автоконтекст». Вот мы по приколу взяли и назвали движок «Семантическим зеркалом». Типа, это ж Интернет, чуваки, медиа-бизнес. И его ФИПС пропустил. Так что это название — просто старая, выдержанная шутка для своих.

Нет, Игорь Станиславович, не съезжайте с базара! Вот именно. Про кросс-постную анафору в сарказме — это была шутка. Вот так всегда, как прихватят Ашманова за руку, так он в кусты. (Кросспосты есть, анафора есть, сарказм есть. Даже задачу такую можно представить. Решение по анафоре и сарказму — на 30%) В результате так и не понятно, почему разработчики АиПа послали визионера на х*р. Сказали, наверное, иди, паря, шути дальше с клиентами. … — это была шутка. Как я понимаю и все остальное, что Вы говорите, тоже шутки. Замечательная легкость в мыслях. 30 тысяч одних курьеров….

Нет, шутки не всё. Я понимаю, что вам трудно — ведь чувство юмора как раз и служит для различения того и другого. А кому сейчас легко. Анафоры восстанавливать — это одна задача, ею мы занимаемся. Это чисто лингвистическая задача. Кросс-постные связи — другая, этим тоже занимаемся. Это скорее техническая задача. Сарказм — третья. Это как-то делается, как ни странно, не синтаксисом и правилами, а машинным обучением по некоторым специальным маркерам. С каким-то качеством. Но всё вместе собрать в одну пугающую конструкцию — это была подколка. А вообще, если я скажу, что у нас про новые проекты в ходу поговорка «обеспечить восход солнца вручную», то вы тоже потребуете демо или признать себя гнусным лжецом?

В результате так и не понятно, почему разработчики АиПа послали визионера на х*р. Сказали, наверное, иди, паря, шути дальше с клиентами. Почему же непонятно. Очень даже понятно. Они послали вас, вместе с ромипом. А Ашманов был анафорой в контексте данного сарказма.

Решение по анафоре и сарказму — на 30%) Вот хороший вопрос по теме, наконец. Каковы пороги системы анализа мнений, позволяющие её применять в бою? Скажем, для системы проверки правописания количество ложных тревог, да и пропусков ошибок, должно быть заметно меньше, чем количество ошибок, которое делает средняя машинистка, иначе нет смысла. То есть ложных подсветок не должно быть больше 1-2 на страницу, в идеале (после некоторого пополнения пользовательского словаря). И если твоя машинная морфология, она же система проверки правописания, работает хуже, то ты хоть обтестируйся на РОМИПе — использовать её не будут. Ну или будут, как в Файрфоксе — на халяву, нехотя. С системами уличного распознавания лиц, например, нормальный уровень ложных тревог должен быть сильно меньше десятой процента, иначе на любых больших потоках (аэропорт, стадион) полиция замучается подозреваемых крутить. С ДНК-анализом недостаточно и точности на уровне пяти девяток после запятой — слишком много людей развелось. Как раз такая история была с определением останков Романовых. В антиспаме ложных тревог должно быть меньше одной на 10К или даже на 100К писем. А какие допустимые пороги для системы опиньон майнинга для реальной работы на реальных данных у реального клиента? Скажем: а) какая необходима полнота индексирования? Сколько из 100 000 мнений в блогах , ФБ, ВК и форумах должна реально видеть система? Если реально она видит 30 или 40% (а до остальных не может добраться) — это нормально или плохо? б) Какова должна быть допустимая полнота определения позитива/негатива/нейтрального/смеси? Если из 1000 мнений определяется хоть как-то 100 или 300 — это хорошо или плохо? в) Каково допустимое количество ложных тревог (негатив вместо позитива, нейтральное вместо окрашенного и наоборот) — на 1000 постов?

Ну что за детство, Капитан Очевидность? Даже с 30% качеством система может быть полезна, а с 99% недостаточно хороша. Если решение проблемы (не задачи!) важно, то будет искаться другая постановка, будут вложения в новые данные и т.д. Вот Гугл-переводчик — ужасен по качеству, но смысл новостей позволяет понять. У меня есть знакомые, которые переводили с пользой для себя с норвежского и кашмирского(? я такого языка-то даже не знаю). Собственно РОМИПы, TRECи, CLEFы больше всего и заняты поиском ответов на вопросы — «что оценивать?», «как оценивать?» и «как интерпретировать результаты оценки?». В этом, собственно, и вопрос существования какого-то коммьюнити и кого-то вне коммьюнити. Ситуации бывают разные, но чаще все-таки, то, что кажется Вам и Вашим разработчикам откровением, сообществом уже пережевано и выплюнуто. а) какая необходима полнота индексирования? Сколько из 100 000 мнений в блогах , ФБ, ВК и форумах должна реально видеть система? Если реально она видит 30 или 40% (а до остальных не может добраться) — это нормально или плохо? Ответ на этот вопрос легко получить постепенно увеличивая полноту. Будет насыщение — ок, не будет — всем абзац, в том числе и шурум-буруму. В смысле — придется менять задачу. б) Какова должна быть допустимая полнота определения позитива/негатива/нейтрального/смеси? Если из 1000 мнений определяется хоть как-то 100 или 300 — это хорошо или плохо? Смотря для чего. Например, многим интересно — за что ругают, за то хвалят. Тут и один пример может быть ценным. Опять-таки в реале есть еще время. Если показатели выделения стабильны — Вы определяете только стандартную часть выборки — тоже информация. Ну и так далее — все от задачи зависит. А точные цифры оценки позволяют вовремя сменить постановку. И все с этим легко соглашаются…

Ну так я и думал, ответа нет. Типа, с одной стороны нельзя не признать, с другой — нельзя не согласиться. Всё относительно и определяется спросом и моментом, а также моментом спроса. Но идея, что рыночные критерии должны быть выработаны на РОМИПе — реально вставляет. И про насыщение полноты — богатая идея. Ладно, всего доброго, объявили посадку, из дискуссии выхожу. Да она и уже выдохлась, мне кажется.

Реплика Ашманова вошла в историю Слава Ашманову! http://ru.wikipedia.org/wiki/_

Ашманову продаю вам идею брэнда Семантическое Зеркало 2.0 Жду положенного мне миллиона евро

Реплика Ашманова вошла в историю Давида Яна. А Ашманов — тут.

Psycho а если еще раз прочитать.

Psycho а если еще раз прочитать. Уточните, что именно.

Слоупоки, чего молчим-то? Или самый жирный тролль пропал и остальные убежали поджав хвосты?