Ирина Лагунина: Несколько лет назад группа студентов Массачусетского института с помощью специальной компьютерной программы написала псевдонаучную статью. В этом году российский ученый, доктор биологических наук Михаил Гельфанд перевел оригинальную статью американских студентов на русский язык при помощи программы "Этап-3", разработанной в Институте проблем передачи информации Российской академии наук. Статья получила положительную рецензию и за небольшую плату была опубликована в "Журнале научных публикаций аспирантов и докторантов". О качестве научных публикаций в российских журналах с автором эксперимента Михаилом Гельфандом беседует Ольга Орлова и Александр Марков.
Ольга Орлова : Я бы хотела начать нашу беседу с цитаты: "В настоящей работе описан алгоритм "корчеватель", предназначенный для анализа растрирования, приведены его теоретические и практические рабочие характеристики, сложность по времени и по памяти, время выполнения в стандартных тестах, проведено сравнение с другими ранее предложенными алгоритмами, показано, что эти качественные характеристики превосходят таковые для аналогичных алгоритмов и могут быть улучшены за счет применения эвристик".
Михаил, для меня это звучит, как абракадабра. А на самом деле есть в этих словах хоть какой-то смысл?
Михаил Гельфанд: На самом деле любой научный текст, произнесенный с правильной интонацией, будет звучать, как абракадабра. Использование терминологии само по себе не делает текст псевдонаучным или каким-либо другим. В данном конкретном случае это действительно текст, порожденный машиной, которая обучалась на большом количестве реальных научных текстов. То есть каждый маленький клочок этого высказывания вполне мог бы встретиться в научной статье. Все вместе это, конечно, ерунда.
Ольга Орлова : Давайте, все-таки вы изложите историю с самого начала.
Михаил Гельфанд: История такая. Два года назад на разных сайтах появилась довольно агрессивная реклама вот этого самого "Журнала аспирантов и докторантов". Иногда под одними и теми же никами, иногда под разными никами на форумах разных университетов. Появлялись сообщения, что вот я аспирант, появился такой замечательный журнал, всем советую. Или: я недавно защитился, мне в этом очень помог вот этого самый журнал. Поскольку ники были одни и те же, они повторялись, то довольно легко было в интернете это все разыскать. Я собрал там просто повторения, там, в Ижевске или где-нибудь в Казани слово в слово практически совпадали. В "Троицком варианте", в газете, где, собственно, вся эта история была рассказана уже подробно, есть просто сводка этих самых высказываний на форумах. Люди это заметили, и через какое-то время на форуме scientific . ru какой-то человек задал вопрос: не слышал ли кто-нибудь про такой журнал, потому что уж больно странно он выглядит? Люди стали просто искать какие-то замечательно потешные статьи, а они стали быстро-быстро из электронной версии журнала исчезать. Например, была замечательная статья про закон всемирного выдавливания, которая просто из журнала исчезла.
Александр Марков: А на бумаге он издавался?
Михаил Гельфанд: Тогда, по-моему, нет. Сейчас издается на бумаге. Тогда у этого журнала был только главный редактор, не было редакционного совета. На сайте было написано, что он рецензируется, время рецензии занимает два-три дня. Можно себе представить степень глубины рецензии.
Ольга Орлова : Давайте просто сразу по ходу дела прокомментируем...
Михаил Гельфанд: В нормальном научном журнале...
Ольга Орлова : В обычном научном журнале?
Михаил Гельфанд: В обычном научном журнале рецензенту дают от двух до трех недель от момента принятия статьи на рецензию...
Ольга Орлова : И это довольно быстро?
Михаил Гельфанд: И это очень быстрые журналы, это считается очень жестко. А учитывая, что у редактора уходит какое-то время на подбор рецензента, там, на переписку, рецензент должен согласиться... Я своим аспирантам говорю, что раньше, чем через месяц, вообще ничего не ждите.
Александр Марков: Вот сейчас четвертый месяц жду рецензии из американского журнала.
Михаил Гельфанд: Это, в общем, нормально. В российских журналах бывает по-разному, бывает быстрее.
Ольга Орлова : Итак, рецензия в этом журнале, который называется... тут само название, кстати, настораживает, потому что таких названий у научных журналов, как правило, не бывает.
Михаил Гельфанд: Мне не известно.
Ольга Орлова : Значит, в этом журнале время на рецензию отводилось примерно два-три дня, и вы решили проверить качество рецензий?
Михаил Гельфанд: Да. Одновременно с этим был скандал соответствующий американский, где три студента, более того, аспиранта из Массачусетского технологического института написали бредогенератор, то есть написали программу, которая генерит вот такие псевдонаучные тесты. И они это тоже сделали с некоторым коварным умыслом, потому что есть такие конференции, которые всех ученых засыпают спамом, они обычно проводятся в довольно хороших местах, у них очень большой оргвзнос. То есть, если у вас на гранте остались лишние деньги и вам хочется урвать неделю где-нибудь на море, то вот эта конференция для вас. Вот эти ребята написали такую программу, сгенерили случайный текст, послали на эту конференцию, и там этот тезис был принят. Был довольно большой скандал по этому поводу. Надо сказать, что в отличие от нашего случая там этот тезис все-таки был принят, как нерецензируемый. Мы, конечно, стояли на плечах гигантов, но мы поставили абсолютный рекорд, потому что мы получили рецензию. Причем это не автоматически сгенерированная рецензия, действительно мне пришел размеченный текст с редакционной правкой.
Ольга Орлова : Можно я зачитаю фрагмент рецензии, чтобы было представление о том, как серьезно люди читали эту работу? Вот замечания рецензента, они, как и положено, подаются анонимно, автор работы не должен знать, кто...
Михаил Гельфанд: Я не знаю, кто это рецензировал.
Ольга Орлова : Мы не знаем, кто автор рецензии, но было написано буквально следующее: "Рукопись статьи на меня произвела двоякое впечатление. С одной стороны, следует признать, что материал собран методически грамотно, в работе присутствует новаторство и новизна. С другой стороны, автор статьи, видимо, недостаточно хорошо знаком с правилами по подготовке научных статей в печать. По тексту рукописи я отметил множество стилистических и редакционных недочетов, а то и погрешностей, которые создали у меня впечатление какой-то незавершенности работы".
Михаил Гельфанд: Джереми Стриблинг, когда я ему послал перевод этой рецензии, очень обиделся, он сказал, что, с его точки зрения, стилистически там как раз все в порядке.
Ольга Орлова : Джерреми Стриблинг - это?..
Михаил Гельфанд: Один из авторов программы.
Ольга Орлова : Итак, действительно, программа, получается, написала довольно внятный текст, где присутствует даже новаторство и новизна, как нам сообщили...
Михаил Гельфанд: Новаторство и новизна там, несомненно, присутствуют. Текст внятный, он производит странное впечатление...
Ольга Орлова : Простите, Михаил, можно пояснить... В последнем выводе статьи написано: "Тем самым можно полагать, что уже в ближайшее время "корчеватель" может оказывать существенное влияние на разработку новых языков программирования на основе для моделей Маркова". Какова Маркова вы имели в виду?
Михаил Гельфанд: Не того, который здесь сидит.
Ольга Орлова : Не Александра Владимировича нашего?
Михаил Гельфанд: Это есть великий русский математик Марков, в честь которого названы марковские цепи. Это как раз все абсолютно осмыслено тоже. Я немножко поиграл с переводом, надо сказать, я действительно чуть-чуть стилистические огрехи убрал после перевода, потому что эта программа переводит не совсем гладко, если совсем честно. Впрочем, я думаю, что сошло бы и так, просто было бы больше стилистических замечаний. И кроме того, я вначале решил играть в честную игру, и я по всему тексту развесил кучу красных флажков. Например, я вставил благодарность профессору Гельфанду, который привлек внимание автора к проблеме публикации случайных текстов.
Ольга Орлова : То есть самому себе, собственно.
Михаил Гельфанд: Самому себе. Надо же было как-то печать мастера поставить. Я немножко поигрался со списком литературы, вставив тоже некоторое количество потешных ссылок. Они с самого начала были потешные, но я вставил такие очевидно потешные.
Ольга Орлова : Да, но у вас там среди авторов статьи использованной литературы есть фамилии, привлекающие внимание своими какими-то необычными свойствами.
Михаил Гельфанд: Да, и интересно, каково живется человеку с такой фамилией.
Ольга Орлова : Да как мы выяснили, нормально, и даже публикуют спокойно.
Михаил Гельфанд: То есть в этом смысле на самом деле коллеги, с которыми я это обсуждал, они мне советовали как-то быть поосторожнее, потому что, ну, на это невозможно купиться.
Ольга Орлова : То есть если стоит автор с фамилией Софтпорн, то кто-то должен обратить внимание, что же это...
Михаил Гельфанд: Мне показалось. Ну, хорошо, а если по всему тексту написано слово "случайный текст"? Тоже, наверное. Так вот, этот самый текст (с чего я начал) локально читается, как любой текст, в котором ты не очень понимаешь слова, ну, синтаксис там... все нормально. А если прочитать подряд два абзаца, то возникает ощущение, что крыша едет абсолютно полностью. Понятно, там, как в любых марковских цепях, кстати сказать, нет дальнодействия между предложениями.
Александр Марков: То есть ближайшие как-то связаны...
Михаил Гельфанд: Ближайшие связаны, а дальше совершенно невозможно понять, о чем речь.
Ольга Орлова : Вы знаете, даже внутри одного абзаца... то есть предложение через три предложения - уже кажется, что они совсем...
Михаил Гельфанд: Совсем съехали, да. Нет, там было еще немножко, там было про оптические диски сотовых телефонов, какие-то были смешные высказывания, картинки очень хорошие прямо из оригинальной статьи, там время измерялось в цилиндрах, латентность измерялась в цельсиях. Я читаю иногда статьи, которые я плохо понимаю, хочется разобраться. Иногда для эксперимента попадается статья, которую не понимаешь совсем. Но хотя бы язык выдает, что это не есть содержательный текст. А с другой стороны, возвращаясь к тому, с чего мы начали. Этот журнал привлек внимание людей тем, что там и некомпьютерной ерунды печатается довольно много.
Ольга Орлова : Поразительно то, что этот научный журнал печатает научные статьи практически по всем областям и по всем специальностям.
Михаил Гельфанд: Это необычно.
Ольга Орлова : Это все-таки тоже привлекает к себе внимание, потому что в одном научном журнале мы, как правило, не находим публикаций по палеонтологии, физике и юридическим наукам.
Михаил Гельфанд: Этого даже в Nature нет.
Ольга Орлова : В принципе журнал, который берется публиковать статьи по всем специальностям... у нас еще специальности... когда люди защищаются, они же по номерам стоят. Если ты смотришь разброс номеров, то это уже само по себе должно...
Михаил Гельфанд: Там еще военные науки, кстати, есть.
Ольга Орлова : Это само по себе должно просто отпугивать сразу любого здравомыслящего аспиранта.
Михаил Гельфанд: Вот это та самая беда, про которую я говорю. Надо аккуратно следить за терминами. Этот журнал не стал частью научного сообщества. Научное сообщество, грубо говоря, в моем лице его с треском отторгло, я бы даже сказал - извергло. В этом смысле, конечно, всем ясно, чего эта "Мурзилка" стоит. Вот как про это узнать в следующий раз... На самом деле основной вред от этого журнала не в том, что он кому-то дает липовую статью для липовой защиты, ну, бог с ним, а то, что он полностью сбивает с толку кучу народа, которые в науку, технику, куда угодно они хотят, я надеюсь... хотят заниматься чем-то более или менее реальным. А дельная вещь, конечно, что большинство статей в этом журнале опубликованы по политологии, социологии и педагогике, по истории еще бывают пересказы каких-то краеведческих книжек. Само по себе это тоже, конечно, симптом. Статьи по физике там смешные и по математике тоже. Это отдельная вещь. Но, скажем, в том научном журнале, где я состою членом редколегии, там в правилах для редакции написано, что аспирантские статьи публикуются, во-первых, бесплатно. Не дешево, а просто бесплатно. Там, кстати, все статьи публикуются бесплатно, но уж аспирантские в особенности. Во-вторых, там написано, что они специально идут по специальной процедуре, которая не означает облегченного рецензирования, но означает быстрое рецензирование. То есть редакция берет на себя ответственность для аспирантских статей сделать все, чтобы они были отрецензированы добросовестно, но быстро. И аспирантские статьи там реально публикуются, скажем, быстрее моих. То есть я со своим аспирантом там могу публиковаться быстрее, если бы я там сам что-то отдал. В настоящих научных журналах с хорошей традицией, с хорошей историей ни денег больших не бывает и стараются, чтобы это было за какое-то разумное время, даже если редакционный портфель действительно полон и все остальные стоят в очереди.
