СВОЙСТВО, КОТОРОЕ НА САМОМ ДЕЛЕ ОЦЕНИВАЮТ, КОГДА ГОВОРЯТ, ЧТО ОЦЕНИВАЮТ “IMPACT”

1. Введение

В предыдущей статье [1] мы пытались показать, что, поскольку существующие определения поня­тия impact'a («воздействия») не могут быть при­знаны удовлетворительными, нельзя считать это понятие — как делает, например, L. Bornmann [2] — «ключевым понятием наукометрии». Указывалось, что более или менее интуитивно понятными трак­товками «воздействия» являются представления о нем как о «сильном впечатлении» или «влия­нии» (произведенном на цитирующего автора). Далее, цитируемость, которая, как предполагает­ся многими специалистами, является достовер­ным показателем «воздействия» (напр., [3, с. 111; 4; 5, с. 2; 6, с. 342]), в действительности не имеет с ним причинно-следственных связей, т. к., отра­жая использование, цитируемость не обязательно отражает его по причине именно «воздействия» (т.е. «влияния» или «сильного впечатления») [1]. (См. тж. [7, с. 442] с утверждением, что «неоднократ­но фальсифицировалось <...> предположение, <...> что ученые мотивированы ссылаться на то, ока­зывало на них влияние».) Также «воздействие» не обязательно приводит к использованию и по­тому не обязательно отображается в цитируемости [1]. Поэтому следует считать, что цитируемость — не очень надежный proxy (замещающий показа­тель) для оценки плохо определенного понятия "impact" («воздействие»). Однако если осмыслить свойство цитируемых научных документов, отобра­жаемое в цитируемости, исходя не из догматиче­ской установки о том, что таковым является «воз­действие», а из непредвзятого анализа сущности самой природы цитируемости, то можно выявить именно то свойство цитируемых научных доку­ментов и их совокупностей, «ключевую» роль ко­торого в наукометрии, как представлялось, играет «воздействие». Задача выявления этого свойства и была поставлена в данной работе.

2. Основная часть

В [1] зафиксирован тот факт, что цитируемость всегда и непосредственно отображает использова­ние цитируемых материалов. Напоминая об этом очевидном, но слишком часто многими забывае­мом положении, следует упомянуть об уже цитиро­ванных в [1] работах [5, с. 2; 6, с. 342; 8]. Это же поло­жение содержится в [9; 10; 11, с. 120, 121, 130; 12, с. 273; 13, с. 4; 14, с. 133; 15, с. 11-12; 16, с. 93; 17, с. 6; 18, с. 96­98] и многих других публикациях. Из первых работ, посвященных анализу цитируемости, отметим ра­боту Н.Н. Fussler 1949 г. [19], в которой целью ис­следования было выявление научной литературы, использованной в Соединенных Штатах химиками и физиками; ее «основным допущением», согласно формулировке автора, было то, что «цитирование обозначает использование цитируемого материа­ла» [19, с. 26].

Данный тезис представляется нам настоль­ко очевидным, что какое-то его дополнительное обоснование мы можем привести только в поле­мике с его противниками. Они же, в свою очередь, как видится, также не будучи в состоянии атако­вать его «в лоб», предпочитают «критиковать» его, рассматривая такие частные случаи проявления закономерности «цитируемость отражает исполь­зование», которые якобы ставят ее под сомнение. Другие же пытаются «показать», что якобы более надежным методом изучения использования до­кументов является изучение читательской актив­ности, направленной на ознакомление с доку­ментами; и эта мысль почему-то принимается ими за опровержение положения «цитируемость от­ражает использование» (что не было бы таковым даже при условии их правоты).

Такие «аргументы» первого направления, как наличие «отрицательного цитирования», самоцитирования, «вынужденного цитирова­ния», «запоздавшего цитирования» и т. п., рас­сматривать всерьез не приходится. Все эти слу­чаи цитирования отражают использование; например, «отрицательное цитирование» име­ет место в случае плодотворности опровержения критикуемой работы для развития собственной ар­гументации. Что до цитирования «вынужденного», то сколь бы «необязательным» оно ни казалось (или даже было!), без использования содержания цитируемой работы оно невозможно. Трудно пред­ставить, чем плохо и т. н. «запоздавшее цитирова­ние»: ведь без машины времени просто невозмож­но процитировать работу до того, как она начала использоваться, а если кто-то считает, что это про­исходит слишком поздно, то в чем повинен метод, регистрирующий этот факт?!. Что до самоцити- рования, то его отсутствие может свидетельство­вать лишь о том, что какая-то работа не развивает ни одну из предшествующих работ автора; поэтому волевое исключение самоцитирования лишь «ра­зорвет» отражение научных связей между публика­циями... Подробнее эти и другие аргументы «кри­тиков» и ответы на них рассмотрены в [17, с. 11-12].

Гораздо серьезнее представляются такие аргу­менты первого направления критики, как то,что не все используемое в действительности цитирует­ся (в силу недобросовестности или небрежности), а не все, что цитируется, было в действительно­сти хотя бы прочитано. Хотя в действительности первый аргумент не может быть принят по очень простой причине: при его истинности из него сле­дует лишь определенная ограниченность метода «цитат-анализ» (всегда признававшаяся тем же Ю. Гарфилдом и другими авторитетными разработ­чиками метода), но при отсутствии лучшего либо эталонного метода из этой констатации не сле­дует ровным счетом ничего. Метод несовершенен, но лучшего нет; следует ли этого, что необходимо отказаться от лучшего из возможных [17, с. 11]?! (О том, что изучение читательской активности, направленной на ознакомление с документами, не является «более надежным» методом изуче­ния использования документов, будет сказано не­сколькими строками ниже.)

Второй аргумент в наиболее убийственной фор­ме представлен в работе [20], где не просто указа­но, что порой цитируются непрочитанные работы, но приведены (оставшиеся нам малопонятными) аргументы за то, что около 70-90% научных ссылок скопировано из списков литературы из других ра­бот. Но если это действительно так, следует просто срочно ликвидировать всю наукометрию как си­стему, построенную на абсолютно недостоверном фундаменте, — но многочисленные «работающие» в ней закономерности показывают, что абсолютно недостоверным этот фундамент назвать нельзя.

Второе направление атак на метод «цитат-ин- декс», это, как говорилось выше, утверждение о том, что изучение читательской активности, направленной на ознакомление с документами, «лучше» отражает использование. Ее сторонники уверены в своей правоте настолько, что сделали попытку пустить в оборот термин «библиометрия использования», имея в виду под «использова­нием» ту самую читательскую активность [21]; на­столько, что даже в базе данных «Web of Science» в данные о каждом отраженном в ней документе включен так называемый «показатель использо­вания» — показатель, который в действительности отражает лишь усилия пользователей по доступу к этому документу. А чего стоит такое утверждение: «использование возникает, когда пользователь оформляет запрос на обслуживание, относящий­ся к определенному научному ресурсу, в конкрет­ную информационную службу» [21, с. 6]?! В таком «определении» использования говорится исклю­чительно о запросе; о самом же использовании запрошенного в таком «определении использова­ния» не говорится вообще ничего...

Если разбираться в этих притязаниях спокой­но, легко заметить, что на деле и состоявшаяся читательская активность говорит об использова­нии научных документов в научной деятельности значительно меньше, чем их цитируемость. Ведь изучение читательской активности по ознаком­лению с документами не отражает даже и самого факта прочтения («полистал и отложил» не зна­чит ни «прочитал», ни даже «почитал»). А из фак­та прочтения (которое не подтверждено!) не ясно, предпринималось ли оно просто для ознакомления или же в конкретной научной работе [22, c. 40; 23, c. 175]. Как писала Е. З. Мирская еще в 1976 г., «чтобы новое знание начало функционировать, оно долж­но быть ассимилировано научным сообществом, то есть замечено им, воспринято, оценено и исполь­зовано» [11, c. 119]. Стоит лишь окинуть взором эту цепочку, как становится ясным, что читательская активность относится в лучшем случае к первому и второму этапам (весьма часто, полагаем, лишь к первому), цитируемость же — именно к послед­нему. Неудивительно, что на протяжении своей статьи Е. З. Мирская неоднократно категорически утверждает: ссылки — свидетельство использова­ния цитирующим автором цитируемых материалов. (Ср.: «Ссылки могут рассматриваться как формаль­ная регистрация использования полученных кон­кретных научных данных (заключенных в <цитиру­емой> статье).» [14, с. 133].)

Наконец, исследователь может обращаться к оригиналу конкретного документа однократно, но впоследствии многократно использовать его содержание, и это приведет к соответствующим ошибкам в оценке использования по обраще­нию к документам [22, c. 40; 23, c. 180]. И, наоборот, многократно запрошенный документ может оста­ваться едва прочитанным. В многократных об­ращениях к документу отражается, по-видимому, процесс восприятия ранее замеченного докумен­та, а не его использования. В [24], например, ука­зывалось, что анализ потока заказов по МБА куда полнее отражает использование, нежели цитируе­мость; но чего, с учетом изложенного, стоит такая «полнота»?

Итак, именно в сравнении с «альтернативным» методом становится яснее, что цитируемость под­тверждает состоявшееся использование науч­ного документа при выполнении имеющей к нему отношение творческой работы авторами цити­рующих работ: вначале документ прочитывается, затем — если он не выбрасывается за заведомой ненадобностью — он рассматривается (“it is being considered"), затем — вследствие рассмотрения — он, возможно, используется (для сравнения, вклю­чая опровержения, заимствования описанных ме­тодов, и т. д., и т. п.), затем — он цитируется [12, с. 273]...

Итак, использование — суть процесс, отобра­жаемый цитируемостью, с чем «громко» соглас­ны и многие приверженцы той точки зрения, что цитируемость является адекватным показате­лем «воздействия» (например, [5; 6; 25-27]). Одна­ко как, по их мнению, соотносятся использование и «воздействие»?

A.J. Nederhof и A.F.J. van Raan в [26, с. 326] как о само собой разумеющемся говорят о том, что цитиру- емость, отображая использование, отображает и «научное влияние». Для них это, по-видимому, аксиома, но понятно, что нужна более серьезная аргументация.

М. Liu [27, с. 370] отмечает, что вообще в соот­ветствии с «нормативной теорией цитирования» «люди отдают должное коллегам, работой кото­рых они пользуются, ссылаясь на эту работу, и по­тому цитируемость отображает влияние». Однако в связи с уже изложенным выше можно считать установленным, что это условие обязательно­сти «воздаяния» не соблюдается и поэтому четкая причинно-следственная связи между использова­нием и влиянием, описанная в [27, с. 370], отсутствует.

В работе Юджина Гарфилда [25] указано, что «Частота цитируемости указывает на цен­ность журнальной статьи и ее использование» [25, с. 7]. И далее: «Когда врач или биомедицинский исследователь цитирует журнальную статью, это указывает на то, что цитируемый журнал каким-то образом повлиял на него» [25, с. 7]. То есть «воз­действие» вытекает из использования? Но только что таковым отображаемым в использовании свой­ством называлась ценность.

«Воздействие» и ценность смешиваются и в сле­дующей цитате: «Представление о цитировании как показателе влияния и инструменте оценки научного вклада <т.е. «воздействия» — В.Л.> пря­мо вытекает из следующего заявления: “Если чья- то работа не будет замечена и использована дру­гими в системе науки, могут возникнуть сомнения в ее ценности" [28]» [29, с. 100]. То есть для авторов [29] «воздействие» есть то ли следствие ценности, то ли то же самое, что сама ценность.

Но на самом деле именно ценность, а не «воз­действие» является единственным свойством, не­посредственно отображаемым в использовании. Приведем пространную цитату из нашей недав­ней работы: «В самом деле, в науке об информации понятие ценности определяется как “свойство ин­формации, определенное ее пригодностью к прак­тическому использованию в различных областях целенаправленной человеческой деятельности для достижения определенной цели" [30, с. 464]. Ценность информации прямо связана с ее исполь­зованием, будь то единичный документ или науч­ное периодическое издание как организованная совокупность документов: вне научного документа человеческое общество не имеет и научной инфор­мации, так как именно документ является матери­альной формой ее фиксации. Итак, должно быть ясным, что, будучи методом непосредственной оценки состоявшегося использования <...> цитиру­емых объектов <...>, подсчет ссылок является ме­тодом косвенной оценки их ценности [12, с. 273]. Обновленное определение ценности не противо­речит сказанному, но подтверждает его: “Ценность, в том числе научная, не является чисто природным свойством предмета (в нашем случае информа­ции), а образуется в результате предметно-прак­тического взаимодействия объекта и субъекта. Лю­бая ценность обусловлена практикой, понимаемой в самом широком смысле этого слова, и практика выступает как объективный определитель цен­ности. <... > Ценность объективна как порождение практического отношения (взаимодействия) объ­екта и субъекта <...> [31, с. 232]"» [18, c. 96-97].

Скажем больше: «Мало того, если в философии “ценность" трактуется как критерий предпочти­тельности в ситуации альтернативного выбора [32, с. 111], то выбор конкретной ссылки из множества возможных <. > сам по себе уже свидетельствует о ценности процитированного! Понятие ценно­сти трактуется также как способность содейство­вать достижению цели исследовательской деятель­ности [Там же] — и это соотносится с пониманием цитируемых работ как фактора, способствующего выполнению исследования» [17, c. 6].

В контексте сказанного можно вновь обратить­ся к наследию Ю. Гарфилда, который в заметке [33] утверждает, что «импакт-фактор» является «в ос­новном мерилом использования (ценности?)». По­нятно, что это в еще большей степени может быть отнесено к показателям цитируемости в целом. Странно лишь то, что Ю. Гарфилд куда чаще (в из­вестных нам работах) предпочитал связывать ци- тируемость не с использованием и ценностью, а с воздействием.

Некоторые авторы совершенно серьезно утвер­ждают, что цитируемость отражает «не только ценность» (вариант: «не только качество»), но са­мые разнообразные свойства, и указывают на за­висимость цитируемости от десятков факторов [34, 35]. Эти заявления о том, что цитируемость отражает «не только использование», в сущности, курьезны, и их следует рассматривать не более как игру слов. В самом деле, с одной стороны, «критики» абсо­лютно правы в том, что использование может быть вызвано, мотивировано и «воздействием» цити­руемой работы, и ее «качеством», и ее ценностью при полном отсутствии качества (тот самый случай плодотворного отрицательного цитирования!). что оно может быть вызвано загадочным для науч­ного документа свойством аттрактивности, которое «побуждает» цитирующего автора выбрать для ци­тирования именно данный документ из несколь­ких равноценных (в глазах и самого цитирующего автора); они правы и в том, что оно может коррели­ровать с количеством авторов цитируемой работы или длиной ее реферата. — но, имея данные о ци- тируемости, никто, включая самого цитирующего автора, не в состоянии сказать, какой именно мо­тив вызвал использование. Зато, исходя из самого определения ценности — в сущности, любого из ее определений, рассмотренных нами выше, — мы мо­жем утверждать: имманентно в цитируемости ото­бражается именно ценность цитируемого доку­мента; отображается она опосредованно через его использование. В какой-то степени (и совершенно необязательно) при этом могут отражаться «воз­действие», «качество», «аттрактивность», но пре­имущественно и всегда отражается ценность.

А что же «воздействие»? Как мы стремились по­казать, оно может быть, а может и не быть причиной использования документа, может отображаться, а может и не отображаться в использовании. И по­тому точность отражения «воздействия» в цити- руемости «автоматически» ниже, нежели точность отображения в нем ценности. Если «воздействие» — характеристика, предполагаемо отображаемая в цитируемости, является лишь одним из возмож­ных мотивов использования цитируемого доку­мента и имеет с его цитируемостью вероятностные связи, то «ценность» — свойство документа, опре­деляющее его использование и имеющее с его цитируемостью причинно-следственные связи, то есть неизбежно отображаемое в цитируемости.

Если учесть при всем этом, что понятие «воздей­ствие» за предположительно 63 года своего суще­ствования (считая работу Ю. Гарфилда 1955 года [3] первой) не сумело получить удовлетворительного определения, возникает вопрос: а что, собствен­но, вообще привносит оно в осознание процессов и следствий использования научных документов в библиометрии и наукометрии? Неужели конста­тация ценности тех или иных статей, характеристи­ка тех или иных авторов и научных организаций как «производителей» ценных документов сообща­ет нам меньше, чем утверждение, что те или иные документы (их авторы, организации и страны, в ко­торых они работают) оказывают «воздействие»?! И это — при том заведомом факте, что второе утверждение хуже обосновано логически и име­ет меньшую достоверность, причем само понятие «воздействия» удовлетворительно не определе­но. И это притом что альтернативы роли ценно­сти как свойства, отображаемого в цитируемости на основании причинно-следственных связей, просто нет — даже несмотря на то, что не все ис­пользованные работы цитируются, даже несмотря и на наличие некоторой доли «фальшивых ссы­лок» на непрочитанные работы. Нет альтернативы и цитируемости как показателю ценности: данные о читательской активности, хуже отражая исполь­зование, будут и менее надежным показателем ценности. Методическая же альтернатива оценке «воздействия» существует: о «воздействии» мож­но также судить, «“приклеившись" к ученому, когда он работает и обменивается мнениями с его колле­гами», изучив его рабочие тетради и т. д. [7, с. 442]. На самом деле при этом осуществлялась бы экс­пертная оценка — метод, «заточенный» на оцени­вание качества (в соответствии с определением самого свойства «качество» [37, с. 1858]). Однако «воздействие» при этом оказывается «характе­ристикой», на соответствие которой оценивается качество исследовательской работы [38, с. 15; 39, пункт 3.6.2] — весьма размытой, неопределенной характеристикой; и все-таки уровень опосредо­вания оценки «воздействия» здесь вряд ли выше, чем в случае с цитируемостью. Ценность же с помо­щью экспертной оценки нельзя определять даже предположительно в силу того, что само опреде­ление ценности основано на понятии использо­вания. Можно, конечно, уговорить эксперта про­вести «априорную оценку ценности», но как такую оценку ни называй, она окажется оценкой каче­ства — в соответствии с самим определением дан­ного свойства [18]. С результатами экспертной оценки качества в соответствии с такой его харак­теристикой, как «воздействие», могут, конечно, коррелировать — «положительно и статистически значимо» — результаты подсчета цитируемости [40, с. 677], но при этом — как справедливо отме­чал M. Thelwall — «подсчет цитирований не изме­ряет воздействие», являясь лишь его «индикато­ром»⁶ [40, с. 677]. M. Thelwall добавляет при этом: «какое бы разумное определение “воздействия" мы ни использовали» [40, с. 677], но только — где оно, это разумное определение?! В короткой статье [40] термин «impart» употреблен 20 раз, вот только его определение отсутствует.

3. Заключение

Итак, после рассмотрения неопределенного понятия и «соответствующего ему» индикатора, оказавшегося на деле всего лишь не очень убе­дительным proxy, была выполнена аналитиче­ская интерпретация сущностных характеристик цитируемости, позволившая — через соотнесение с понятием использования (научных документов) — прийти к выводу, что «ключевыми понятиями на­укометрии» должны являться не «воздействие», а использование и ценность (как отражаемое ис­пользованием свойство научных документов, их со­вокупностей, содержащейся в них информации, их авторов и т. д.). Понятие «воздействие» («impart») при этом представляется просто избыточным.

Данный вывод представляется вполне очевид­ным. Однако соображения о соотношении понятий использования и ценности слишком часто вообще не принимаются во внимание апологетами «воз­действия» как якобы основной характеристики, отображаемой цитируемостью. (Как будто инфор­мация о «ценности» публикации для какой-то на­учной школы говорит меньше, чем информация о ее «воздействии» на эту школу!) Кроме того, по­следователи «нормативной теории цитирования», считая качество цитируемого документа основным свойством, отображаемом цитируемостью, также не замечают простейшей логической цепочки: «ци­тировано, потому что использовано, а если исполь­зовано, значит — ценно» [1; 18]. И поэтому рекон­струкция роли ценности (научных документов, их совокупностей, содержащейся в них информации, их авторов и т. д.) в наукометрических исследова­ниях, предпринятая в настоящей работе, представ­ляется нам необходимой и своевременной.