Preview

Наука и научная информация

Расширенный поиск

СВОЙСТВО, КОТОРОЕ НА САМОМ ДЕЛЕ ОЦЕНИВАЮТ, КОГДА ГОВОРЯТ, ЧТО ОЦЕНИВАЮТ “IMPACT”

https://doi.org/10.24108/2658-3143-2019-2-2-129-138

Полный текст:

Аннотация

Введение. Анализ употребляемых определений и трактовок понятия “impact’а” («воздействия»), введенного в оборот Ю. Гарфилдом в 1955 году, не позволяет утверждать, что в наукометрической литературе вообще существует строгое определение данного понятия. Поскольку предполагается, что его надежным показателем является цитируемость, следует ответить на вопрос, какое же свойство на самом деле отображается данным показателем.

Материалы и методы. Аналитическая интерпретация научной литературы, имеющей отношение к данной проблеме.

Результаты. Сопоставление понятия «воздействия» с возможностями его количественной оценки цитируемостью показало ненадежность данного основного наукометрического метода для оценки именно «воздействия»: с точки зрения причинно-следственных связей «воздействие» может быть, а может и не быть причиной использования научных документов, отраженного в их цитируемости. Иными словами, цитируемость — не очень надежный proxy (замещающий показатель) для оценки плохо определенного (как показано в предыдущей статье — см. «Наука и научная информация» 2019;2(1):63–78) понятия «impact» («воздействие»). В то же время цитируемость нацелена на отображение ценности цитируемых научных документов (через отражение их использования при создании цитирующих документов).

Обсуждение и заключение. Если принять, что «impact» не следует считать ключевым понятием наукометрии, то его место может естественно занять понятие ценности цитируемых документов, их совокупностей, создателей и т. д.

Для цитирования:


Лазарев В.С. СВОЙСТВО, КОТОРОЕ НА САМОМ ДЕЛЕ ОЦЕНИВАЮТ, КОГДА ГОВОРЯТ, ЧТО ОЦЕНИВАЮТ “IMPACT”. Наука и научная информация. 2019;2(2):129-138. https://doi.org/10.24108/2658-3143-2019-2-2-129-138

For citation:


Lazarev V.S. THE PROPERTY THAT IS FACTUALLY BEING EVALUATED WHEN THEY SAY THEY EVALUATE IMPACT. Scholarly Research and Information. 2019;2(2):129-138. (In Russ.) https://doi.org/10.24108/2658-3143-2019-2-2-129-138

  1. Введение

В предыдущей статье [1] мы пытались показать, что, поскольку существующие определения поня­тия impact'a («воздействия») не могут быть при­знаны удовлетворительными, нельзя считать это понятие — как делает, например, L. Bornmann [2] — «ключевым понятием наукометрии». Указывалось, что более или менее интуитивно понятными трак­товками «воздействия» являются представления о нем как о «сильном впечатлении» или «влия­нии» (произведенном на цитирующего автора). Далее, цитируемость, которая, как предполагает­ся многими специалистами, является достовер­ным показателем «воздействия» (напр., [3, с. 111; 4; 5, с. 2; 6, с. 342]), в действительности не имеет с ним причинно-следственных связей, т. к., отра­жая использование, цитируемость не обязательно отражает его по причине именно «воздействия» (т.е. «влияния» или «сильного впечатления») [1]. (См. тж. [7, с. 442] с утверждением, что «неоднократ­но фальсифицировалось <...> предположение, <...> что ученые мотивированы ссылаться на то, ока­зывало на них влияние».) Также «воздействие» не обязательно приводит к использованию и по­тому не обязательно отображается в цитируемости [1]. Поэтому следует считать, что цитируемость — не очень надежный proxy (замещающий показа­тель) для оценки плохо определенного понятия "impact" («воздействие»). Однако если осмыслить свойство цитируемых научных документов, отобра­жаемое в цитируемости, исходя не из догматиче­ской установки о том, что таковым является «воз­действие», а из непредвзятого анализа сущности самой природы цитируемости, то можно выявить именно то свойство цитируемых научных доку­ментов и их совокупностей, «ключевую» роль ко­торого в наукометрии, как представлялось, играет «воздействие». Задача выявления этого свойства и была поставлена в данной работе.

  1. Основная часть

В [1] зафиксирован тот факт, что цитируемость всегда и непосредственно отображает использова­ние цитируемых материалов. Напоминая об этом очевидном, но слишком часто многими забывае­мом положении, следует упомянуть об уже цитиро­ванных в [1] работах [5, с. 2; 6, с. 342; 8]. Это же поло­жение содержится в [9; 10; 11, с. 120, 121, 130; 12, с. 273; 13, с. 4; 14, с. 133; 15, с. 11-12; 16, с. 93; 17, с. 6; 18, с. 96­98] и многих других публикациях. Из первых работ, посвященных анализу цитируемости, отметим ра­боту Н.Н. Fussler 1949 г. [19], в которой целью ис­следования было выявление научной литературы, использованной в Соединенных Штатах химиками и физиками; ее «основным допущением», согласно формулировке автора, было то, что «цитирование обозначает использование цитируемого материа­ла» [19, с. 26].

Данный тезис представляется нам настоль­ко очевидным, что какое-то его дополнительное обоснование мы можем привести только в поле­мике с его противниками. Они же, в свою очередь, как видится, также не будучи в состоянии атако­вать его «в лоб», предпочитают «критиковать» его, рассматривая такие частные случаи проявления закономерности «цитируемость отражает исполь­зование», которые якобы ставят ее под сомнение. Другие же пытаются «показать», что якобы более надежным методом изучения использования до­кументов является изучение читательской актив­ности, направленной на ознакомление с доку­ментами; и эта мысль почему-то принимается ими за опровержение положения «цитируемость от­ражает использование» (что не было бы таковым даже при условии их правоты).

Такие «аргументы» первого направления, как наличие «отрицательного цитирования», самоцитирования, «вынужденного цитирова­ния», «запоздавшего цитирования» и т. п., рас­сматривать всерьез не приходится. Все эти слу­чаи цитирования отражают использование; например, «отрицательное цитирование» име­ет место в случае плодотворности опровержения критикуемой работы для развития собственной ар­гументации. Что до цитирования «вынужденного», то сколь бы «необязательным» оно ни казалось (или даже было!), без использования содержания цитируемой работы оно невозможно. Трудно пред­ставить, чем плохо и т. н. «запоздавшее цитирова­ние»: ведь без машины времени просто невозмож­но процитировать работу до того, как она начала использоваться, а если кто-то считает, что это про­исходит слишком поздно, то в чем повинен метод, регистрирующий этот факт?!. Что до самоцити- рования, то его отсутствие может свидетельство­вать лишь о том, что какая-то работа не развивает ни одну из предшествующих работ автора; поэтому волевое исключение самоцитирования лишь «ра­зорвет» отражение научных связей между публика­циями... Подробнее эти и другие аргументы «кри­тиков» и ответы на них рассмотрены в [17, с. 11-12].

Гораздо серьезнее представляются такие аргу­менты первого направления критики, как то,что не все используемое в действительности цитирует­ся (в силу недобросовестности или небрежности), а не все, что цитируется, было в действительно­сти хотя бы прочитано. Хотя в действительности первый аргумент не может быть принят по очень простой причине: при его истинности из него сле­дует лишь определенная ограниченность метода «цитат-анализ» (всегда признававшаяся тем же Ю. Гарфилдом и другими авторитетными разработ­чиками метода), но при отсутствии лучшего либо эталонного метода из этой констатации не сле­дует ровным счетом ничего. Метод несовершенен, но лучшего нет; следует ли этого, что необходимо отказаться от лучшего из возможных [17, с. 11]?! (О том, что изучение читательской активности, направленной на ознакомление с документами, не является «более надежным» методом изуче­ния использования документов, будет сказано не­сколькими строками ниже.)

Второй аргумент в наиболее убийственной фор­ме представлен в работе [20], где не просто указа­но, что порой цитируются непрочитанные работы, но приведены (оставшиеся нам малопонятными) аргументы за то, что около 70-90% научных ссылок скопировано из списков литературы из других ра­бот. Но если это действительно так, следует просто срочно ликвидировать всю наукометрию как си­стему, построенную на абсолютно недостоверном фундаменте, — но многочисленные «работающие» в ней закономерности показывают, что абсолютно недостоверным этот фундамент назвать нельзя.

Второе направление атак на метод «цитат-ин- декс», это, как говорилось выше, утверждение о том, что изучение читательской активности, направленной на ознакомление с документами, «лучше» отражает использование. Ее сторонники уверены в своей правоте настолько, что сделали попытку пустить в оборот термин «библиометрия использования», имея в виду под «использова­нием» ту самую читательскую активность [21]; на­столько, что даже в базе данных «Web of Science» в данные о каждом отраженном в ней документе включен так называемый «показатель использо­вания» — показатель, который в действительности отражает лишь усилия пользователей по доступу к этому документу. А чего стоит такое утверждение: «использование возникает, когда пользователь оформляет запрос на обслуживание, относящий­ся к определенному научному ресурсу, в конкрет­ную информационную службу» [21, с. 6]?! В таком «определении» использования говорится исклю­чительно о запросе; о самом же использовании запрошенного в таком «определении использова­ния» не говорится вообще ничего...

Если разбираться в этих притязаниях спокой­но, легко заметить, что на деле и состоявшаяся читательская активность говорит об использова­нии научных документов в научной деятельности значительно меньше, чем их цитируемость. Ведь изучение читательской активности по ознаком­лению с документами не отражает даже и самого факта прочтения («полистал и отложил» не зна­чит ни «прочитал», ни даже «почитал»). А из фак­та прочтения (которое не подтверждено!) не ясно, предпринималось ли оно просто для ознакомления или же в конкретной научной работе [22, c. 40; 23, c. 175]. Как писала Е. З. Мирская еще в 1976 г., «чтобы новое знание начало функционировать, оно долж­но быть ассимилировано научным сообществом, то есть замечено им, воспринято, оценено и исполь­зовано» [11, c. 119]. Стоит лишь окинуть взором эту цепочку, как становится ясным, что читательская активность относится в лучшем случае к первому и второму этапам (весьма часто, полагаем, лишь к первому), цитируемость же — именно к послед­нему. Неудивительно, что на протяжении своей статьи Е. З. Мирская неоднократно категорически утверждает: ссылки — свидетельство использова­ния цитирующим автором цитируемых материалов. (Ср.: «Ссылки могут рассматриваться как формаль­ная регистрация использования полученных кон­кретных научных данных (заключенных в <цитиру­емой> статье).» [14, с. 133].)

Наконец, исследователь может обращаться к оригиналу конкретного документа однократно, но впоследствии многократно использовать его содержание, и это приведет к соответствующим ошибкам в оценке использования по обраще­нию к документам [22, c. 40; 23, c. 180]. И, наоборот, многократно запрошенный документ может оста­ваться едва прочитанным. В многократных об­ращениях к документу отражается, по-видимому, процесс восприятия ранее замеченного докумен­та, а не его использования. В [24], например, ука­зывалось, что анализ потока заказов по МБА куда полнее отражает использование, нежели цитируе­мость; но чего, с учетом изложенного, стоит такая «полнота»?

Итак, именно в сравнении с «альтернативным» методом становится яснее, что цитируемость под­тверждает состоявшееся использование науч­ного документа при выполнении имеющей к нему отношение творческой работы авторами цити­рующих работ: вначале документ прочитывается, затем — если он не выбрасывается за заведомой ненадобностью — он рассматривается (“it is being considered"), затем — вследствие рассмотрения — он, возможно, используется (для сравнения, вклю­чая опровержения, заимствования описанных ме­тодов, и т. д., и т. п.), затем — он цитируется [12, с. 273]...

Итак, использование — суть процесс, отобра­жаемый цитируемостью, с чем «громко» соглас­ны и многие приверженцы той точки зрения, что цитируемость является адекватным показате­лем «воздействия» (например, [5; 6; 25-27]). Одна­ко как, по их мнению, соотносятся использование и «воздействие»?

A.J. Nederhof и A.F.J. van Raan в [26, с. 326] как о само собой разумеющемся говорят о том, что цитиру- емость, отображая использование, отображает и «научное влияние». Для них это, по-видимому, аксиома, но понятно, что нужна более серьезная аргументация.

М. Liu [27, с. 370] отмечает, что вообще в соот­ветствии с «нормативной теорией цитирования» «люди отдают должное коллегам, работой кото­рых они пользуются, ссылаясь на эту работу, и по­тому цитируемость отображает влияние». Однако в связи с уже изложенным выше можно считать установленным, что это условие обязательно­сти «воздаяния» не соблюдается и поэтому четкая причинно-следственная связи между использова­нием и влиянием, описанная в [27, с. 370], отсутствует.

В работе Юджина Гарфилда [25] указано, что «Частота цитируемости указывает на цен­ность журнальной статьи и ее использование» [25, с. 7]. И далее: «Когда врач или биомедицинский исследователь цитирует журнальную статью, это указывает на то, что цитируемый журнал каким-то образом повлиял на него» [25, с. 7]. То есть «воз­действие» вытекает из использования? Но только что таковым отображаемым в использовании свой­ством называлась ценность.

«Воздействие» и ценность смешиваются и в сле­дующей цитате: «Представление о цитировании как показателе влияния и инструменте оценки научного вклада <т.е. «воздействия» — В.Л.> пря­мо вытекает из следующего заявления: “Если чья- то работа не будет замечена и использована дру­гими в системе науки, могут возникнуть сомнения в ее ценности" [28]» [29, с. 100]. То есть для авторов [29] «воздействие» есть то ли следствие ценности, то ли то же самое, что сама ценность.

Но на самом деле именно ценность, а не «воз­действие» является единственным свойством, не­посредственно отображаемым в использовании. Приведем пространную цитату из нашей недав­ней работы: «В самом деле, в науке об информации понятие ценности определяется как “свойство ин­формации, определенное ее пригодностью к прак­тическому использованию в различных областях целенаправленной человеческой деятельности для достижения определенной цели" [30, с. 464]. Ценность информации прямо связана с ее исполь­зованием, будь то единичный документ или науч­ное периодическое издание как организованная совокупность документов: вне научного документа человеческое общество не имеет и научной инфор­мации, так как именно документ является матери­альной формой ее фиксации. Итак, должно быть ясным, что, будучи методом непосредственной оценки состоявшегося использования <...> цитиру­емых объектов <...>, подсчет ссылок является ме­тодом косвенной оценки их ценности [12, с. 273]. Обновленное определение ценности не противо­речит сказанному, но подтверждает его: “Ценность, в том числе научная, не является чисто природным свойством предмета (в нашем случае информа­ции), а образуется в результате предметно-прак­тического взаимодействия объекта и субъекта. Лю­бая ценность обусловлена практикой, понимаемой в самом широком смысле этого слова, и практика выступает как объективный определитель цен­ности. <... > Ценность объективна как порождение практического отношения (взаимодействия) объ­екта и субъекта <...> [31, с. 232]"» [18, c. 96-97].

Скажем больше: «Мало того, если в философии “ценность" трактуется как критерий предпочти­тельности в ситуации альтернативного выбора [32, с. 111], то выбор конкретной ссылки из множества возможных <. > сам по себе уже свидетельствует о ценности процитированного! Понятие ценно­сти трактуется также как способность содейство­вать достижению цели исследовательской деятель­ности [Там же] — и это соотносится с пониманием цитируемых работ как фактора, способствующего выполнению исследования» [17, c. 6].

В контексте сказанного можно вновь обратить­ся к наследию Ю. Гарфилда, который в заметке [33] утверждает, что «импакт-фактор» является «в ос­новном мерилом использования (ценности?)». По­нятно, что это в еще большей степени может быть отнесено к показателям цитируемости в целом. Странно лишь то, что Ю. Гарфилд куда чаще (в из­вестных нам работах) предпочитал связывать ци- тируемость не с использованием и ценностью, а с воздействием.

Некоторые авторы совершенно серьезно утвер­ждают, что цитируемость отражает «не только ценность» (вариант: «не только качество»), но са­мые разнообразные свойства, и указывают на за­висимость цитируемости от десятков факторов [34, 35]. Эти заявления о том, что цитируемость отражает «не только использование», в сущности, курьезны, и их следует рассматривать не более как игру слов. В самом деле, с одной стороны, «критики» абсо­лютно правы в том, что использование может быть вызвано, мотивировано и «воздействием» цити­руемой работы, и ее «качеством», и ее ценностью при полном отсутствии качества (тот самый случай плодотворного отрицательного цитирования!). что оно может быть вызвано загадочным для науч­ного документа свойством аттрактивности, которое «побуждает» цитирующего автора выбрать для ци­тирования именно данный документ из несколь­ких равноценных (в глазах и самого цитирующего автора); они правы и в том, что оно может коррели­ровать с количеством авторов цитируемой работы или длиной ее реферата. — но, имея данные о ци- тируемости, никто, включая самого цитирующего автора, не в состоянии сказать, какой именно мо­тив вызвал использование. Зато, исходя из самого определения ценности — в сущности, любого из ее определений, рассмотренных нами выше, — мы мо­жем утверждать: имманентно в цитируемости ото­бражается именно ценность цитируемого доку­мента; отображается она опосредованно через его использование. В какой-то степени (и совершенно необязательно) при этом могут отражаться «воз­действие», «качество», «аттрактивность», но пре­имущественно и всегда отражается ценность.

А что же «воздействие»? Как мы стремились по­казать, оно может быть, а может и не быть причиной использования документа, может отображаться, а может и не отображаться в использовании. И по­тому точность отражения «воздействия» в цити- руемости «автоматически» ниже, нежели точность отображения в нем ценности. Если «воздействие» — характеристика, предполагаемо отображаемая в цитируемости, является лишь одним из возмож­ных мотивов использования цитируемого доку­мента и имеет с его цитируемостью вероятностные связи, то «ценность» — свойство документа, опре­деляющее его использование и имеющее с его цитируемостью причинно-следственные связи, то есть неизбежно отображаемое в цитируемости.

Если учесть при всем этом, что понятие «воздей­ствие» за предположительно 63 года своего суще­ствования (считая работу Ю. Гарфилда 1955 года [3] первой) не сумело получить удовлетворительного определения, возникает вопрос: а что, собствен­но, вообще привносит оно в осознание процессов и следствий использования научных документов в библиометрии и наукометрии? Неужели конста­тация ценности тех или иных статей, характеристи­ка тех или иных авторов и научных организаций как «производителей» ценных документов сообща­ет нам меньше, чем утверждение, что те или иные документы (их авторы, организации и страны, в ко­торых они работают) оказывают «воздействие»?! И это — при том заведомом факте, что второе утверждение хуже обосновано логически и име­ет меньшую достоверность, причем само понятие «воздействия» удовлетворительно не определе­но. И это притом что альтернативы роли ценно­сти как свойства, отображаемого в цитируемости на основании причинно-следственных связей, просто нет — даже несмотря на то, что не все ис­пользованные работы цитируются, даже несмотря и на наличие некоторой доли «фальшивых ссы­лок» на непрочитанные работы. Нет альтернативы и цитируемости как показателю ценности: данные о читательской активности, хуже отражая исполь­зование, будут и менее надежным показателем ценности. Методическая же альтернатива оценке «воздействия» существует: о «воздействии» мож­но также судить, «“приклеившись" к ученому, когда он работает и обменивается мнениями с его колле­гами», изучив его рабочие тетради и т. д. [7, с. 442]. На самом деле при этом осуществлялась бы экс­пертная оценка — метод, «заточенный» на оцени­вание качества (в соответствии с определением самого свойства «качество» [37, с. 1858]). Однако «воздействие» при этом оказывается «характе­ристикой», на соответствие которой оценивается качество исследовательской работы [38, с. 15; 39, пункт 3.6.2] — весьма размытой, неопределенной характеристикой; и все-таки уровень опосредо­вания оценки «воздействия» здесь вряд ли выше, чем в случае с цитируемостью. Ценность же с помо­щью экспертной оценки нельзя определять даже предположительно в силу того, что само опреде­ление ценности основано на понятии использо­вания. Можно, конечно, уговорить эксперта про­вести «априорную оценку ценности», но как такую оценку ни называй, она окажется оценкой каче­ства — в соответствии с самим определением дан­ного свойства [18]. С результатами экспертной оценки качества в соответствии с такой его харак­теристикой, как «воздействие», могут, конечно, коррелировать — «положительно и статистически значимо» — результаты подсчета цитируемости [40, с. 677], но при этом — как справедливо отме­чал M. Thelwall — «подсчет цитирований не изме­ряет воздействие», являясь лишь его «индикато­ром»6 [40, с. 677]. M. Thelwall добавляет при этом: «какое бы разумное определение “воздействия" мы ни использовали» [40, с. 677], но только — где оно, это разумное определение?! В короткой статье [40] термин «impart» употреблен 20 раз, вот только его определение отсутствует.

  1. Заключение

Итак, после рассмотрения неопределенного понятия и «соответствующего ему» индикатора, оказавшегося на деле всего лишь не очень убе­дительным proxy, была выполнена аналитиче­ская интерпретация сущностных характеристик цитируемости, позволившая — через соотнесение с понятием использования (научных документов) — прийти к выводу, что «ключевыми понятиями на­укометрии» должны являться не «воздействие», а использование и ценность (как отражаемое ис­пользованием свойство научных документов, их со­вокупностей, содержащейся в них информации, их авторов и т. д.). Понятие «воздействие» («impart») при этом представляется просто избыточным.

Данный вывод представляется вполне очевид­ным. Однако соображения о соотношении понятий использования и ценности слишком часто вообще не принимаются во внимание апологетами «воз­действия» как якобы основной характеристики, отображаемой цитируемостью. (Как будто инфор­мация о «ценности» публикации для какой-то на­учной школы говорит меньше, чем информация о ее «воздействии» на эту школу!) Кроме того, по­следователи «нормативной теории цитирования», считая качество цитируемого документа основным свойством, отображаемом цитируемостью, также не замечают простейшей логической цепочки: «ци­тировано, потому что использовано, а если исполь­зовано, значит — ценно» [1; 18]. И поэтому рекон­струкция роли ценности (научных документов, их совокупностей, содержащейся в них информации, их авторов и т. д.) в наукометрических исследова­ниях, предпринятая в настоящей работе, представ­ляется нам необходимой и своевременной.

Об авторе

В. С. Лазарев
Научная библиотека Белорусского национального технического университета
Беларусь
Владимир Станиславович Лазарев, ведущий библиограф отдела маркетинга и проектной деятельности Researcher ID: D-5165-2016; Google Scholar: https://scholar.google.ru/citations?user=-C7EcR8AAAAJ&hl=ru&oi=sra Research Gate: https://www.researchgate.net/profile/Vladimir_Lazarev6


Список литературы

1. Лазарев В.С. Неудовлетворительные определения или смутно понимаемое понятие? Об определениях термина «impact». Наука и научная информация. 2019;2(1):63–78. https://doi.org/10.24108/2658-3143-2019-2-1-63-78

2. Bornmann L. Is there currently a scientific revolution is scientometrics? Journal of the Association for Information Science and Technology. 2014;65(3):647–648. https://doi.org/10.1002/asi.23073

3. Garfield E. Citation indexes for science: A new dimension in Documentation through association of ideas. Science. 1955;122(3159):108–111.

4. Cole S., Cole J.R. Scientific output and recognition: A study in the operation of the reward system in science. American Sociological Review. 1967;32(3):377–390.

5. Garfield E., Malin M.E. Can Nobel Prize winners be predicted? Paper presented at 135th Annual Meeting, American Association for the Advancement of Science, Dallas, Texas — December 26–31, 1968. Eugene Garfield, Ph.D. (1925–2017) S.a. URL: http://www.garfield.library.upenn.edu/papers/nobelpredicted.pdf (дата обращения 13.12.2018).

6. MacRoberts M.H., MacRoberts B.R. Problems of citation analysis: A critical review. Journal of the American Society for Information Science. 1989;40(5):342–349.

7. MacRoberts M.H., MacRoberts B.R. Problems of citation analysis. Scientometrics. 1996;36(3):435– 444.

8. History of citation indexing. In: Essays. S.a., Clarivate Analytics. URL: https://clarivate.com/essays/history-citation-indexing/ (дата обращения 13.12.2018).

9. Кара-Мурза С.Г. Цитирование в науке и подходы к оценке научного вклада. Вестник АН СССР. 1981;(5):68–75.

10. Воверене О.И. Об оценке эффективности систем избирательного распространения информации. Научно-техническая информация. Сер. 1. 1973;(9):12–14.

11. Мирская Е.З. Механизм оценки и формирования знания в естественных науках. Вопросы философии. 1976;(5):119–130.

12. Lazarev V.S. On chaos in bibliometric terminology. Scientometrics. 1996;35(2):271–277. https://doi.org/10.1007/BF02018485

13. Lazarev V.S. Properties of scientific periodicals under bibliometric assessment. International Journal of Information Sciences for Decision Making. 1997;(1):1–17. URL: http://isdm.univ-tln.fr/PDF/isdm1/isdm1a6_lazarev.pdf (дата обращения 13.12.2018).

14. van Raan A.F.J. In matters of quantitative studies of science the fault of theorists is offering too little and asking too much. Scientometrics. 1998;43(1):129–139. https://doi.org/10.1007/BF02458401

15. Lazarev V.S. Citation analysis in the context of nobelistics: citedness figures (An essay of a bibliometrician) В кн.: Тютюнник В.М., Горбунов Г.В. (ред.) Нобелистика. Науковедение. Информатика: Материалы 5 Международной встречи-конференции лауреатов Нобелевских премий и нобелистов; 5 Междунар. (7 Тамбовской) науч. конф. «Информатика и науковедение», Тамбов, 17–20 ноября 1998 г. Тамбов: изд-во ТГУ им. Г.Р. Державина; изд-во МИНЦ, 1999.

16. Bornmann L., Mutz R., Neuhaus C., Daniel Y.-D. Citation counts for research evaluation: standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics in Science and Environmental Politics. 2008;8:93–102. https://doi.org/10.3354/esep00084

17. Лазарев В.С. Научные документы и их упорядоченные совокупности: цитируемость, использование, ценность. Международный форум по информации. 2017;42(1):3–16. URL: http://lamb.viniti.ru/sid2/sid2free?sid2=J15472040 (дата обращения 13.12.2018).

18. Лазарев В.С. Можно ли считать уровень цитируемости научных документов показателем их качества? В кн.: Груша А.И. и др. (ред.) Наукометрия: методология, инструменты, практическое применение: сб. науч. ст. Минск: Беларуская навука; 2018. URL: https://rep.bntu.by/handle/data/37342 (дата обращения 13.12.2018).

19. Fussler H.H. Characteristics of the research literature used by chemists and physicists in the United States. Library Quarterly. 1949;19(1):19–35.

20. Simkin M.V., Roychowdhury V.P. Stochastic modeling of citation slips. Scientometrics. 2005;62(3):367–384. https://doi.org/10.1007/s11192-005-0028-2

21. Kurtz M.J., Bollen J. Usage bibliometrics. Annual Review of Information Science and Technology. 2010;44(1):3–64. https://doi.org/10.1002/aris.2010.1440440108

22. Лазарев В.С. Учет заказов на копии статей в информационной работе (отклик на статью У.И.Б. Онуигбо). Международный форум по информации и документации. 1986;11(2):40–41. URL: https://rep.bntu.by/handle/data/25448 (дата обращения 13.12.2018).

23. Лазарев В.С. Обращения читателей к научным периодическим изданиям как показатель тематической направленности изданий. В кн.: Методологические проблемы медицинской информатики и науковедения: Сб. науч. тр. Москва: Научно-производственное объединение «Союзмединформ» и др., 1989. URL: https://rep.bntu.by/handle/data/25434 (дата обращения 13.12.2018).

24. Scales P.A. Citation analysis as indicator of the use of serials: A comparison of ranked titles lists produced by counting and from the use data. Journal of Documentation. 1977;32:17–25. https://doi.org/10.1108/eb026612

25. Garfield E. Why are the impacts of the leading medical journals so similar and yet so different? Item-by-item audits reveal a diversity of editorial material. Current Contents. 1987;(2):7–13.

26. Nederhof A.J., van Raan A.F.J. Citation theory and the Ortega hypothesis. Scientometrics. 1987;12(5– 6):325–328. https://doi.org/10.1007/BF02016674

27. Liu M. Progress in documentation — the complexities of citation practice: a review of citation studies. Journal of Documentation. 1993;49(4):370–408.

28. Merton R.K. The sociology of science: An episodic memoir. In: The sociology of science in Europe. Carbondale: Southern Illinois Univ. Press, 1977. Цит. по [29, c. 100].

29. Бредихин С.В., Кузнецов А.Ю., Щербакова Н.Г. Анализ цитирования в библиометрии. Новосибирск: ИВМиМГ СО РАН, НЭИКОН, 2013.

30. Терминологический словарь по информатике. Москва: МЦНТИ, 1975.

31. Зозулич М.Ф., Венделева М.А. Особенности управления информационными ресурсами предприятия. В кн.: Экономика и эффективность организации производства: сб. науч. тр. по итогам Междунар. науч.-техн. конф. Вып. 9. Брянск: БГИТА, 2008.

32. Минкина В.А. Изучение документальных потоков для определения ценностных свойств технической литературы. В кн.: Труды Ленинградского государственного института культуры им. Н.К. Крупской. Т. 76: Документальные потоки по естествознанию и технике и проблемы библиографии. Л., 1983.

33. Garfield E. Quality of impact factor of general medical journals — PRADVA wins hands down. British Medical Journal. 2003;326(7383):283. https://doi.org/10.1136/bmj.326.7383.283

34. Tahamtan I., Afshar A.S.K., Ahamdzadeh K. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics. 2016;107(3):1195–1225. https://doi.org/10.1007/s11192-016-1889-2

35. Hamid R. Jamali H.R., Nikzad M. Article title type and its relation with the number of downloads and citations. Scientometrics. 2011;88(2):653–661. https://doi.org/10.1007/s11192-011-0412-z

36. Garfield E. Is citation analysis a legitimate evaluation tool? Scientometrics. 1979;1(4):359–375.

37. Gove Ph.B. (ed.-in-chief) Webster’s Third New International Dictionary of the English Language. Unabridged. Utilizing All the Experience and Resources of More than One Hundred Years of Merriam-Webster Dictionaries. Cologne: Köneman, 1993. 2663 p.

38. Системы менеджмента качества. Основные положения и словарь СТБ ISO 9000-2015 (ISO 9000:2015, IDT). Взамен СТБ ИСО 9000-2006; введ. 2016-03-01. Минск: Госстандарт; БелГИСС, 2015.

39. Системы менеджмента качества. Основные положения и словарь (с Поправкой) ГОСТ Р ИСО 9000-2015 (Национальный стандарт Российской Федерации) URL: http://docs.cntd.ru/document/1200124393 (дата обращения 13.12.2018).

40. Thelwall M. Not dead, just resting: The practical value of per publications citation indicators. Journal of Informetrics. 2016;10(2):667–670.

41. Martin B.R., Irvine J. Assessing basic research. Some partial indicators of scientific progress in radio astronomy. Research Policy. 1983;12(2):61–90.


Для цитирования:


Лазарев В.С. СВОЙСТВО, КОТОРОЕ НА САМОМ ДЕЛЕ ОЦЕНИВАЮТ, КОГДА ГОВОРЯТ, ЧТО ОЦЕНИВАЮТ “IMPACT”. Наука и научная информация. 2019;2(2):129-138. https://doi.org/10.24108/2658-3143-2019-2-2-129-138

For citation:


Lazarev V.S. THE PROPERTY THAT IS FACTUALLY BEING EVALUATED WHEN THEY SAY THEY EVALUATE IMPACT. Scholarly Research and Information. 2019;2(2):129-138. (In Russ.) https://doi.org/10.24108/2658-3143-2019-2-2-129-138

Просмотров: 145


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2658-3143 (Online)