|
ESTONIAN SOCIAL SCIENCE ONLINE |
|
||||||||||
|
Teadusraamatukogu väärtust on traditsiooniliselt mõõdetud suuruse, mahu, kulutuste jms. näitajate järgi, nüüdisajal on aga üha olulisem raamatukogu tegevuse tulemuslikkuse analüüsimisel hinnata kasutaja rahulolu (customer satisfaction) ja teenuse kvaliteeti (service quality).
Käesolevas kirjutises antakse ülevaade teenuse kvaliteedi määratlustest raamatukogunduses ning kvaliteediuuringutes rakendatavast LibQUAL+™ kontseptsioonist, metoodika kasutamise kogemustest teadusraamatukogude teenuste kvaliteedi hindamisel ning käsitletakse Eesti teadusraamatukogude ühisuuringu “Raamatukogutöö tulemuslikkus: teenused ja teenuste kvaliteet Eesti teadusraamatukogudes 2005-2007” üldteoreetilist tausta.
Teenuse kvaliteet ja kasutaja rahulolu uurimisainena raamatukogunduses
Teoreetilise tausta teenuse kvaliteedi ja kasutaja rahulolu uuringuteks nüüdis raamatukogunduses moodustavad viimase kümnendi käsitlused, millest tänaseks on nö krestomaatiliseks kujunenud N. Van House, N. Weil`i ja C. McClure käsiraamat „Measuring Academic Library Performance : A Practical Approach“. Käsiraamatus keskendutakse raamatukogutöö kvaliteedi uuringute metoodikale, lugejauuringute läbiviimise tehnikale ning küsitluste aluseks olevate ankeetide koostamisele lugeja rahulolu väljaselgitamiseks. Käsiraamatus pakutud metoodika annab võimaluse analüüsida, hinnata ja võrrelda raamatukogude töö tulemuslikkust ning arendada raamatukogudevahelist koostööd (Van House jt 1990). Järgmiseks oluliseks alusdokumendiks raamatukogutöö tulemuslikkuse mõõtmisel ja hindamisel on R. Poll´i ja P. Boekhorst´i „Measuring Quality: International Guidelines for Performace Measurement in Academic Libraries“, mis oli tõukeks algatada nii Euroopas kui Põhja-Ameerikas raamatukogutöö kvaliteedi standardimist ning töö tulemuslikkuse analüüsi ja kvaliteedi hindamise metoodika ühtlustamist (Poll, Boekhorst 1996). Analüüsid teenuse kvaliteedist teadusraamatukogu kontekstis on ilmunud samuti P. Hernon´i ja E. Altman´i monograafiliste käsitlustena keskendudes nii teenuse kvaliteedi määramise üldküsimustele (Hernon, Altman 1996) kui ka teenuse kvaliteedi hindamisele nende kasutaja ootuste rahulolu seostes (Hernon, Altman 1998). Teadusraamatukogude Ühenduse (Association of Research Libraries/ARL) uute mõõtmiste programmi (New Measures Initiative) seisukohti teenuste kvaliteedi osas on käsitlenud D. Nitecki ja B. Franklin (Nitecki, Franklin 1999). Senistest uuringutest ja nende põhitulemustest on esitanud kokkuvõtteid Y. Lincoln, kes keskendus eelkõige teenuse kvaliteedi kategooriatele (Lincoln 2002), ning H. Landrum ja V. Prybutok, kes käsitlesid peamiselt informatsiooni ja teenuste kvaliteedi mõju raamatukogus pakutava ja vahendavaga üldrahulolule (Landrum, Prybutok 2004). Käesoleva kirjutise ülesandest – käsitleda Eesti teadusraamatukogudes kavandatava ühisuuringu üldteoreetilist tausta – tulenevalt on määrav C. McClure uurimisrühma seisukoht, et tulemuslikkuse mõõtmise eesmärkidest on olulisimad pakutava teenuse kvaliteedi, infonõudlusele vastavuse, teenuse edukuse ja osutamist tagavate tööprotsesside hindamine (McClure jt 2002).
Alates 1995. aastast on raamatukogu töö tulemuslikkuse ja kvaliteedi hindamise analüüsidega tegeldud järjepidevalt Ühendkuningriigis – Northumbria Ülikooli infoteaduste osakonna uurijad on koostöös rahvusvaheliste erialaorganisatsioonidega – International Federation of Library Associations and Institutions/IFLA, European Bureau of Library, Information and Documentation Associations/EBLIDA jt – korraldanud nö Northumbria-konverentse, et koordineerida ja juhtida raamatukogutöö tulemuslikkuse mõõtmise ja hindamise alaste uuringute läbiviimist ning uurimismetoodika väljatöötamist ja kaasajastamist. Tänaseks on toimunud viis konverentsi, millest seniks viimase, 2002. aastal toimunu, teemaks oli „Statistics in Practice – Measuring and Managing“ ning rõhuasetus eelkõige kvalitatiivsete raamatukogustatistika analüüside kasutamise olulisusel juhtimisotsuste vastu võtmisel.
Esimese konverentsi tulemusena loodi raamatukogutöö tulemuslikkuse mõõtmist ja kvaliteedi hindamist käsitlev ajakiri „Performance Measurement and Metrics“, mille veergudel on ilmunud mitmeid olulisi kirjutisi analüüsitavast temaatikast – näiteks, väljundi (outcome) ja mõju (impact) rolli käsitlus tulemuslikkuse mõõtmise läbiviimisel (Poll 2003).
Raamatukogutöö kvaliteedi eriaspektidega tegeldakse regulaarselt ka mitmete rahvusvaheliste erialaorganisatsioonide raames – nii näiteks moodustati IFLAs 2003. aastal statistika ja hindamise sektsiooni juurde töögrupp (Quality Issues in Libraries Discussion Group) kvaliteedi käsitluste analüüsimiseks raamatukogus.
Teenuse kvaliteedi kohta puudub paraku erialakirjanduses ühene seisukoht selle defineerimiseks, kuid B. Franklin´i ja D. Nitecki 1999. aastal esitatud käsitlus pakub selliseks ühendavaks teesiks teenuse kvaliteedi subjektiivsust ja kasutaja kaasatust (Nitecki, Franklin 1999). Viimati mainitud mõte kajastub ka P. Hernoni ja J. Whitmani 2001. aastal ilmunud monograafias “Delivering Satisfaction and Service Quality”, mille kohaselt tegeleb teenuse kvaliteet ootustega - s.t. ootustega, mida raamatukogu on valinud täitma (Hernon, Whitman 2001: 23). Teenus ja kvaliteet ei saa olla seostamatud mõisted kuna kvaliteet on viis kuidas teenust osutatakse. P. Hernon ja E. Altman (Hernon, Altman 1996; Hernon, Altman 1998) leiavad, et teenuse kvaliteet on küll väga mitmetasandiline, kuid selgelt eristuvad kaks peamist tasandit - rahulolu ja kontekst. Rahulolu osutab selle saavutamisele, mis oli külastuse põhjuseks. Kontekst aga hõlmab kogemust ennast - interaktsioon personaliga, raskused süsteemidega, keskkonna mugavused jne.
Metoodikaid teenuse kvaliteedi mõõtmiseks
Viimane kümnend tähistab raamatukogude tegevuses oluliste muutuste perioodi. Muutuste peamiseks tingijaks on olnud tegevuste ümberhindamine kasutajast lähtuvalt. Määravaks ei ole enam olemasoleva kogu suurus, vaid eelkõige see, mida olemasolevate ressurssidega tehakse (Hernon 2002). See on omakorda viinud arusaamisele raamatukogust kui dünaamilisest organisatsioonist, mille tegevus ei baseeru sõltuvussidemel, vaid vastastikusel koostöösuhtel (kliendisuhted). On toimunud otsustusõiguse üleandmine olemasolevate ressursside tarbijale, e. raamatukogu kasutajale. Tulemuslikkuse näitajaks pole enam mingi üksiktegevus (nt. kogude kujundamine), vaid ühesel alusel tõlgendatav tegevuste kombinatsioon.
Kasutajakeskse orientatsiooni tunnustamine näitas, et iga kokkupuude teenust osutava organisatsiooniga võib olla omamoodi tõe momendiks (the moment of truth), mille käigus annab kasutaja tegevustele subjektiivseid hinnanguid (kasutaja rahulolu). Subjektiivseid hinnanguid on aga raske ohjata ning ilma konkreetsema kriteeriumita puudub organisatsioonil võimalus neid teenuste kujundamisel ära kasutada. Vaja on ühtset, hõlmavamat kontseptsiooni, mis määratleks ära need kriitilised edufaktorid ja tekitaks seeläbi võimaluse teenuste parendamiseks, täiendamiseks. Sellise tegevuste mõõdupuuna nähti teenuse kvaliteeti, mis peaks sõnastama, ühtsest kriteeriumist lähtuvad ja paremini hoomatavad tulemuslikkuse aspektid.
Üks olulisemaid katsetusi teenuse kvaliteedi eriaspektide kirjeldamisel on 1980ndate aastate lõpus Berry, Parasuraman´i ja Zeithaml`i poolt väljatöötatud ja nii turundusteoorias kui praktikas tunnustust leidnud kontseptsioon SERVQUAL (lühend sõnadest service ja quality), mille põhjal jaotatakse teenuse kvaliteet viieks peamiseks komponendiks:
· organisatsiooni füüsiline keskkond (tangibles) – kombatav, nö. käega katsutav. Sisustus, seadmed, personali väljanägemine, teenuseid tutvustavad materjalid;
· täpsus, korrektsus, usaldusväärsus, usaldatavus, (reliability);
· soov lahendada tarbijate probleeme ja kiirus, millega need probleemid lahendatakse, reageerimisvõimelisus, tundlikkus, paindlikkus, (responsiveness);
· kompetentsus (assurance) – kompetentsus, pädevus, teadmised, kogemused, usaldatavus, sõbralikkus, lahkus, respekt;
· sisseelamisvõime (empathy) – usaldusväärsus, turvalisus, tarbija mõistmine, personali valmisolek lahendada tarbijate soove individuaalselt, hoolitsus, empaatia. (Lepik, 2000).
SERVQUAL´i näol on tegemist kontseptsiooniga, mis üheltpoolt määratleb võimalikud edufaktorid, kuid samas annab ka alused nende faktorite sihipäraseks mõõtmiseks, lähtudes seejuures nn. lõhede teooriast (gap theory), mis nimetatud viiest edukriteeriumist tulenevalt püüab analüüsida teenuse oodatud ja tegelikku kvaliteeti ning nendevahelisi lünki (Cook, Thompson 2000).
Sihipärasema tegevuse algust mõõtmismeetodite väljaarendamiseks raamatukogunduslikus valdkonnas tähistab nn. uute mõõtmiste programmi (New Measures Initiative) käivitamine 1999 aastal Teadusraamatukogude Ühenduse (Association of Research Libraries) poolt. Nimetatud programmi algatamine oli märk eeskätt muutunud olude - sisendite asemel tegevuse väljundite hindamine ning pidev nõudlus suurendada ressurside kasutamist - laiemast teadvustamisest ja omaksvõtust erialasektoris, kuid ka kasvavast vajadusest uute mõõtmismeetodite järele, mis oleksid rakendatavad spetsiifilisemalt vaid raamatukogu kontekstis (ARL 2004)
SERVQUAL metoodika oli selleks ajaks juba raamatukogunduses teatud kujul kasutusel, kuid mitmed pilootuuringud näitasid, et selle rakendused vajavad spetsiifilisemat analüüsimist raamatukogunduslikest aspektidest lähtuvalt.
Ühe nn. alternatiivse mõõtmisinitsiatiivina käivitus 1999 aastal projekt nimega LibQUAL+™. Tegemist juba käsitletud oli Teadusraamatukogude Ühenduse (ARL) poolt väljatöötatud uurimis- ja arendusprojektiga, mis koostöös Texase Ülikooli ning Ameerika Ühendriikide valitsuse toetusel püüdis määratleda raamatukogu teenuse kvaliteeti, seda mõõta ning hinnata. Eesmärgiks sai välja arendada kindel raamatukogu teenuse kvaliteedi hindamise programm ja veebipõhised mõõtmistehnikad, et tagada jätkusuutlikkus teenuse kvaliteedi hindamisel (LibQUAL +™ 2004)
LibQUAL+™´i näol on tegemist mugandusega SERVQUAL mõõtmiskontseptsioonist, mis kasutaja rahulolu väljaselgitamisega püüab hinnata ja tõsta teenuste kvaliteeti. SERVQUAL kontseptsiooniga sarnaselt on ka siin määratletud raamatukogu kriitilised dimensioonid (juurdepääs informatsioonile, kasutaja iseseisvus, raamatukogu keskkond jt.), mis on lahtikirjutatud väidete (statements) kujul ning eeldavad kasutaja subjektiivsetel ootustel põhinevaid hinnanguid. Iga väide saab hinnangu kolmel eri skaalal, millede ulatus on 1-9 pallini (1 vastavalt siis kõige madalam ja 9 kõige kõrgem hinne, ülejäänud skaalapunktid on oma väärtustes jäetud lahtisteks, rõhutamaks subjektiivsust) (Wallis 2003):
· Miinimum – siinkohal annab kasutaja hinnagu lähtuvalt tema minimaalsetest ootustest antud teenuse suhtes;
· Soovitud – siin annab kasutaja hinnangu lähtuvalt tema soovist, millisena ta tegelikult antud teenust näha tahab;
· Tegelik/kogetud – see millisena kasutaja antud teenust koges või see, mida ta arvab et raamatukogu on üldse antud hetkel võimeline pakkuma.
Edasiselt toimub erinevate skaalade vaheline võrdlus, et selgitada välja lüngad kasutaja ootuste ja tegelikult kogetu vahel. Lünkadeks osutuvad antud juhul võrdluse tulemusel saadavad arvulised vahemikud (Wallis 2003):
· Vastavus (Adequacy Gap) = kogetud – minimum
· Eelis/paremus (Superiority Gap) = soovitud – kogetud
LibQUAL+™ mõõtmismetoodika peamine tugevus seisneb selles, et analüüsi käigus saadud arvulised näitajad võimaldavad vähemalt osaliselt kirjeldada tihti haaramatut teenust ja selle kvaliteeti. Ühtlasi saab raamatukogu selgema pildi konkreetsetest täiustamist vajavatest teenustest ning ka kasutaja tunnetab oma osalust otsustusprotsessis.
Raamatukogu teenused ja nende kasutajate rahuolu analüüsid Eestis
Teenuste kvaliteedi hindamise ühisuuringuid on alates 1990ndatest aastatest läbi viidud ka Eesti teadusraamatukogudes:
· 1993 pilootküsitlus “10 küsimust lugejale”, eesmärgiga välja selgitada lugeja üldrahulolu raamatukogu tegevuse ja teenindusega Eesti Rahvusraamatukogus (RR), Tartu Ülikooli Raamatukogus (TÜR), Tallinna Tehnikaülikooli Raamatukogus (TTÜR) ja Eesti Akadeemilises Raamatukogus (EAR).
· 1995-1997 viidi läbi põhjalikum uuring Eesti teadusraamatukogudes (RR, TÜR, TTÜR, EAR) lugeja üldrahulolu, teeninduse korralduse ja teenuste kvaliteedi ning kogude hindamiseks. Uuring tugines rahvusvaheliselt tunnustatud Ameerika Raamatukoguühingu (American Library Association/ALA) metoodikal (Van House jt 1990).
Uuringu tulemused avaldati 1998. aastal artiklite kogumikus “Teadusraamatukogud riiklikus infosüsteemis: teeninduskvaliteedi hindamisest” (Teadusraamatukogud 1998), kus käsitleti valdavalt Eesti teadusraamatukogudes tehtud teenindustöö tulemuslikkuse uuringuid, milles kogutud võrreldavat statistilist materjali on kogumikus analüüsitud paraku ühisuuringus osalenud raamatukogude keskselt, mitte võrdlevalt – nii saame ülevaate infotarbija rahulolust Rahusraamatukogus (Nuut 1998), tulemuslikkuse mõõtmisest Tartu Ülikooli raamatukogus (Miil 1998) ja tolleaegses Eesti Akadeemilises Raamatukogus (Veinberg 1998). Kuna samal metoodilisel alusel viidi läbi uuring ka teiste Läänemeremaade teadusraamatukogudes (Rootsis, Soomes, Lätis), on tulemused ka hästi võrreldavad ning uuringu tulemused võimaldanuks põhjalikumat võrdlusanalüüsi.
· 2000-2002 Eesti Teadusfondi toetusel läbiviidud grandiprojektis nr 4039 „Eesti teadusraamatukogude töö tulemuslikkuse hindamine ja kvaliteet“ keskenduti Eesti nelja teadusraamatukogu (RR, TÜR, TTÜR, EAR) töö tulemuslikkuse kvantitatiivsele analüüsile kasutades raamatukogu statistikat ja toimivusindikaatoreid. Analüüsiks rakendati kogude arengut ja muutuseid ning raamatukoguteenindust iseloomustavaid indikaatoreid, kulusid ja maksumusnäitajaid, personali koosseisu ja haridustaset. Esitatud hüpotees, et töö tulemuslikkuse mõõtmine ja hindamine on raamatukogu kui organisatsiooni töö tulemuslikkuse ja efektiivsuse parandamise vahend ning võimalus, leidis kinnitust.
Grandiprojekti raames käsitleti Eesti teadusraamatukogude töö tulemuslikkuse hindamise ja kvaliteediga seonduvalt rahvusvahelistel erialakonverentsidel Eestis (Lepik 2001, Nuut 2001), Leedus (Lepik 2002), Ameerika Ühendriikides (Nuut jt 2002), Ühendkuningriigis (Nuut 2003) ja Saksamaal (Lepik, Liivamägi 2003) ning leiti võimalusi sisse seada ja koostada erialaajakirjas ”Raamatukogu” rubriik ”Raamatukogu turuedukus”, mis pakub raamatukogunduslikule kooskonnale Eestis võimalus enesetäiendamiseks ja diskussiooniks.
Raamatukogu tegevuse tulemuslikkus, teenuse kvaliteet ja lugeja rahulolu on olnud uurimisaineks TPÜ infoteaduste osakonna bakalaureuse- (Gold 2001, Koitmaa 2001, Toomemets 2003, Puura 2003) ja magistritöödes (Nuut 2001, Ilus 2004). Nimetatud valdkond on juurdunud ka TPÜ infoteaduse magistriõppe õppekavas, kus alates 2001/2002 õppeaastast õpetatakse 3 AP mahus kohustuslikku ainet „Infotegevuse tulemuslikkuse hindamine ja kvaliteet“.
Kokkuvõtteks
Teenuse pakkumine ja kvaliteet on seotud raamatukogu missiooni, eesmärkide ja ülesannetega, teenindatavate sihtrühmade infonõudluse ning ootustega ja raamatukogu ressurssidega. Kavandatava ühisuuringu “Raamatukogutöö tulemuslikkus: teenused ja teenuste kvaliteet Eesti teadusraamatukogudes 2005-2007” läbiviimine annab võimaluse analüüsida ja võrrelda pakutavate teenuste kvaliteeti ja infotarbija üldrahulolu teadusraamatukogudes, koordineerida inforessursside hanget ja ühtlustada teeninduse taset. Ühisuuring kaasab Eesti suurimaid teadusraamatukogusid – Eesti Rahvusraamatukogu, Tartu Ülikooli Raamatukogu, Tallinna Pedagoogikaülikooli Akadeemilist Raamatukogu ja Tallinna Tehnikaülikooli Raamatukogu, uurimisrühm nende raamatukogude esindajatest on alustanud koostööd eelkõige uuringu üldteoreetilise tausta analüüsimise, kasutatava metoodika kaalumise ning vastavateemaliste töökohtumiste läbiviimisega. Kavandatav ühisuuring toetub senitehtule ning uurimuse tulemused, tuginedes maailmapraktikas rakendatud metoodikale, aitaksid kaasa infoteenuste kvaliteedi tõstmisele ja infonõudluse paremale rahuldamisele, raamatukogude teeninduse strateegiate kujundamisele, teenindustingimuste parendamisele ning kogude kujundamisele.
Raamatukogutöö tulemuslikkus on iseloomustatav efektiivsuse, tõhususe, loodava uue väärtuse, teenuste kvaliteedi ja teenuste mõjuga ühiskonna arengule tervikuna. Raamatukogutöö tulemuslikkus, selle hindamine ja kvaliteedi tagamine on omakorda eelduseks tulemuslikult toimivale raamatukoguvõrgule.
Kasutatud allikad:
ARL New Measures Initiative. URL http://www.arl.org/stats/newmeas/index.html (10.10.2004)
ARL. LibQual. URL http://www.arl.org/libqual/geninfo/faqgen.html (11.10.2004)
Bertot, J., McClure, C. (2003). Outcomes assessment in the Networked Environment: Research Questions, Issues, Considerations, and Moving Forward. Library Trends, 51 (4), 590-613.
Cook, C., Thompson. (2000). Reliability and Validity of SERVQUAL Scores Used to Evaluate Perceptions of Library Service Quality. The Journal of Academic Librarianship, 26, 4, 248-258.
Hernon, P., Altman, E. (1998). Assessing service quality: Satisfying the expectations of customers. Chicago: American Library Association.
Hernon, P., Altman E. (1996). Service quality in academic libraries. Norwood, New Jersey: Ablex.
Hernon, P. (2002). Quality: New Directions in the Research. The Journal of Academic Librarianship, 28, 4, 224-231.
Hernon, P., Whitman, J. (2001). Delivering satisfaction and service quality: A customer-based approach for libraries. Chicago: American Library Association.
Landrum, H., Prybutok, V. (2004). A Service Quality and Success Model for the Information Service Industrie. European Journal of Operational Research, 156, 628-642.
Lepik, A. (2001). Measuring library’s value in qualitative terms. In: Libraries in Knowledge-based Society. Proceedings of the 3rd Nordic-Baltic Library Meeting. October 25-25, 2001, 187-193. Tallinn: National Library of Estonia.
Lepik, A. (2000). Teenuse kvaliteet tulemuslikkuse hindamisel. Raamatukogu, 4, 5-6.
Lepik, A. (2002). The multidimensional nature of performance measurement in research libraries: Estonian Approach. In: Information Sciences, 20, 42-48. Vilnius: Vilnius University.
Lepik, A. Liivamägi, T. (2003). Past Decade – Trasnforming Measures and Values in Estonian Library Practice. In: Access Point: Library. Proceedings of World Library and Information Congress: 69th IFLA General Conference and Council. August 1-9, 2003, Berlin, Germany. (CD-ROM version).
LibQUAL +™ Homepage URL http://www.libqual.org (10.10.2004)
Lincoln, Y. (2002). Insights into library services and users from qualitative research. Library and Information Science Research, 24, 3, 3-16.
McClure, C., Fraser, B., Shim, W., Bertot, J. (2002). Identifying and measuring library activities/services related to academic institutional outcomes. Washington DC: Association of Research Libraries.
Miil, K. (1998). The Survey of the Resultfulness of library Performance at the Tartu University Library. In: Research Libraries in Public Information System: Towards Performance Quality, 55-72. Tallinn: National Library of Estonia.
Nitecki, D., Franklin B. (1999) Perspectives on new measures for research libraries. Journal of Academic Librarianship, 25 (6), 484-487.
Nuut, A. (2001). Efficiency, Effectiveness and Economy of Library Performance: Research Libraries in Estonia In: Libraries in Knowledge-based Society. Proceedings of the 3rd Nordic-Baltic Library Meeting, October 25-26, 2001, 49-57. Tallinn: National Library of Estonia.
Nuut, A. (2003). Library Statistics and Standardisation: Performance Measurement and Possibilities for Applying New Methods on Performance Measurement and Benchmarking in Estonia. In: Statistics in Practice – Measuring & Managing. Proceedings of IFLA Satellite Conference Loughborough, August 2002, 179-186. Loughborough: Loughborough University. (LISU occasional paper; 32).
Nuut, A. (1998). Performance Measurement and Quality Evaluation: a User Satification Survey in the National Library of Estonia. In: Research Libraries in Public Information System: Towards Performance Quality, 101-110. Tallinn: National Library of Estonia.
Nuut, A., Lepik, A., Liivamägi, T. (2002). Developing Performance Measurement and Quality – Evaluation in Estonian Research Libraries: Survey of Current Situation. In: Meaningful Measurement for Emerging Realities. Proceedings of 4th Northumbria International Conference on Performance Measurement in Libraries and Information Services. August 12-16, 2001, Pittsbutgh, Pennsylvania, USA, 159-170. Washington DC: Association of Research Libraries.
Poll, R. (2003). Measuring Impact and Outcome in Libraries. Performance Measurement and Metrics, 4 (1), 5-12.
Poll, R., Boekhorst, P. (1996). Measuring Quality: International Guidelines for Performance Measurement in Academic Libraries. Munich: Saur. (IFLA Publication 76).
Teadusraamatukogud riiklikus infosüsteemis: teeninduskvaliteedi hindamisest = Research Libraries in Public Information System: Towards Performance Quality. (1998). Koost. A. Norberg. ACTA Bibliothecae Nationalis Estoniae VIII. Tallinn: Eesti Rahvusraamatukogu.
Van House, N., Weil N., McClure, C. (1990) Measuring Academic Library Performance: A practical Approach. Chicago: American Library Association.
Veinberg, A. (1998). User Survey in the Estonian Academic Libaray: Users of the Library and their Evaluations. In: Research Libraries in Public Information System: Towards Performance Quality, 91-100. Tallinn: National Library of Estonia.
Wallis, L. (2003). LibQUAL+™ 2003 Summary of Results for J. Paul Leonard Library URL http://www.library.sfsu.edu/libqual/summary2003.pdf (12.10.2004)