Separating the wheat from the chaff: The role of evaluation instructions, user characteristics, and the search interface in evaluating information quality during Web search on medical and health-related issues

Abstract

The World Wide Web has become a major resource for medical and health information. However information on the Web varies considerably, with many Web sites containing one-sided, biased, or even false information. Thus, it has become more and more important for Web searchers to critically evaluate the information quality, in order to "separate the wheat from the chaff". Therefore, the purpose of this dissertation was to investigate under which preconditions and to what extent laypersons engage in evaluations of information quality during Web search for a conflicting medical or health-related issue. The dissertation is grounded in theory and prior research related to the information foraging theory (Pirolli, 2007; Pirolli & Card, 1999) and the documents model framework (Perfetti et al., 1999, Rouet, 2006), as well as in research from the field of information science (e.g., Rieh, 2002). Based on a conceptual framework proposed by Lazonder and Rouet (2008) three different types of variables that may influence the evaluation of information quality during Web search were examined, namely contextual variables, individual variables, and resource variables. To collect data on participants' (i.e., university students') evaluation processes during Web search, a combination of different process measures such as eye tracking methodology, log file data, and verbal protocols was used. In addition, the product of the search task conducted by the participants was examined as well. In Study 1 the effects of explicit evaluation instructions as compared to neutral thinking-aloud instructions (contextual variable) and of prior domain knowledge (individual variable) on evaluation processes during Web search were examined. Results of the study showed that the combination of explicit evaluation instructions and a certain amount of prior domain knowledge resulted in significantly increased quality-related evaluation processes both on search engine results pages (SERPs) and on Web pages. In contrast, participants with low prior domain knowledge only rarely evaluated the quality of information. Instead, they tended to simply rely on the ranking provided by the search engine. Therefore, the purpose of Study 2 and 3 was to examine other, more domain-independent factors that might facilitate source evaluations when prior domain knowledge is low. Two potential factors identified were searchers' personal epistemology (individual variable) and the affordances of the search interface (resource variable) that searchers have available to access information sources. In Study 2, participants' Internet-specific epistemic beliefs (cf. Strømsø & Bråten, 2010), more precisely, the extent to which they believed that the Web contains correct study-related (i.e., academic) knowledge were assessed. Furthermore, with regard to the search interface a Google-like list interface was compared to a grid interface that presented the search results in a three-by-three matrix, thus making the ranking of the search results less salient. Results of the study indicated that both a grid interface and epistemic doubts that the Web contains correct study-related knowledge stimulated searchers' quality-related evaluation processes, in particular when the top search results presented by the search engine were rather untrustworthy. In addition, the grid interface seemed to compensate for less adaptive epistemic beliefs, such that participants who were less doubtful that the Web contains correct study-related knowledge showed better search outcomes with the grid interface than with the list interface. In Study 3, a list interface was compared to a tabular interface in that search results were grouped in three columns, labeled as "objective information", "subjective information", and "commercial information". Again, participants' Internet-specific epistemic beliefs were assessed, though this time with regard to Web-based knowledge in general. Results of the study showed that both a tabular interface as well as epistemic beliefs that the Web contains correct knowledge led to an increased focus on objective information during Web search. Furthermore, in particular participants with strong beliefs that the Web contains correct knowledge seemed to benefit from the tabular interface, as they achieved better search outcomes in the tabular interface than in the list interface. In sum, this dissertation provides evidence that all three types of variables as classified in the conceptual framework by Lazonder and Rouet (2008) influence the evaluation of information quality during Web search: explicit evaluation instructions as a contextual variable, prior domain knowledge and Internet-specific epistemic beliefs as individual variables, and the search interface users have at their disposal as a resource variable.

Das World Wide Web ist zu einer zentralen Informationsressource für medizinische und gesundheitsbezogene Themen geworden. Die Qualität von Informationen im Web variiert jedoch stark. Viele Webseiten enthalten einseitige, verzerrte oder gar falsche Informationen. Folglich ist es wichtig, dass Webnutzer die Qualität der Informationen kritisch bewerten, um die "Spreu vom Weizen zu trennen". Daher war das Ziel dieser Dissertation, zu untersuchen, unter welchen Voraussetzungen und in welchem Ausmaß Laien bei der Webrecherche zu einem konfligierenden medizinischen oder gesundheitsbezogenen Thema die Informationsqualität kritisch bewerten. Theoretischer und empirischer Hintergrund der Dissertation gründen auf der Information Foraging Theorie (Pirolli, 2007; Pirolli & Card, 1999) und der Theorie der Repräsentation multipler Dokumente (Perfetti et al., 1999, Rouet, 2006), sowie auf Forschung aus den Informationswissenschaften (z.B. Rieh, 2002). Basierend auf einem konzeptuellen Modell von Lazonder und Rouet (2008) wurden drei verschiedene Arten von Variablen als potentielle Einflussfaktoren auf die Bewertung der Informationsqualität während der Webrecherche betrachtet: Kontextvariablen, individuelle Variablen und Ressourcenvariablen. Bewertungsprozesse der Probanden (Studenten) bei der Webrecherche wurden mittels Blickbewegungs- und Logfile-Analysen, sowie verbalen Protokollen untersucht. Darüber hinaus wurde auch das Ergebnis der Webrecherche betrachtet. In Studie 1 wurden der Einfluss einer expliziten Bewertungsinstruktion im Vergleich zu einer neutralen Laut-Denken-Instruktion (Kontextvariable) sowie von domänenspezifischem Vorwissen (individuelle Variable) auf Bewertungsprozesse bei der Webrecherche untersucht. Ergebnisse der Studie zeigten, dass die Kombination aus expliziter Bewertungsinstruktion und einem gewissen Maß an Vorwissen qualitätsbezogene Bewertungsprozesse sowohl auf Suchergebnis-Seiten (SERPs) als auch auf Webseiten signifikant erhöhte. Probanden mit niedrigem Vorwissen bewerteten die Informationsqualität auf SERPs und auf Webseiten dagegen nur sehr selten. Anstatt dessen tendierten sie dazu, sich einfach auf das Ranking der Suchmaschine zu verlassen. Daher war das Ziel von Studie 2 und 3 zu untersuchen, ob es bestimmte domänenunabhängigere Voraussetzungen gibt, unter denen selbst Webnutzer mit niedrigem Vorwissen die Informationen kritisch hinsichtlich ihrer Qualität bewerten. Zwei potentielle Faktoren, die identifiziert wurden, waren die epistemologischen Überzeugungen der Websucher (individuelle Variable) sowie die Affordanzen des Suchmaschinen-Interface, das den Websuchern zur Verfügung steht (Ressourcenvariable). In Studie 2 wurden Internet-spezifische Überzeugungen erfasst (vgl. Strømsø & Bråten, 2010), genauer gesagt, das Ausmaß, in dem die Probanden glaubten, dass das Web korrektes, studiumsbezogenes (d.h. akademisches) Wissen enthält. Bezüglich des Suchmaschinen-Interface wurde außerdem ein Listen-Interface (vgl. Google) mit einem Gitter-Interface verglichen, das die Suchergebnisse in einer drei-mal-drei Matrix präsentierte und somit das Ranking der Suchergebnisse weniger salient machte. Ergebnisse der Studie zeigten, dass sowohl ein Gitter-Interface als auch epistemologische Zweifel daran, dass das Web korrektes, studiumsbezogenes Wissen enthält, qualitätsbezogene Bewertungsprozesse anregten, insbesondere wenn die obersten Suchergebnisse eher wenig vertrauenswürdig waren. Zusätzlich schien das Gitter-Interface weniger günstige epistemologische Überzeugungen zu kompensieren, in der Art dass Probanden, die unkritischer waren, dass das Web korrektes, studiumsbezogenes Wissen enthält, mit dem Gitter-Interface bessere Recherche-Ergebnisse erzielten als mit dem Listen-Interface. In Studie 3 wurde eine Listen-Interface mit einem Tabellen-Interface verglichen, in dem die Suchergebnisse in drei Spalten nach objektiven, subjektiven und kommerziellen Informationen angeordnet waren. Wieder wurden die Internet-spezifischen epistemologischen Überzeugungen erfasst, dieses mal jedoch in Bezug auf Wissen im Web generell. Die Ergebnisse der Studie zeigten, dass sowohl ein Tabellen-Interface als auch epistemologische Überzeugungen, dass das Web korrektes Wissen enthält zu einem stärkeren Fokus auf objektive Informationen während der Webrecherche führten. Außerdem schienen insbesondere Studenten mit dieser epistemologischen Überzeugung von dem Tabellen-Interface zu profitierten, da sie mit dem Tabellen-Interface bessere Recherche-Ergebnisse erzielten als mit dem Listen-Interface. Insgesamt konnte diese Dissertation zeigen, dass alle drei Arten von Variablen nach dem konzeptuellen Modell von Lazonder und Rouet (2008), genauer gesagt explizite Bewertungsinstruktionen, domänenspezifisches Vorwissen und Internet-spezifische epistemologische Überzeugungen, sowie Affordanzen des Suchmaschinen-Interface eine wichtige Rolle bei der Bewertung der Informationsqualität im Web spielen.