Jasper Visser to założyciel firmy Inspired by Coffe, zajmującej się wspieraniem instytucji kultury w zakresie ich obecności online, promocji oraz zarządzania. Jest też autorem bloga The Museum of the Future.

Przeglądając tego bloga trafiłem na krótki wpis poświęcony problemowi ewaluacji projektów internetowych prowadzonych przez instytucje GLAM (Galleries, Libraries, Archives & Museums). Główną ideą tekstu jest odejście od ilościowego modelu ewaluacji tych inicjatyw – liczenia odsłon stron, liczby komentarzy czy liczby fanów na Facebooku – w kierunku modelu jakościowego. Zdaniem Jaspera Vissera (które w pełni popieram) nie da się opisać jedynie za pomocą liczb efektywności instytucji kultury w internecie. Myślę, że wielu polskim instytucjom takie krytyczne podejście mogłoby się przydać – pytanie tylko, czy finansujące je podmioty (samorządy, ministerstwa) są w stanie zaakceptować nowy sposób rozliczania projektów.

Autor proponuje skorzystanie z rozwiązań stosowanych w serwisach hotelarskich (takich jak booking.com), które tworzą własne modele oceniania ofert noclegowych, nie mogąc przecież opierać się na danych z Google Analitics w budowaniu swoich rankingów.

Jasper Visser, Going from measuring online success to measuring significance @The Museum of the Future, opublikowane na licencji Creative Commons Uznanie autorstwa-Na tych samych warunkach 3.0 Holandia (CC BY-SA 3.0)

Tłumaczenie zawiera drobne edycje.

• • •

Od badania efektywności online do badania znaczenia

Jasper Visser

Niedawno uświadomiłem sobie, że my, instytucje kultury, używamy niewłaściwych metryk do mierzenia naszego sukcesu w Internecie, ponieważ tak po prostu badamy ogólny sukces. Używamy statystyk i oprogramowania, które jest w porządku, kiedy jesteś sprzedawcą Coli, ale które może nie być idealne dla instytucji kultury, dziedzictwa i sztuki.

W rzeczywistości wiemy, że naszego sukcesu nie można łatwo zmierzyć za pomocą twardych danych. Liczba zwiedzających czy obroty sklepu z pamiątkami to ważne wskaźniki KPI (kluczowych wskaźników efektywności), zwłaszcza, że nasze fundusze i kondycja finansowa często od nich zależy. Jednak te ilościowe metody mierzenia sukcesu prawie nigdy nie odnoszą się do naszej misji. Odwrotnie – uważamy się za skutecznych, kiedy zmieniamy postawy zwiedzających, zwiększamy ich wiedzę, inspirujemy wyobraźnię… Ewaluatorzy korzystają ze złożonych zestawów narzędzi i list kontrolnych aby sprawdzić, czy dana wystawa miała odpowiedni wpływ a organizowane wydarzenie oczekiwany efekt. Tymczasem w realu osiągamy sukces jeśli zdobywamy znaczenie.

W realu tak, ale nie w internecie. W niemal wszystkich prezentacjach projektów, które widziałem w zeszłym roku, sukces mierzono liczbą odsłon, komentarzy i facebookowych lajków. Czasami wykorzystywane są nawet bardziej zaawansowane metody aby wykazać zaangażowanie, entuzjazm czy lojalność. Raz lub dwa słyszałem ludzi mówiących o efektywności w kontekście jakości usług (skuteczności wyszukiwania). Efektywność online to liczby.

Jeśli przestrzeń online jest w pełni częścią twojej instytucji, powodzenie w internecie jest równie ważne.

Na pewno tysiąc darowizn uzyskanych w ramach twojego crowdfundingowego projektu jest sukcesem, ale czy rzeczywiście zmieni to świat? I podobnie, 2 tys. użytkowników twojej mini strony to nie coś, czym można się pochwalić. Co jednak, jeśli ta mała strona pomaga im wszystkim zmienić swoje życie?

Na corocznej konferencji Ecsite w zeszłym tygodniu brałem udział w sesji dotyczącej ewaluacji wystaw. Byłem zaskoczony, jak zaprezentowane tam narzędzia dobrze pokazywały efektywność działalności instytucji kultury. Kiedy wracałem do domu, dostałem na moją skrzynkę mailową wiadomość z serwisu booking.com z prośbą o ocenę mojego hotelu i opisanie moich doświadczeń z pobytu, co uświadomiło mi, jak łatwo narzędzia oceny jakościowej mogą być zintegrowane z działaniami online naszych instytucji. Zostawiłem swój adres na gazylionach stron internetowych o kulturze, ale jeszcze nigdy nie miałem szansy odpowiedzieć na siedem prostych pytań, które mogłyby pomóc danej instytucji dowiedzieć się, jakie miała dla mnie znaczenie.

(Nie mówię tu o ponad 300 pytaniach ankietowych rozsyłanych przez stażystów przed, w trakcie lub po redesignie strony internetowej ich instytucji – takich pytań mam już dość).

Do następnej kulturalnej internetowej aktywności, którą będę projektował wspólnie z ewaluatorem, wypracuję już nie ilościowy, ale jakościowy model mierzenia efektywności. Framework, z którego korzystam w projektowaniu, już teraz zawiera odniesienia do misji instytucji, więc łatwe będzie zdefiniowanie, na czym w tym przypadku polega skuteczność.

A co z wami? Jestem pewien, że pominąłem całe mnóstwo projektów internetowych, które ignorowały Google Analytics i zamiast tego korzystały podczas ewaluacji z innych wskaźników. Jeśli moglibyście, to poinformujcie mnie o nich w komentarzach.