05. User PreTest (in Dutch)

26 november 2002

Ferrie Wolff

December 2002

Hogeschool van Utrecht

Pre-test (usability test) of Pronett version 1.0 by Ferrie Wolff

december 2002

The target of this inquiry is to find out where the main problems are in using Pronett, so big issues can be solved before its first use in Cardiff. It also makes clear what kinds of activities within Pronett are difficult so the developers can focus on those problems.

There is less information about doing usability tests on WebPages. In this research there has been used different techniques, such as observation, interviews and questionnaires. All this together forms a great notion of the problems in using this webportal.

Government webpages have to be "Bobby approved". That means that users with visual disabilities can use this site also. W3C have made a guideline with priorities.....

Before the test there have been made 5 categories; composition (design), tasks, functionalities (of Pronett), global problems, and other (such as missing things). Also there has been created a list with tasks that a selected group of people in Utrecht, The Netherlands have made. In these tasks the most common actions of Pronett are interweaved. The persons who joined this test all have different backgrounds. Some are student, some are teachers, and they all had different experiences with computer use.

During the test, there were 3 observers who writed down al the facts they saw, and putted in a category. After the test, the results where discussed and conclusions were made. With the use of this method there were three different views and the real problems where made clear.

Mosts problem were in the design category because everybody sees this. There were problems with resolutions and webbrowers, buttons that were not seen and lists that weren’t understood.

A huge problem in the tasks was the capitalsensitivity in the registration process. A 0 (zero) and O weren’t distinguished, even as 1 (one) and l (L). Another big issue was the publishing process of documents. The meaning of this was unclear and there had to be done a lot for the publishing was a fact. Projects have to be published separate to become visible in the Project Catalogue.

It’s also possible for members to invite people to they’re workspace. It’s not clear that this is possible within Pronett, and the working of this process is also difficult. These problems are resolved by the use of text on the specific page and the process is explained in the user guide , but must be improved in 2 of Pronett.

The visibility of the Roundtable was terrible, the structure of the messages was inconsistent and some messages couldn’t be found back. For version 2 there will be used a forumtool that has been developed to fit Plone. For now surrounding the messages with a border solves the problem.

At this moment Pronett has an "Bobby A-status" what means that the urgent elements are correct for user with disabilities. But for version 2 this has to be better, at least a Bobby AA-status. This is a government ruling.

The state of a document wasn’t clear. So additional information is being given that tells the user what kind of object he/she is working on, and in what kind of state it’s in.

Problems with permissions have been resolved. Each different role within Pronett has now its own permissions and functionalities as described in the specifications.

Also there have been some colour changes to give more accent to some important elements, such as the working space and the favourites box.

There are some issues that have been resolved by the use of some text on the specific page. We have not been able to resolve every problem. Therefore we want to collect the opinion and experiences from the users in Cardiff and how they see the problems must be resolved, because they are the first users and they will have worked with Pronett for a while. A questionnaire is one of the instruments that will be used for datacollection.

Pronett is een webportal voor studenten en docenten van lerarenopleidingen in Europa. Hiermee moet meer ict in het onderwijs worden gekregen en moeten leraren meer internationaal gaan samenwerken. Voor de eerste versie van Pronett is gebruik gemaakt van een open source techniek. Deze techniek is zodanig aangepast dat het te gebruiken is binnen het onderwijs. Daarvoor is dit onderzoek gedaan, want nog voordat er wordt gestart in Cardiff moet het bekend zijn wat (waarschijnlijk) de grootste problemen gaat opleveren. Als dat bekend is kunnen de gebruikers in Cardiff zich vooral hierop richten. Een ander doel is dat de laatste problemen uit de weg worden geholpen voordat Cardiff ermee aan de slag gaat (een soort generale repetitie).

Belangrijk vonden wij om te weten of de gebruikers de taken kunnen verrichten met behulp van Pronett. De vormgeving is ook van groot belang om het gebruik prettiger te maken. Ook is de informatie die wordt getoond belangrijk omdat deze de taken moeten ondersteunen. Verder willen wij de mening over de structuur weten en of alles kan worden gevonden binnen Pronett. Het komt erop neer dat naar alles wordt gekeken zodat duidelijk wordt waar de problemen liggen en hoe dat wordt veroorzaakt. Ook willen we al een richting van een oplossing aangeven, omdat veel al staat beschreven in de documenten van Pronett.

Om aan deze gegevens te komen zijn de belangrijkste taken opgenomen in opdrachten die een kleine groep mensen moest doen. Hierbij moet bij Pronett worden aangemeld, uitgenodigd en worden gepubliceerd. Op deze manier komen alle functionaliteiten binnen Pronett ook aan bod. Door observatie van de testpersonen kunnen wij zien waar het een-en-ander fout gaat, zonder dat de testpersoon in de gaten heeft waar de nadruk op ligt. Er wordt op deze manier een omgeving gesimuleerd waar de gebruikers uiteindelijk ook gebruik zullen gaan maken. Achteraf is er een groepsgesprek geweest om de belangrijkste punten nog te bespreken. Hieruit volgen discussies waardoor duidelijk is geworden wat de algemene gedachte is van de testgroep.

Het grootste probleem was het publiceren van bepaalde stukken. Het was niet duidelijk dat een project moet worden gepubliceerd voordat het in de catalogus zichtbaar is. Verder was de betekenis ervan niet duidelijk en was het ook niet bekend wanneer iets zichtbaar is voor een ander.

Verder waren er problemen bij het aanmelden voor nieuwe gebruikers. Pronett is hoofdlettergevoelig en daardoor was het verschil tussen 0 (nul) en O niet meer duidelijk.

Ook het uitnodigen van leden in je werkruimte verliep niet soepel. Het was niet helder waar de gebruikers moesten worden gezocht en wie nu precies diegene was die je nodig hebt. Er verscheen een onoverzichtelijke lijst met foto’s.

Het discussieplatform The Roundtable gaf ook veel problemen. De structuur werd als zeer slecht ervaren. Berichten die als reactie werden geplaatst verdwenen onder een ander bericht. Daardoor was het niet meer zichtbaar.

Een probleem wat dus overal terug kwam is dat de naamgeving niet altijd duidelijk was. Een eis voor goed gebruik is dat alle teksten helder moeten zijn en eenduidig zodat geen verwarring kan ontstaan.

Verder waren er nog problemen met de vormgeving van de site omdat bepaalde objecten niet werden gevonden. Dit geldt voor de favorieten en voor de filter van de werklijst. Ook bepaalde knoppen en berichten werden niet gezien. Deze zijn simpel opgelost. Alleen was het regelmatig niet duidelijk waar iets kon worden gevonden als er specifiek op zoek werd gegaan.

Een wet vanuit Groot Brittanië ziet erop toe dat sites van de overheid voldoen aan de eisen van het W3C. Deze stelt regels op waaraan een site moet voldoen. Dat is gecontroleerd met behulp van een "Bobby", en na enige wijzigingen kan al worden gezegd dat Pronett een "Bobby A"-status heeft behaald.

Uit al deze bevinden zijn de belangrijkste problemen geselecteerd waar de gebruikers in Cardiff op moeten gaan letten. Om de gegevens makkelijk te kunnen ontvangen is er ook een methode beschreven hoe deze gegevens kunnen worden verzameld.

Samenvatting blz. 2

Inhoudsopgave blz. 3

Voorwoord blz. 4

1. Inleiding blz. 5

2. Oriëntatie blz. 6

3. Probleemstelling blz. 7

4. Opzet en uitvoering van het onderzoek blz. 8

4.1 Keuze van de onderzoekseenheden blz. 8

4.2 Beschrijving en verantwoording van de dataverzamelingsmethoden blz. 8

4.3 Materiaalverzameling blz. 8

4.4 Registratie, verwerking en analyse van de gegevens blz. 8

4.5 Betrouwbaarheid en geldigheid blz. 9

5. Resultaten en conclusies blz. 10

5.1 Vormgeving blz. 10

5.2 Taken blz. 11

5.3 Functionaliteiten blz. 14

5.4 Globale problemen blz. 15

5.5 Overig blz. 16

6. Suggesties voor verdere gegevensverzameling blz. 18

7. Usability en Accessibility blz. 20

7.1 Bevindingen en oplossingen blz. 20

8. Evaluatie blz. 21

Geraadpleegde literatuur en bronnen blz. 22

Bijlagen blz. 23

- Onderzoeksvragen blz. 24

- Checklist: IJkpunten van de Richtlijnen van W3C blz. 25

- Draaiboek pre-test dinsdag 26 november 2002-12-19 blz. 29

Dit onderzoek is in eerst instantie gedaan voor het Pronett project om te kijken waar de problemen in het gebruik ervan lagen zodat er rekening mee kan worden gehouden bij het bijstellen van de eerste versie.

Ten tweede is dit onderzoek een onderdeel van mijn stage bij Pronett. Eén van de competenties die wordt aangebracht binnen de School voor Communicatiesystemen is het doen van onderzoek en hier een helder rapport over kunnen schrijven waar mensen ook écht wat aan hebben.

Aangezien het doen van onderzoek over gebruiksvriendelijkheid van websites nog een jong gebied is, is er niet veel informatie over te vinden. Daar lag dan ook de uitdaging voor mij om genoeg kennis bij elkaar te kunnen sprokkelen zodat een goed onderzoek kon worden gedaan. Hierbij wil ik dan ook Ton Koenraad, Jory Vandewall, Joris Weijdom, Norbert van der Hulst en Igor ter Halle bedanken voor het aanleveren van documenten en voor het geven van goede adviezen.

Een tweede uitdaging is het om mensen in beweging te krijgen aan de hand van dit onderzoek. Er moet wat mee gedaan worden en er moet nieuwe informatie in staan. Het moet niet een verslag worden wat alleen de feiten aantoont. Dit heb ik nooit eerder gedaan, en daarom ben ik erg benieuwd of mij dit zal lukken.

Het eerste gedeelte door het voorbereiden van het onderzoek en het uitvoeren van de test was erg leuk om te doen. Ik heb er veel van geleerd. Het uiteindelijk afnemen van het onderzoek was ook een hele leuke en nieuwe ervaring. Alles is soepel verlopen en gelukkig heeft dit onderzoek veel gegevens opgeleverd. Daarom ben ik blij dat ik dit heb mogen doen.

Het is leuk om te lezen dat veel mensen een andere visie hebben op het gebruik van een webportal en dat mensen ook een verschillende aanpak hebben voor het achterhalen van informatie over het gebruik ervan. Door deze ervaringen te lezen heb ikzelf een goed beeld kunnen vormen van de mogelijkheden van testen en is het ook bekend geworden waarop vooral moet worden gelet om alles tot een tot een succes te maken.

Dit rapport is geschreven voor het Pronett project. Pronett is een door de Europese Commissie gesubsidieerd project waarin een webportal wordt gemaakt voor leraren-in-opleiding binnen Europa. Het doel is om meer ict in het onderwijs te krijgen en om meer internationaal samen te gaan werken.

De portal wordt gebouwd met een open source techniek genaamd Zope. Daaroverheen is een vormgeving geplaatst genaamd Plone. Hiermee is het mogelijk om bestanden aan te maken en uit te wisselen, maar ook om samen te werken (dit heet een Content Management Frame (CMF)).

Plone is dus een bestaande CMF die voor iedereen beschikbaar is. Maar voor Pronett wordt er een portal ontwikkeld met Plone speciaal gericht op gebruikers binnen het onderwijs. Het onderzoek moet dus aantonen of dit lukt en of de studenten en docenten hun taken kunnen vervullen met behulp van Pronett (Plone).

Uiteindelijk moeten de evidente fouten worden gevonden en eruit worden gehaald. Ten tweede moeten de aandachtsgebieden voor verder onderzoek worden vastgesteld. Deze aandachtspunten zullen kenbaar worden gemaakt aan Cardiff, om hun mening te horen. Cardiff is de eerste instelling die intensief met Pronett aan de slag gaat. Hieruit volgen opmerkingen en daarmee kan het ontwikkelteam Pronett aanpassen tot een beter geheel. De verzameling van de gegevens moet echter gestructureerd gebeuren. Dat moet ook duidelijk worden in dit onderzoek.

In dit rapport wordt een test gedaan met een kleine groep studenten en docenten om de eerste problemen rond Pronett helder te krijgen. Verder moet het dan duidelijk worden welke taken de gebruikers belangrijk vinden en waar de nadruk op moet liggen voor het uitbreiden van het systeem. Uiteindelijk moeten de wijzigingen leiden tot een verbeterd Pronett waarin iedereen makkelijk zijn/haar werk kan doen zonder veel problemen en waarin simpel kan worden samengewerkt om zo tot een beter resultaat te komen.

Een tweede doel wat met dit rapport wordt bereikt is het werken in het jonge onderzoeksveld over gebruiksvriendelijkheid van websites en misschien een bijdrage aan de ontwikkelingen kunnen geven. Hoe kan het beste naar websites worden bekeken waar de problemen liggen? Zijn de methoden die nu worden aangeboden ook echt goed? Hopelijk kan met dit rapport een meerwaarde daaraan worden gegeven.

Als eerste wordt in dit rapport de doelstelling en probleemstelling beschreven. Deze zijn ingedeeld in categorieën. Daarna wordt de onderzoeksopzet omschreven en de procedure van het onderzoek.

Uit deze voorbereidingen volgen natuurlijk de resultaten. Er is geen apart hoofdstuk met conclusies die worden getrokken. Deze staan direct bij de resultaten omdat zo de aanleiding tot wijzigingen duidelijk is. Er is tevens een hoofdstuk gewijd aan de usability en accessability van websites volgens de normen van het W3C.

Achterin het verslag zal er een evaluatie zijn en een lijst met aandachtspunten voor Cardiff. Hierin wordt ook beschreven hoe de informatie vanuit Engeland het beste kan worden verzameld.

In de bijlagen staan belangrijke documenten die gebruikt zijn voor het vaststellen van de resultaten.

Voor mijn beeldvorming heb ik eerst gezocht naar informatie over het doen van onderzoek naar de gebruiksvriendelijkheid van websites. Er bleek niet veel informatie beschikbaar te zijn waarin echt duidelijk wordt welke stappen moeten worden genomen voor een onderzoek en welke doelen je kunt bereiken. Een reden hiervoor is dat internet eigenlijk pas sinds 1996 echt op is gekomen, en dat voor goed onderzoek nog te weinig tijd is geweest omdat de ontwikkelingen erg snel gaan.

Er bestaan verschillende documenten en pagina’s waarin informatie staat over websites en de werking daarvan. Verder zijn er verschillende literatuurbronnen toegestuurd waarin dit onderzoeksgebied wordt beschreven. Uiteindelijk heb ik een verzameling gemaakt van deze documenten met de belangrijkste elementen om een onderzoek te kunnen verrichten.

Onderzoek van een website is te vergelijken met een kwalitatief onderzoek .Hiervoor bestaat een boek "Basisboek kwalitatief onderzoek" waarin alle stappen in de juiste volgorde worden behandeld. Echter staan hier algemene dingen in over het doen van een onderzoek en niet specifiek voor een website. Maar methodes worden wel beschreven, zoals de hard-op-denk-methode en de observatie.

Wat opviel bij verschillende documenten is dat er vaak een hard-op-denk-methode wordt toegepast. Op deze manier wordt het duidelijk hoe de gebruiker denkt om te gaan met de site. De onderzoekers observeren op dat moment de gebruikers. Hierbij wordt een realistische omgeving gecreëerd. Normaal gesproken is dat niet mogelijk bij het ontwikkelen van een website. Daarom was het ook een leuke en vooral nieuwe ervaring. Natuurlijk zijn er achteraf wel opmerkingen te plaatsen, maar dat komt omdat het doel wat moet worden bereikt weer anders is als beschreven in de literatuur.

Tegenwoordig moeten sites van de overheid (dus ook onderwijsinstellingen) voldoen aan eisen voor de toegankelijkheid en de user-interface zodat ook minder valide mensen gebruik kunnen maken van deze mogelijkheden. Er bestaat in Groot Brittanië een wet waarin eisen staan voor gebruiksvriendelijkheid van websites. Zo moeten sites ook toegankelijk zijn voor minder validen. Hiervoor bestaan ook documenten. Verder bestaat er een applicatie die controleert of aan de eisen is voldaan. Deze heet de "Bobby". Hierin worden de eisen van het W3C gecontroleerd, waarin staat vermeld waaraan een website moet voldoen. Cardiff heeft hier nog eigen eisen aan toegevoegd in een apart document.

Er bestaat nog veel meer documenten over gebruiksvriendelijkheid van websites. Maar nergens wordt beschreven hoe je de ervaringen kan onderzoeken.

Wat ook in veel literatuur terug kwam is het doen van een enquête/interview. Op deze manier kan gemakkelijk snel informatie worden verkregen. Door het goed voor te bereiden kan de informatie ook snel worden verwerkt. Dat is hier ook van toepassing omdat er nog 3 dagen beschikbaar waren om tot een eerste versie te komen. Dit interview is meer een groepsgesprek geworden, zodat de meningen van anderen kunnen worden gedeeld en daarop kan worden ingespeeld.

Bij Apple wordt veel gedaan met design en user-interfaces. Op deze site werd uitvoerig beschreven hoe een test wordt afgenomen en welke stappen je (vooral van tevoren) moet nemen. Er werd beschreven hoe het aan de gebruikers duidelijk moet worden gemaakt wat van hun verlangd wordt, zonder te veel te vertellen waarop wordt gelet. Er werden verschillende zinnen aangeboden die gezegd zouden kunnen worden .Ook werden eventuele problemen voorgesteld en wat voor oplossing hiervoor mogelijk is. Al deze punten staan verderop in dit rapport verwerkt bij de procedure en de probleemstelling.

Verschillende mogelijkheden voor opdrachten werden ook beschreven. Uiteindelijk hebben we gekozen om verschillende opdrachten te maken waarin telkens een belangrijke taak van Pronett in verwerkt zat. Op deze manier kan makkelijk worden gezien bij welke opdracht er lang over werd gedaan en dus problemen oplevert.

Wat verder regelmatig terugkwam zijn bepaalde ‘checklists’. Deze geven bijvoorbeeld 60 punten zodat de ontwikkelaar kan controleren of er aan deze punten wordt voldaan. Dat is hartstikke handig, maar ook deze punten zijn weer terug te vinden in de richtlijnen van het W3C. Verder is elke checklist weer anders van opzet en met een ander doel. Dat werkt erg verwarrend omdat verschillende lijsten elkaar kunnen tegenspreken en verder blijf je dan fouten vinden. Soms is het ook niet helemaal duidelijk wat er wordt bedoeld. Het W3C geeft ook een checklist waarin verwezen wordt naar hun richtlijnen. Deze kan het beste worden gebruikt. Bij de bijlagen wordt deze checklist getoond.

Er bestaan ook verschillende manieren om rapporten te schrijven over gebruikerstesten. Dit rapport is een mix van verschillende onderdelen. Hiervoor is gekozen om een zo duidelijk mogelijk beeld te geven van wat er is onderzocht en wat we precies willen weten.

Aan het einde van het onderzoek moet het duidelijk zijn welke gegevens wij willen hebben vanuit Pronett. Het moet dus duidelijk worden waar de problemen liggen en op welke delen van de website de nadruk ligt. We beginnen eigenlijk met geen gegevens, en door observatie zien wij waar de problemen liggen en waar de meeste tijd aan werd besteed. Om toch een overzicht te houden is de probleemstelling ingedeeld in verschillende categorieën. De reden hiervoor is dat er duidelijk onderscheid kan worden gemaakt waar precies de problemen liggen en dat de taakverdeling daarna ook makkelijker kan worden gedaan. Natuurlijk maakt het alles ook een stuk overzichtelijker.

• Wat is de algemene indruk van de vormgeving van Pronett ?
• Waar wordt als eerste gezocht ? Kan alles worden gevonden ?
• Worden de teksten op het scherm begrepen ?
• Staat de informatie op de goede plek ?
• Lettertype en kleuren ?

• Wat zijn de taken die de gebruikers willen uitvoeren ?
• Welke taken verlopen niet soepel ? Welke taken geven problemen ? Welke taken kunnen niet worden vervuld ?

• Kunnen de gebruikers op elkaars werkplek komen ?
• Hoe verloopt het publiceren van bestanden ?

• Wat gaat er vaak fout ?
• Wat voor soort informatie ontbreekt op de Pronett portal ?

• Wat zijn de wensen van de gebruikers ? Wat wordt gemist binnen Pronett ?
• Wat zijn de ervaringen met ict van de testgroep ?

Er is getest in een lokaal aan de Faculteit Educatieve Opleidingen van de Hogeschool van Utrecht. In dit lokaal staan een paar computers verspreidt. Hiervoor is gekozen zodat de observatie van de testpersonen makkelijker is, dat iedereen plenair kan worden ingelicht over Pronett en dat er aan het eind makkelijk een groepsgesprek kan worden gehouden. In werkelijkheid zijn de gebruikers alleen aan het werk met Pronett. Dat hebben we wel geprobeerd door ieder apart achter een computer te zetten. Maar omdat de testpersonen elkaar moeten uitnodigen op elkaars werkplek geeft samenzijn in een lokaal weer voordelen.

Er zijn verschillende type mensen uitgenodigd om mee te werken aan dit gebruikersonderzoek. Er zullen in de toekomst studenten en docenten gebruik gaan maken van Pronett. Echter zal de ervaring van deze gebruikers met computers verschillen. In totaal hebben 5 mensen meegewerkt aan de test. 3 daarvan waren studenten, waarvan 1 goed bekend was met de computer en een haast niet (de derde persoon hangt ertussen). Verder zijn er 2 medewerkers gevraagd om de opdrachten te maken. Eén daarvan is van de afdeling ICT en heeft veel ervaring. De andere is een secretaresse en heeft een gemiddelde ervaring met ict.

Er is gekozen om een gebruikersobservatie te doen en aansluitend een (groeps)interview.

Tijdens de gebruikersobservatie doen de testpersonen een aantal opdrachten die kenmerkend zijn voor Pronett en taken die relevant zijn voor de doelgroep. Hiermee moet duidelijk worden of de personen hun taken kunnen doen en of Pronett hun taken daarbij ondersteunt. Door te observeren wordt het (onbewust voor de testpersoon) duidelijk voor de onderzoeker met welke stappen de gebruiker problemen heeft. Verder kan het duidelijk worden wat de denkstappen van de testpersonen zijn als zij door Pronett surfen. Dat wordt gedaan door de hard-op-denk- methode omdat je kan horen wat de persoon wilt doen en waar hij/zij dat vindt. Alle ervaringen worden genoteerd op een formulier waarop de verschillende categorieën staan. Na afloop worden de notities met elkaar vergeleken en kan er worden gediscussieerd over de verschillende ervaringen bij de verschillende personen.

Na afloop is er een groepsgesprek geweest waarin wij een aantal belangrijke onderwerpen aan bod laten komen en wat de testpersonen ervan vinden. Door een open gesprek te houden kan er op worden doorgevraagd maar kunnen ook de mede-testpersonen elkaar aanvullen. Hieruit wordt dus duidelijk wat de algehele gedachte is van Pronett.

Er zijn 9 korte opdrachten gemaakt waarin de belangrijkste functies van Pronett aan bod komen. Deze vragenlijst staat achterin bij de bijlagen. De observatie is gedaan door 3 personen (Jory Vandewall, Ton Koenraad en Ferrie Wolff).

Het vinden van de personen die mee wilden werken aan de test was niet zo gemakkelijk. Om de verschillende soorten typen gebruikers te vinden die wij op het oog hadden is veel gezocht. Uiteindelijk was één van de docenten (met minder ervaring in ict) een assistente van de faculteit. Vanwege haar overige werkzaamheden was het onmogelijk voor haar om aanwezig te zijn. Daarom heeft zij de opdrachten op haar kamer uitgevoerd en later gerapporteerd wat haar ervaringen en problemen waren. Hier is later nog op doorgevraagd. Dit is eigenlijk ook wel een goede zet geweest omdat de gebruikers van Pronett in de toekomst ook alleen achter de pc zitten en toch moeten kunnen werken met Pronett. Deze situatie is hier dus gesimuleerd. Helaas was het niet mogelijk om haar aanvullingen te horen bij het groepsgesprek wat wel met de andere personen is gevoerd.

Eén van de drie studenten was te laat bij het onderzoek vanwege vertraging bij de Nederlandse Spoorwegen. Deze heeft de opdrachten versneld moeten doen omdat anders tijdnood zou ontstaan. Echter heeft deze geen grote problemen ondervonden bij het gebruik van Pronett. Maar er zijn wel meer aanwijzingen gegeven zodat deze persoon niet te lang zou piekeren op een opdracht.

Bij de opzet van het onderzoek is er besloten om de gegevens die wij willen verzamelen onder te verdelen in verschillende categorieën. Om na de observatie het verwerken van de gegevens te vergemakkelijken is er een formulier gemaakt waarop de verschillende categorieën staan. Tijdens het afnemen van de test kunnen de ervaringen direct onder de betreffende categorie worden genoteerd.

In verband met de korte termijn waarop de wijzigingen moesten worden doorgevoerd is er direct een lijst gemaakt met actiepunten. Aan de verschillende punten is een prioriteit toegekend. Elk punt wat is gevonden tijdens de observatie is hierin opgenomen. Ter plekke kan dan nog worden besloten om een actiepunt te laten vervallen of een lagere prioriteit te geven. De lijst is digitaal terug te vinden op Pronett zelf onder de "Bug and Feature Collector". Het voordeel van deze collector is dat de eerste gebruikers in Cardiff ook hun problemen en wensen aan kunnen geven, en dat al deze gegevens centraal worden verzameld.

Tijdens het groepsgesprek is er gesproken aan de hand van onderwerpen. We hebben gekozen om de verschillende categorieën als onderwerp te kiezen. Om te een aanleidingspunt te hebben is er verwezen naar de opdrachten die met Pronett moesten worden gedaan. Ook hiervan zijn de ervaringen genoteerd en later verwerkt.

De analyse is gebeurd aan de hand van overleg. De belangrijkste problemen moeten als eerste worden verholpen en dat zijn die gegevens die overal naar voren kwamen. Hierbij is vooral gelet op de taken en of deze gemakkelijk en snel konden worden uitgevoerd. De user-interface werd ook belangrijk gevonden zodat de gebruikers snel en comfortabel hun werk kunnen doen in Pronett.

Hieruit is een actielijst ontstaan en zijn de verschillende taken aan verschillende mensen toegekend.

Voor Cardiff komen er vragen naar voren die nu snel zullen worden opgelost, maar nog niet soepel verlopen. Ook de taken die belangrijk zullen worden gevonden zullen ook aan Cardiff worden voorgelegd.

Het draaiboek van de dag waarop het onderzoek werd uitgevoed is te vinden in de bijlagen.

Tijdens de observatie zijn de bevindingen van de 3 observatoren direct genoteerd op een formulier. Op deze manier gaat er niks verloren als er pas later wordt genoteerd wat de ervaringen waren.

Omdat elk van deze een ander testpersoon had zullen de ervaringen ook anders zijn. Door intersubjectiviteit wordt gecontroleerd of er dezelfde problemen zijn gevonden. Zo kan er zeker vanuit worden gegaan dat één van de observatoren een eigen mening geeft aan de uitkomsten van het onderzoek.

Achteraf in het groepsgesprek zijn dezelfde taken weer besproken. Er is dus een herhaling geweest van de vragen die wij willen weten. Hierdoor kan worden vergeleken of hetzelfde antwoord wordt gegeven wat de betrouwbaarheid ook ten goede komt.

Hier worden de bevindingen van de observatie en het groepsgesprek gepresenteerd. Alleen die gevallen die vaak voorkwamen of die werden gedeeld door de ander observatoren worden hier vermeld. Sommige fouten die niet werden gedeeld staan er ook in, deze werden niet geconstateerd door de overige observatoren. Na overleg is besloten deze wel op te nemen. De gevolgen die hieruit zijn gekomen worden ook direct beschreven omdat zo de aanleiding duidelijk is. Natuurlijk is elke keuze verantwoord.

Zoals bij de probleemstelling is gedaan worden de resultaten gecategoriseerd. Zo wordt het duidelijk waar de grootste problemen zich voordoen en verder maakt het lezen van de resultaten wat makkelijker.

Bij één van de testpersonen stond de resolutie van het beeldscherm op 800x600 pixels. Hiermee is het beeldscherm wat kleiner waardoor er minder informatie kan worden gepresenteerd. Als opmerking van de testpersoon werd gegeven dat er te veel moest worden ‘gescrolled’ (het verschuiven van de pagina door de balk aan de rechterkant). Vanuit scholen is er nog de eis dat de resolutie 800x600 pixels moet zijn, echter is er zoveel informatie en zijn er zoveel functionaliteiten beschikbaar binnen Pronett dat een resolutie van 1024x768 pixels echt minimaal is.

Per ongeluk had een testpersoon een computer waarop nog een oudere versie van de browser was geïnstalleerd. De gebruiker vond ook dat de vormgeving niet logisch in elkaar zat. Om Pronett goed weer te laten geven is er een browser nodig met de volgende eisen: Internet Explorer 5.5 of Netscape Navigator 6.0 (of hoger).

We hebben dit opgelost door op de begin pagina duidelijk neer te zetten dat Pronett het beste met deze browsers en beeldschermresolutie wordt weergegeven. Dit moet volgens ons voldoende zijn.

Als er veranderingen plaatsvinden binnen het systeem door een actie van de gebruiker dat wordt daar melding van gemaakt door een box. Het viel op dat de gebruiker gelijk naar beneden scrolled om door te gaan waar hij/zij meer bezig was. Hieruit kan worden geconcludeerd dat de box niet zichtbaar is (niet opvalt).

Dit is opgelost door de kleur van deze "messagebox" te veranderen van een grijstint naar een rode kleur. Rood valt goed op voor het oog en steekt ook af van de huiskleuren van Pronett. De positie van de box vinden wij wel goed, omdat het geplaatst is waar de verandering is (in het contentgedeelte).

Achteraf zijn andere gebruikers er kort mee aan de slag geweest, en deze viel de "messagebox" wel op.

In "my workspace" (werkplek waar de gebruiker documenten kan aanmaken en verzamelen) staan 2 drop-down lists. Bij de eerste is het mogelijk om de inhoud te filteren op een bepaald type en bij de tweede keuze wordt een lijst weergegeven met de type van objecten die kunnen worden aangemaakt. Hieruit moet dan een keuze worden gemaakt en daarna moet op de knop "add new item" worden geklikt.

Bij geen van de testpersonen waren de drop-down lists duidelijk wat de functie ervan moest zijn. Verder werd er direct geklikt op de "add new item" knop als er iets nieuws moest worden aangemaakt.

De oplossing is simpel. We hebben de drop-down lists weggehaald omdat ze niet werden gebruikt. Bij het aanmaken van een nieuw object kan er worden geklikt op de "add new item" knop waarna er een nieuw scherm verschijnt waarop alle types worden getoond met een korte toelichting. Dit is meer helder dan voorheen .

Uiteindelijk is dus alleen de knop "add new item" overgebleven.

Verder kan er worden gesorteerd op type object door op de balk van de tabel te klikken (dit moet wel worden vermeld in de user guide !).

Er werd een opmerking geplaatst dat de kleuren en de vormgeving van de site "…mij niks doen. Het is koud, onpersoonlijk, strak en zakelijk". Deze mening werd niet gedeeld door de overige deelnemers aan de test, en daarom zijn er geen verdere maatregelen op dit punt genomen.

Een paar testpersonen hadden moeite om alles te vinden binnen de site. Dit is een belangrijk punt omdat er anders niet kan worden gewerkt met de site. Er kan worden gesproken dat de structuur niet duidelijk is. Dit was te herkennen omdat personen op verschillende wijze van pagina naar pagina gingen. Zo werd er bijvoorbeeld op verschillende plekken op "members" geklikt, en soms werden er heen of terug geklikt via de browser-knoppen. Dit moet echter geen problemen opleveren maar toch betekent dit dat de navigatie binnen de site zelf niet duidelijk is.

Een andere herkenning was dat voor het inloggen (en de uitleg daarover) als eerste werd gezocht door het als een query in de search te zetten. Er kwam hier trouwens geen goede uitslag van ! Er wordt dus blijkbaar makkelijk naar het search-element gegrepen.

De eigenwerkplek werd gezocht onder "workspaces and tools" en pas later bij "my workspace". Dit is opgelost door in de bovenste tabblad te veranderen in "tools". Verder is het handig om hierover uitleg te geven over wat er te vinden is onder welke knop. De betekenis (naamgeving) is dus niet duidelijk geweest.

Het is mogelijk voor bezoekers om in Pronett vaak bezochte pagina’s toe te voegen aan een lijst met favorieten. Dit versnelt het gebruik binnen Pronett omdat het niet altijd meer lukt om iets terug te vinden als er meer content binnen de portal verschijnt (dit moet natuurlijk wel zo gemakkelijk mogelijk worden gemaakt). Zodra een pagina is toegevoegd verschijnt er aan de linkerkant een box waarin de verwijzing staat. De testpersonen konden geen van allen deze box vinden omdat het simpelweg niet opviel en op een niet logische plaats staat.

Dit is opgelost door deze box bovenaan neer te zetten en ook de kleuren van de (persoonlijke)werkruimte mee te geven. "Favorites" zijn ook persoonlijke eigenschappen en behoren de gele kleur te hebben van de werkruimte. Omdat het constant zichtbaar moet zijn is er ook voor gekozen om de box aan de linkerkant te laten staan, hoewel sommige gebruikers de favorieten zochten bij "my workspace". Hiervoor moet echter wel weer worden geklikt en gesurft wat de snelheid niet ten goede komt.

Op dit moment worden de meeste plaatjes nog gebruikt die oorspronkelijk van Plone komen. Het gaat hierom vooral om de icoontjes zoals een map of een document. Deze passen op zich wel binnen Pronett, maar het zou meer uniek zijn als er eigen icoontjes zouden komen. Daarbij moet wel worden gelet dat het goed afsteekt van de rest van de pagina. Er was een opmerking gevallen van een testpersoon die in de personalbar de icoontjes voor een dubbelepunt aanzagen, wat weer betrekking had op de structuur van de site die dan niet werd begrepen.

Er was verder een opmerking gevallen waarin de vormgeving als zakelijk en koud werd genoemd. Omdat Pronett toch menselijke eigenschappen wilt tonen zullen er ook meer plaatjes in moeten komen. Hierbij kan worden gedacht aan samenwerkende groepen.

Op het oog wordt de site op deze manier levendiger.

Het aanmelden op zich gaf geen grote problemen op. Iedereen kon gemakkelijk het aanmeldscherm vinden en kon zijn/haar gegevens makkelijk invullen (de box aan de linkerkant staat dus goed). Bij de mail die wordt verstuurd is een automatisch gegenereerd password toegevoegd die bij de eerste keer moet worden ingevoerd. Deze bestaat uit letters (normale en kapitalen) en uit cijfers. Dit gaf wel een paar problemen.

Als eerst was het een probleem dat verschillen tussen cijfers en letters niet altijd duidelijk waren. Bijvoorbeeld de 0 (nul) en de O (hoofdletter o). Dit probleem kan worden opgelost door gebruikers zelf hun wachtwoord te laten kiezen. Echter het (grote) nadeel hiervan is dat er misbruik van het systeem kan worden gemaakt omdat iedereen zich dat onbeperkt kan aanmelden. Dit leidt tot vervuiling.

Een andere oplossing is dat de gebruiker het toegezonden wachtwoord kopieert vanuit de mail naar de Pronett site. Dit is een goede oplossing. Maar het risico bestaat dat er een spatie te veel of een letter te weinig mee wordt gekopieerd wat weer tot een mislukte aanmelding leidt.

Een praktische oplossing is om bij de mail te zetten dat het password het beste kan worden gekopieerd maar dat er wel moet worden opgelet dat het niet te veel of te weinig tekens zijn. .

Verder moet worden onderzocht of het mogelijk is om de automatisch gegenereerde wachtwoorden makkelijker van opzet te krijgen.

Een eventuele derde oplossing is om de gebruikers wel zelf hun wachtwoord te laten kiezen, en dat daarna een mail wordt verstuurd met een bevestiging. Hiermee worden problemen van verkeerde wachtwoorden vermeden en kan de aanmelding ook worden gecontroleerd omdat een geldig emailadres moet worden gebruikt. Dit vraagt wel programmeerwerk en zal dus voor een versie 2.0 gelden.

Documenten, plaatjes, project etc. kunnen in Pronett op verschillende statussen van zichtbaarheid worden gesteld. Dit wordt "publishing" genoemd. Er zijn 3 verschillende staten waarin een type zich kan bevinden:

1. Private Het bestand is alleen zichtbaar voor de eigenaar
2. Visible Het bestand is zichtbaar voor alle leden
3. Published Het bestand is zichtbaar voor iedereen

Het eerste probleem is dat de testpersonen niet duidelijk was wat de betekenis en het nut ervan is. Dit probleem is snel en simpel opgelost door een omschrijving in de User Guide te zetten. Echter is misschien de naamgeving ook niet helemaal helder. Het was ook niet duidelijk wat het de verandering van de status voor invloed binnen het systeem heeft. Een project wordt pas zichtbaar in "the catalogue" als het bestand in "my workspace" pas wordt "gepubliceerd".

Verder bestaat er voor deze functie een tabblad genaamd "publishing" wat bij de het bestand hoort. Dezelfde functionaliteit is ook gegeven als de gebruiker zich in de "folder contents" begeeft. Hier kan het bestand worden ‘aangevinkt’ en daarna kan op de knop "change status" worden geklikt.

Het is duidelijk dat dit allemaal erg verwarrend werkt. Voor een volgende versie moet waarschijnlijk goed worden doordacht of het op een betere en meer heldere manier kan worden gepresenteerd. Hierbij kan worden gedacht aan een enkele knop "publish !" wat eenduidig is en waarna het klikken een bericht verschijnt wat er precies is veranderd en of de gebruiker het zeker weet (dubbele controle). De naam "change status" heeft geen enkele betrekking op het publishing-proces. Er moet op een enkele plek een duidelijke knop komen. Het moet ook duidelijk zijn in welke status het bestand zich bevindt. Tot kort was daar een speciale box voor waarin alle informatie werd getoond over het bestand. Daarna is het naar de ‘footer’ van de pagina verhuisd. Veel van de testpersonen konden dat niet vinden. Verder geeft het ook problemen als de pagina van het bestand erg lang is waardoor helemaal naar onderen moet worden gescrolled om de status te kunnen zien. Daarom is besloten om bij de tabs van het object, het type object neer te zetten en de status. Zo staat het altijd aan de kop van de pagina en valt het op.

Het is mogelijk om een bestand een bepaalde tijd zichtbaar te maken voor personen. Dat kan worden geregeld via de "effective date" en de "expiration date". Tussen deze data is het document zichtbaar. Het geeft een voordeel omdat een gebruiker niet meer hoeft na te denken over het document en of het veilig staat. Maar het geeft wel onduidelijkheid in het publishing-formulier. Het zou beter zijn om deze data weg te halen, zodat gebruikers zichzelf bewust moeten maken wat er met hun documenten gebeurt, en dat ze ook bewust zijn in welke staat het document zich bevindt. Het is daarna dan mogelijk om een enkele knop te maken om te publishen, omdat een volledig scherm hiervoor overbodig is.

Over het algemeen moet het duidelijker worden wanneer er iets moet worden gepubliceerd, in welke staat het komt en waar het zich is. Zo is de scheiding tussen publiceren van projecten (zodat het zichtbaar wordt in de catalogue) en het publiceren van overige bestanden (die niet zichtbaar worden in de catalogue) verwarrend en niet helder. Ook het zichtbaar maken van bestanden voor mede-leden is niet duidelijk in welke staat het bestand of map moet staan ! Verder is het niet meer mogelijk om een document te wijzigen als het in de gepubliceerde staat bevindt. Er moet helder worden gemaakt dat het alleen mogelijk is als het document wordt ‘teruggetrokken’ (wat overigens niet gebruiksvriendelijk is). Dit is een belangrijk onderdeel van de site en verdient grote aandacht!

Een vervolg op dit probleem is het uitnodigen van mede gebruiker van Pronett binnen de werkplek. Dit wordt binnen Pronett "local roles" genoemd. Het was (wederom) niet duidelijk wat de betekenis hiervan was. Een rede hiervoor is dat de testpersonen Nederlanders zijn, en de kans is groter dat het in Cardiff wel goed wordt begrepen. Dit moet worden afgewacht.

Het zoeken naar de mede-leden was ook een probleem omdat Pronett werkt met kapitalen. Zodra een kleine letter wordt gebruikt i.p.v. een hoofdletter kan de desbetreffende persoon al niet worden gevonden. Er kan ook worden gezocht op username maar die is voor elk persoon verschillend en niet altijd herkenbaar voor een persoon.

Het is ook mogelijk om geen zoekterm in te voeren in het formulier. Op dat moment worden alle leden getoond met foto, username en emailadres. Hieruit werd meestal wel duidelijk wie de personen waren die werden gezocht. Echter is het geen gebruiksvriendelijke manier om te zoeken. Het is beter om een totale lijst vanaf het begin te tonen (zonder foto’s) waarin ook de voornamen en achternamen staan.

Wat wel een probleem was is dat een gebruiker eerst moet worden ‘aangevinkt’ voordat een nieuwe rol kan worden toegekend. Als eerst moet dit worden vermeld binnen de FAQ en de User Guide. Verder wordt dit probleem ook verholpen bij het opmaken van een totale lijst. Dan vallen de hokjes om de persoon/personen te selecteren ook op.

Als een gebruiker zich later op veel werkplekken gaat begeven kan men erop wachten dat het overzicht verloren gaat. Om dit te voorkomen moet er een overzicht komen waar een member zich allemaal bevindt, maar ook welke andere leden zich bij de gebruiker bevinden. Dit was bij de testpersonen ook niet duidelijk.

Wat ook een knelpunt is, is dat de rol van een persoon niet makkelijk kan worden gewijzigd in een andere rol. Daarvoor moet eerst de betreffende persoon worden verwijderd, en vervolgens weer worden toegevoegd met de nieuwe rol als eigenschap. Dit is niet gebruiksvriendelijk en erg omslachtig.

Voor het hele proces over gebruikers uitnodigen moet misschien nog eens worden nagedacht over de presentatie ervan en het gebruik.

Een van de taken die de gebruikers moeten/willen doen is het aanmaken van een project. Hierin worden verschillende typen bestanden verzameld die met een bepaald onderwerp te maken hebben. Voor het aanmaken van een project gingen de meeste testpersonen naar "Project Catalogue" om te zoeken hoe een project moet worden aangemaakt. Echter is de Catalogus daar niet voor bedoeld.

Dit probleem is opgelost door een tekstfragment bij de omschrijving van de catalogus te zetten. Dit is niet voldoende omdat gebruikers dan toch nog als eerste naar de Catalogue gaan.

Globaal moet het duidelijk worden dat ALLE DOCUMENTEN als eerste moeten worden aangemaakt in "my workspace". Van daar uit kan er worden samengewerkt.

Wat uiteindelijk opviel is dat de gebruikers het contact met elkaar het meest belangrijkst vonden. Maar dan vooral het kunnen versturen van mail.

Bij het opstellen van een document is het mogelijk om tussen verschillende opmaken te kiezen. Zo kan er een standaard opmaak worden gekozen (plain text), HTML-opmaak of structured text.

Veel daarvan was niet duidelijk. Er is besloten om de keuze standaard op ‘plain text’ te zetten omdat er dan geen kennis over de opmaak hoeft te zijn. Verder moet er een handleiding zijn (en een duidelijke verwijzing ernaar) waarin de techniek van ‘structured text’ wordt uitgelegd.

Echter na de eerste paar dagen van gebruik in Cardiff werd duidelijk dat de meeste studenten de pagina opmaken in HTML. Dit is opvallend omdat de achtergronden van deze personen erg verschillend zijn en niet altijd met ict te maken hebben. De kans bestaat dat er een pagina is opgemaakt in een externe editor en dat de broncode later is toegevoegd binnen Pronett.

Het is handig om de tekstopmaak toch op Plain-text te laten staan omdat er niet altijd een html-pagina wordt opgemaakt. Het meest zullen normale tekstbestanden worden gebruikt.

Er is uiteindelijk besloten om de 3 soorten opmaak van teksten te laten staan. Zo kan de gebruiker zelf kiezen en wordt er meer functionaliteit aangeboden. Wel moeten er goede verwijzingen naar uitleg komen.

Als een gebruiker zich voor het eerst aanmeldt bij Pronett, dan moet een formulier worden ingevuld met o.a. naam, adres en taal. Verder kunnen er ook nog bepaalde voorkeuren worden aangegeven, zoals help of de "listed status". Dit laatste was bij geen enkel persoon duidelijk. "Listed" houdt in dat de persoon zichtbaar is in de member afdeling met zijn/haar foto met een verwijzing naar de homepage.

Deze moet altijd op "listed’ staan omdat op deze manier personen binnen het systeem makkelijk te vinden zijn en dat het samenwerken (een van de doelen van Pronett) wordt bevorderd.

Het formulier met de persoonsgegevens gaf problemen in Cardiff.

Als eerste moet het adres overeenkomen met die van de opleiding, dus verplicht (en waarschijnlijk) automatisch ingevuld. Verder moet er een drop-down list komen met de leeftijdscategorieën. En het moet duidelijker worden wat de "content editor" is en wat de eisen zijn voor een foto (grootte en afmetingen). Verder was er de wens of het mogelijk is om een portrait te verwijderen. Dat is mogelijk om een ‘niets’ te uploaden. Dat moet helder worden gemaakt. In een land kunnen ook verschillende talen bevinden. Zo moet er voor Groot Brittanië de talen British en Welsh komen. Op dit moment staan alle talen erin van de wereld. Dit moet worden herzien naar Europese landen.

Het formulier moet dus worden herzien en moet duidelijk zijn waar de scheiding ligt tussen persoonsgegevens en echte ‘preferences’. Zo wordt het formulier ook korter en overzichtelijker.

The Roundtable gaf veel problemen op verschillende gebieden. Als eerste was de naamgeving niet duidelijk wat er te doen is. Een groot deel komt doordat het Engels is, en dat het in het Nederlands niet vaak wordt gebruikt om een plek aan te geven waar er kan worden gediscussieerd. Daar wordt meestal het woord "forum" voor gebruikt. Echter is de naamgeving al vastgelegd in de documenten van Pronett en zal dus niet worden veranderd. Wel zal er een begeleidende tekst bij moeten komen om duidelijk te maken wat er precies kan worden gedaan. Verder moet er een omschrijving komen bij de User Guide.

Het tweede probleem was de lay-out van de discussies. Op een bericht kan worden gereageerd. Daarna kan er nog een keer worden gereageerd, maar er kan ook een reactie-op-een-reactie komen. Op dat moment wordt er ingesprongen op de pagina waardoor het duidelijk moet worden dat het een ander soort reactie is. Deze structuur werd niet begrepen door de testpersonen. Soms waren de teksten die ‘gepost’ waren niet meer terug te vinden. Dat komt omdat geneste reacties worden ‘ingeklapt’ en door een +-teken weer tevoorschijn kunnen worden gehaald.

Dit probleem is opgelost door kleuren en lijnen te gebruiken om gebieden meer te accentueren en de scheiding hierdoor duidelijker te maken. Zo hebben alle berichten een omlijning gekregen waarin één enkel bericht staat. De uitlijning van de reacties is behouden, want door de omlijning is wordt dit ook duidelijk. Verder is het +-teken geaccentueerd waardoor ‘ingeklapte’ reacties ook worden begrepen.

Echter is de opzet van "The Roundtable" in z’n geheel niet goed. Hier moet nog goed over worden nagedacht. Er bestaan speciale forum-tools, maar deze zijn nog in ontwikkeling en zijn nog niet getest op de Pronett site. Dit is iets voor versie 2 van Pronett.

Ook het overzicht van "The Roundtable" waarin de verschillende onderwerpen op een rijtje staan is niet duidelijk. Er wordt informatie gemist over wie het onderwerp heeft gestart, en hoeveel postings er al zijn geweest. Hierdoor wordt het duidelijk of het een belangrijk onderwerp is wat de discussie weer ten goede kan komen. Dit probleem is vluchtig opgelost door de titel van de discussies vetgedrukt te maken.

Vanuit Cardiff kwam de opmerking dat het niet mogelijk is om je bericht te wijzigen of te verwijderen. Dit is op dit moment alleen mogelijk voor editors en managers van Pronett. Het moet voor gebruikers altijd mogelijk zijn om zijn/haar berichten te kunnen wijzigen, omdat het hun ‘bezit’ is. Het is nog niet duidelijk of dat mogelijk is met het forum-tool wat wordt geïnstalleerd. Anders moet naar dit probleem serieus worden gekeken en misschien naar alternatieven worden gezocht.

Gebruikers kunnen een map aanmaken op hun werkplek om verschillende soorten documenten te verzamelen. Nu kwam de opmerking vanuit Cardiff dat het niet mogelijk is om een volledig bestaande map te ‘uploaden’ naar Pronett. Het is op dit moment zo geregeld dat elk item apart moet worden aangemaakt waarin het dan weer mogelijk is om een bestand te uploaden. Op deze manier duurt het lang voordat een map is geplaatst binnen Pronett en is daarom niet gebruiksvriendelijk.

Het moet dus mogelijk zijn dat (net zoals bij een enkel bestand) een hele map kan worden geplaatst in één keer binnen Pronett.

De vraag rijst dan hoeveel iemand mag uploaden en of de bestanden wel veilig zijn. Daarvoor komt een ‘quotafolder’ die bijhoudt hoeveel een persoon gebruikt maakt van de ruimte.

De gebruikers willen dus dag er snel iets kan worden gedaan. Op dit moment helpt Pronett hen daar niet bij !

Er moet worden bekeken of dit mogelijk is binnen Plone, en is dus een punt voor versie 2 van Pronett.

Bij de meeste testpersonen waren bepaalde taken onduidelijk omdat het in het Engels is geschreven. Dit komt omdat Plone standaard Engels is geschreven maar vooral omdat Pronett als eerste in Cardiff zal worden gebruikt. Toch was er de vraag of er ook lokale talen kunnen komen. Deze optie staat beschreven in de documenten van Pronett en zal dus in een later stadium komen.

Verder werden sommige teksten "te lang" gevonden. Het werd onprettig ervaren om eerst een stuk tekst op het beeldscherm te moeten lezen voordat er iets kan worden gedaan. Daarom moeten de teksten kort en bondig worden. Bij de belangrijkste taken is dit al toegepast. Verder zijn belangrijke worden vetgedrukt of onderstreept om meer op te vallen.

Er moet wel worden bekeken wat de beste lokale vertalingen zijn vanuit het Engels. De naamgeving in het algemeen moet eenduidig zijn omdat veel woorden (zoals Roundtable) niet veelzeggend zijn.

De indeling van de pagina was bij sommige testpersonen wel duidelijk en bij anderen niet. Bij de meeste mensen werd de indruk gewekt dat het eruit zag als explorer van Windows. Dit is eigenlijk wel het geval aangezien er verschillende soorten documenten worden getoond en een overzicht van het Pronett-systeem wordt gegeven.

Maar de structuur begrepen de sommige mensen niet. Ze konden niet vinden wat ze wilden doen.

Het is dus niet duidelijk dat bovenin de site de algemene keuzemogelijkheden van Pronett zijn te vinden (met de kleur blauw), en dat alles wat persoonlijk is en wat op een bepaald object slaat geel is en in het hoofdscherm bevindt. Deze heeft ook weer z’n eigen tabs met functionaliteiten. Misschien zijn het te veel keuzes die worden aangeboden aan de gebruiker.

Echter zijn wij van mening dat dit na een tijdje zal wennen. Niet veel applicaties worden op deze manier weergegeven.

Om het samenwerken nog te verbeteren leek het de testpersonen een goed idee om ook een chatfunctie in te bouwen. Op deze manier kan er direct worden gereageerd op berichten van een andere persoon, en hoeft er niet eerst te worden gewacht tot een persoon eens gaat kijken.

Verder leek het de testpersonen ook makkelijk als de mensen binnen de werkgroep ook berichten kunnen worden gestuurd. Hierbij wordt gedacht aan het makkelijk en snel kunnen versturen van emails naar één persoon of naar een hele groep.

Deze functies worden ook genoemd in de documenten van Pronett.

Vanuit Cardiff kwam de opmerking dat de Pronett portal niet voldoet aan de eisen van bruikbaarheid en zichtbaarheid van de landelijke overheid. In Groot-Brittannië bestaat een wet die erop toeziet dat de websites voldoen aan eisen waardoor ook minder valide mensen gebruik kunnen maken van een site. Dit wordt in de gaten gehouden door de zogenoemde "Bobby".

Verder staat er in de documenten van Pronett dat er aan de EU is toegezegd ook rekening te houden met minder validen. Het is daarom goed dat er reactie is gekomen vanuit Cardiff.

Er bestaan verschillende soorten niveaus waaraan een site kan voldoen. De worden aangegeven door "Bobby approved" met een status "A", "AA", of "AAA". Als een site aan alle eisen voldoet, dan krijgt deze de "AAA" status.

Om toch zo snel mogelijk aan de belangrijkste eisen te voldoen (Bobby A), zijn de belangrijkste pagina’s door de scan geweest van de Bobby. Deze gaf verschillende fouten aan, maar ze hadden allemaal betrekking op één ding, plaatjes. Om plaatjes te kunnen vervangen door tekst (geschikt voor blinden) moet er een alternatieve tekst bestaan. Bij veel plaatjes binnen Pronett was dat nog niet gebeurd. Bij de toevoeging van elk volgend plaatjes moet direct een alternatieve EN BETEKINSVOLLE tekst worden verzonnen.

Op dit moment krijgt Pronett de "Bobby A" status.

Omdat Pronett nu pas in een eerste versie aanwezig is, lijkt het handigst om tijdens het verder te ontwikkelen steeds meer aan de eisen van het W3C te gaan voldoen, zodat uiteindelijk de "Bobby AAA" status kan worden binnengehaald.

Omdat dit de eerste test was waarin een groot aantal gebruikers gelijktijdig gebruik maakten van de dienst zijn er ook problemen aan het licht gekomen rond permissies. Een paar keer is het voorgekomen dat er een melding verscheen dat een persoon zich moest aanmelden om de pagina te mogen zien. Verder gebeurde het ook een paar keer dat er een pop-up scherm verscheen waarop men moest inloggen. Ook was het mogelijk om in de werkruimte van een ander te komen en om daarin te wijzigen.

Dit is allemaal onaanvaardbaar als het gaat om veiligheid en gebruiksvriendelijkheid. Het moet helder zijn bij elke pagina wie er mag komen en wie er wat mag doen. Dit is aan te passen met de workflow van Pronett. Het is dus duidelijk dat deze nog niet klopt en heeft wel een hoge prioriteit om goed te krijgen. Er moet tijdens de eerst versie op worden gelet of het vaker voorkomt zodat er snel kan worden ingegrepen.

Onder de ‘personalbar’ staat een regel "You are here…" met de verschillende mappen waarin je doorheen bent gegaan. Het is mogelijk om in die regel de mappen aan te klikken zodat de gebruiker niet helemaal terug hoeft te klikken. Dit werd erg handig gevonden en werd veelvuldig gebruikt. Het laat ook zien van wie het object is (ook als je bij een ander in de map bent uitgenodigd). Een goede functionaliteit dus !

Na de eerste wijzigingen is het duidelijk geworden waar de prioriteiten liggen van de gebruikers. Ook is het duidelijk geworden waar de grootste problemen zich voordoen en waar de gebruikers moeite mee hebben. Wij zijn daarom benieuwd naar de volgende punten met reacties vanuit Cardiff. Deze vragen zijn meer specifiek.

Om het werkgedeelte te scheiden van de algemene zaken van de site zijn verschillende kleuren gebruikt.

Is dat duidelijk geworden, of wordt alles gezien als een geheel ? Zouden er andere kleuren moeten worden gebruikt ?

Er zijn ‘tabs’ gebruikt om de verschillende keuze mogelijkheden duidelijk te maken. Is dat ook zo ? Of zouden de keuze mogelijkheden op een andere manier moeten worden getoond ?

Er zijn ook knoppen gebruikt binnen Pronett. Werkt dat verwarrend met de tabs? Of moet er een bepaald soort worden gekozen ?

Staat er genoeg informatie op het scherm ? Of staat er te veel ? Wat willen jullie nog graag weten ?

De gegevens worden getoond in een lijst. Is dat handig ? Zou het op een andere manier moeten (bijv. icoontjes) ?

Kunnen genoeg type items worden aangemaakt ? Moet er meer keuze komen ?

Wat moet beter binnen The Roundtable ? (alles kan worden genoemd (vormgeving, kleuren, structuur, informatie)

Kan alles worden gevonden ?

Is de naamgeving eenduidig ? Spreekt het voor zich ?

Welke informatie willen jullie op welke plek zien (mocht iets onduidelijk zijn) ?

Wat vinden jullie van de plaatjes ? Zouden er meer moeten komen ?

Welke formulieren zijn niet duidelijk wat er de bedoeling van is ?

Heeft Pronett een toegevoegde waarde ? Ondersteund het echt de taken ?

Zou het aanmelden op een andere manier moeten gebeuren ? Of moet het duidelijker worden uitgelegd? Of spreekt het voor zich en moet het ongewijzigd blijven ?

Wat is precies onduidelijk aan het proces van Publiceren ? Is er meer uitleg nodig ? Moet het anders om documenten te delen ?

Op wat voor manier willen jullie zien welke mensen je hebt uitgenodigd. Op welke manier zou dat uitnodigen moeten gebeuren ? Kan er op dit moment goed gecommuniceerd worden ? Zouden er andere kanalen moeten worden gebruikt of moet de huidige worden verbeterd ?

Hoe zou een project in de catalogue moeten komen ? En op welke manier moet het project worden gepresenteerd ?

Wat vinden jullie van "My Workspace" en "Workspaces and tools". Wat verwachten jullie daar ?

Lukt het opmaken van de pagina’s ? Zou het anders moeten ? Voegen Plain text, html en structured text iets toe ?

Kunnen jullie alle gegevens makkelijk kwijt op Pronett ?

Welke functionaliteiten willen jullie er nog graag bij hebben ?

Wat zou je het allerliefste willen doen op Pronett ?

De manier van informatie verzamelen kan op verschillende manieren.

Als eerste kan er een enquête worden rondgestuurd. Zo krijg je antwoorden op je vragen terug, maar zelf kan er niet worden doorgevraagd mochten er verassende reacties tussen zitten.

Op dit moment komen de problemen binnen via de mail, de roundtable en de Bugs and features collector. We willen niet gaan publiceren op Pronett zelf omdat dan het doel van Pronett over het hoofd wordt gezien. We behouden de mogelijkheden om deze kanalen te gebruiken voor het aangeven van problemen. Jory zal deze problemen opvangen en een lijst bijhouden in de Bugs and features collector waarna hij ook de taken zal toekennen aan personen.

Uiteindelijk is het ook handig om een verslag te krijgen vanuit Cardiff waarin de ervaringen worden beschreven. (?)

Het moet duidelijk worden hoe de personen in Cardiff bij eventuele problemen het liefst zien opgelost. Voor het ontwikkelteam is het meest handigst dat dat de ervaringen worden ingedeeld naar de huidige categorieen, zodat er een eenvoudige taakverdeling kan worden gemaakt.

Verder moeten ook de sterke kanten van Pronett naar voren komen.

7. Usability en Accessability

Pronett moet toegankelijk zijn voor een breed publiek. Er mogen zich daarom geen drempels voordoen voor de toegankelijkheid of vormgeving. Hierbij kan gedacht worden aan verkeerde kleurkeuzes, verkeerde teksten of een verkeerde opbouw van pagina’s. Het moet dus mogelijk zijn dat eventuele slechtziende mensen of slechthorende mensen toch hun werk kunnen doen met behulp van Pronett op internet.

Tegenover de Europese Commissie is in de documenten van Pronett vermeld dat er rekening wordt gehouden met visueel gehandicapten.

Er bestaan ook eisen vanuit Groot Brittanië en van de universiteit van Cardiff.

Er is in eerste instantie alleen gecontroleerd op een Bobby A status (prioriteit 1). Dit zijn de belangrijkste en minimale eisen waaraan een site moet voldoen volgens het W3C.

De belangrijkste fout die is voorgekomen voor een minimale Bobby A status, was de alternatieve tekst <alt> voor een plaatje. Dit is nodig zodat slechtziende mensen deze tekst kan worden voorgelezen door de computer. Deze problemen zijn opgelost door in Zope voor elk plaatje een "title" te zetten. Deze verschijnt in de broncode onder het <alt>-tag.

Wat ook een probleem gaf is dat er geneste <heading>-tags terug kwamen in Pronett. Dit werkt niet goed voor de structuur van de site. Een H6 staat onder H5. Zo ontstaat er een structuur die hiërarchisch is en mogen daarom niet los worden gebruikt. Dit gold voor de beginpagina voor de melding van de browserversie en de resolutie. Dit is nu opgelost door een <small>-tag te gebruiken.

Om de structuur van een site helder te houden moet inhoud en vormgeving worden gescheiden. Bij sommige pagina’s is er in het inhoudgedeelte toch een opmaak-tag gebruikt (bijvoorbeeld <B>). Ook op dit punt geeft de Bobby een melding, maar dit heeft geen grote gevolgen voor de site.

Hierna gaf werd een Bobby A status toegekend, echter met de vermelding dat deze tool niet alles kan controleren en dat er handmatig nog zaken moeten worden nagekeken of wordt voldaan aan de richtlijnen van het W3C.

Er waren nog meldingen over functies die het niet zouden kunnen doen op bepaalde computers, of dat scripts bepaalde weergave toonden wat niet klopt. Dit zijn de mogelijkheden van Plone en kunnen daarom niet worden aangepast. Maar deze zijn niet van belang voor een A-status.

Er kan voor versie 2 van Pronett worden gewerkt aan een volwaardige Bobby-approved site. Maar hiervoor moet nog veel worden aangepast. Kijk daarvoor in de documenten van het W3C en bij de Bobby-site.

Al in een vroeg stadium kwam de melding uit Cardiff dat de site niet voldoet aan de eisen van de universiteit en van de overheid. In Groot-Brittannië bestaat een wet die erop toeziet dat site toegankelijk zijn voor iedereen. Daarop zijn verdere aanpassingen voor Cardiff gedaan en gedocumenteerd. Deze ‘guidelines’ komen veel overeen met de richtlijnen van het W3C. Alleen zijn deze meer uitgewerkt en toegelicht met voorbeelden. Er kan dus worden voldaan met de richtlijnen van het W3C.

Het heeft nut gehad dat de verschillende soorten methoden als een mix zijn toegepast. Op deze manier zijn alle verschillende visies van mensen aan bod gekomen.

Er werd in de literatuur beschreven dat bij de hard-op-denk-methode de testpersonen constant moeten worden gestimuleerd om het te blijven doen. Echter dat is niet gebeurd. Bij een paar opdrachten is gevraagd om te zeggen wat de gebruikers van plan waren. Maar na een paar seconden werd dat al opgegeven. De observatoren waren op zich druk bezig om de werkzaamheden te registreren. Het heeft geen grote problemen opgeleverd. Verder zijn er tijdens het maken van de opdrachten toch vragen gesteld wat er precies fout ging. Daarna werd er een aanwijzing gegeven hoe de gebruiker verder moest gaan. Ook dit was niet de bedoeling omdat de gebruiker het moet proberen zelf op te lossen. Maar ook dit heeft niet tot andere informatie geleid. Het ging erom om de grootste problemen aan het licht te brengen, en dat is op deze manier ook gelukt.

Dat de personen zich in een ruimte bevonden kwam achteraf goed uit. Omdat niet iedereen wist wat de gebruikersnaam of e-mail was van iemand anders, kon dit worden opgelost door het te vragen. Normaal gesproken kan dit niet, maar omdat het verschillende personen waren die elkaar niet/nauwelijks kenden moest deze uitwisseling wel plaatsvinden.

Het groepsgesprek (interview) achteraf was erg nuttig. Er kwam (zoals verwacht) een gesprek op gang waarin ieder zijn/haar mening gaf. Op deze manier kwam er ook een gezamenlijk beeld uit van Pronett en de problemen. Maar ook de wensen werden gedeeld.

Leuk was om te zien dat er inderdaad verschil bestaat in ervaring met computers. De gebruikers die niet veel ervaring hadden, bleken langer te doen om een opdracht voor elkaar te krijgen. Ook begrepen zij minder snel bepaalde functionaliteiten en bepaalde teksten. Ook hadden ze meer moeite om iets te vinden op het scherm. Deze personen hadden ook meer begeleiding nodig.

Achteraf gezien waren de opdrachten zoals ze waren geformuleerd op papier niet helemaal goed. Zo was de naamgeving van een project of een document niet duidelijk omschreven. Het was dan ook niet helemaal duidelijk waar iemand iets kon vinden op het scherm. Dus alleen aan de formulering lag het niet.

Wel was het duidelijk dat de verschillende taken in een opdracht zaten verwerkt. Er waren duidelijk opdrachten waar langer over werd gedaan. Daardoor is het duidelijk geworden waar de problemen precies zaten.

Doordat een persoon de opdrachten later heeft gedaan zijn deze resultaten pas later verwerkt. Echter zijn de grootste problemen ook hier tegengekomen, wat het eigenlijk bevestigd.

Uiteindelijk moesten de belangrijkste problemen worden vertaald naar een methode om deze ervaringen te krijgen van de studenten vanuit Cardiff. Dit was een moeilijk punt omdat het niet duidelijk is hoe de personen in Engeland aan het werk zijn. Ook zijn er al reacties gekomen van deze personen en is het misschien nog wel de vraag of deze punten van belang zijn. Verder moeten deze studenten wel zover worden gekregen dat de vragen worden beantwoord op deze manier.

De volgende bronnen heb ik geraadpleegd om te komen tot dit onderzoek:

• Onderzoeksvragen
• Checklist: Lijst van Ijkpunten voor de richtlijnen Toegankelijkheid Web Content.
• Draaiboek

Om gebruik te maken van Pronett moet je eerst lid worden. Want op dat moment kan je pas gebruik maken van de mogelijkheden.

Nu je jezelf hebt aangemeld, kan je je eigen homepagina aanpassen.

Verander je homepagina en zet daarin je naam, adres en informatie over je opleiding of hobby.

Je wilt vast wel weten wat iedereen heeft ingevuld over zijn/haar opleiding. Zoek op wie er lid zijn van Pronett en wat er op hun homepagina staat.

Uiteindelijk wordt Pronett gebruikt om je documenten, gegevens en informatie in onder te brengen.

Start een nieuw "project" met een zelf te kiezen naam. Zet daarin een document met de naam "uitnodiging" waarin je mensen uitnodigt om mee te gaan werken aan dit project.

Als dit is gebeurd is er een bestand aanwezig in jouw werkplek. Om het voor de rest van de medestudenten zichtbaar te maken moet het document worden "gepubliceerd".

Om samen te kunnen werken moet je iemand toestemming geven om in je werkruimte te komen. Je kan iemand een "lokale rol" geven.

Zet je buurman/buurvrouw in je werkruimte als "owner". Maak hierbij gebruik van zijn/haar emailadres.

Zodra je op de werkplek van je buurman mag komen, zet je in het document waarin mensen worden uitgenodigd dat je graag mee wilt werken. Zet je naam erbij.

Omdat je nu vaker op deze werkplek terecht komt voeg je deze pagina toe aan je interne favorieten (niet die van de browser).

Als een project (met daarin alle documenten) is afgerond, kan je het kenbaar maken aan iedereen in de wereld. Dat doe je door het project te publiceren zodat het in de "project catalogue" zichtbaar wordt. Publiceer het project en zoek het daarna op in de "project catalogue".

Er bestaat een discussie over het gebruik van Pronett. Zoek deze discussie op en lees het. Geef daarna je eigen mening door te reageren op eerdere berichten of door het aanmaken van een nieuwe discussie.

Abstract

This list may be used to review a page or site for accessibility. For each checkpoint, indicate whether the checkpoint has been satisfied, has not been satisfied, or is not applicable.

Status of this document

This document is an appendix to a document that has been reviewed by W3C Members and other interested parties and has been endorsed by the Director as a W3C Recommendation. This is a stable document and may be used as reference material or cited as a normative reference from another document. W3C's role in making the Recommendation is to draw attention to the specification and to promote its widespread deployment. This enhances the functionality and universality of the Web.

Priorities

Each checkpoint has a priority level assigned by the Working Group based on the checkpoint's impact on accessibility.

[Priority 1]

A Web content developer must satisfy this checkpoint. Otherwise, one or more groups will find it impossible to access information in the document. Satisfying this checkpoint is a basic requirement for some groups to be able to use Web documents.

[Priority 2]

A Web content developer should satisfy this checkpoint. Otherwise, one or more groups will find it difficult to access information in the document. Satisfying this checkpoint will remove significant barriers to accessing Web documents.

[Priority 3]

A Web content developer may address this checkpoint. Otherwise, one or more groups will find it somewhat difficult to access information in the document. Satisfying this checkpoint will improve access to Web documents.

Some checkpoints specify a priority level that may change under certain (indicated) conditions.

Priority 1 checkpoints

Priority 2 checkpoints

Priority 3 checkpoints

Welkom - Log alvast in onder studentnummer !

Voorstellen

• Ton: CENTO-ICT & projectleider Pronett
• Jory: CENTO-ICT & ontwikkelaar Pronett
• Ferrie: SvC (stage tot januari) & user-interface en gebruikersonderzoek

Uitleg Pronett (doel)

• Professional Networking Education and Teacher Training (studenten + docenten)
• EU-commissie, Cardiff, Barcelona, Gent en Utrecht
• Studentenportal
• Meet ict in onderwijs en meer internationaal. Elkaar helpen en verbeteren

Uitleg wat we gaan doen

• Laatste fouten voor Cardiff eruit. Belangrijkste taken. Wensen gebruikers
• Kleine opdrachten op papier. Korte opsomming
• Helpen om problemen te zien wat wij kunnen oplossen. Het is dus niet jouw fout als het niet lukt, maar die van ons! We testen het product en niet jullie !
• Af en toe hardop denken (zodat wij werkwijze te weten komen). Uitleg, kort voordoen
• Wij zullen GEEN hulp bieden zodat een realistische omgeving ontstaat. (behalve als het echt niet meer gaat). Dan komen we juist alles te weten. Maar stel wel vragen !
• Achteraf gesprek doen

Korte introductie op een beamer (niet te veel laten zien)

• Hoofdonderdelen
• Personalbar

Vragen?

• Gezellige ochtend van maken

Mensen achter computer neerzetten en opdrachten geven

Observeren

• Goed luisteren
• Af en toe vragen stellen waarom ze iets doen
• Af en toe vragen wat ze verwachten te zien
• Af en toe hardop denken
• Ook goede dingen opschrijven
• Wat voor indruk krijg je via de testpersonen
• Objectief en geïnteresseerd blijven
• Zo min mogelijk aanwezig zijn
• Gedetailleerd opschrijven

Open groepsgesprek

• Lijst met onderwerpen
• Discussiëren en doorvragen (aanknopingspunten gebruiken)

Wat hebben wij willen weten

• Kunnen de taken worden vervuld ?
• Spreekt de User-interface voor zich ?
• Hoe wordt er met de portal omgegaan ?

Vragen of opmerkingen ?

Bedanken