UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO CENTRO DE CIÊNCIAS JURÍDICAS E ECONÔMICAS PROGRAMA DE PÓS-GRADUAÇÃO EM GESTÃO PÚBLICA MARIA BEATRIZ AGUIAR DE OLIVEIRA USABILIDADE E QUALIDADE DA INFORMAÇÃO: AVALIAÇÃO DO PORTAL DO ALUNO DA UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO VITÓRIA 2014 MARIA BEATRIZ AGUIAR DE OLIVEIRA USABILIDADE E QUALIDADE DA INFORMAÇÃO: AVALIAÇÃO DO PORTAL DO ALUNO DA UNIVERSIDADE FEDERAL DO ESPÍRITO SANTO Dissertação apresentada ao Programa de Pós- Graduação em Gestão Pública do Centro de Ciências Jurídicas e Econômicas da Universidade Federal do Espírito Santo, como requisito parcial para obtenção do título de Mestre em Gestão Pública, na área de Gestão de Operações. Orientadora: Prof.ª Dr.ª Taciana de Lemos Dias. VITÓRIA 2014 Dados Internacionais de Catalogação-na-publicação (CIP) (Biblioteca Central da Universidade Federal do Espírito Santo, ES, Brasil) Oliveira, Maria Beatriz Aguiar de, 1981- O48u Usabilidade e qualidade da informação : avaliação do Portal do aluno da Universidade Federal do Espírito Santo / Maria Beatriz Aguiar de Oliveira. – 2014. 142 f. : il. Orientador: Taciana de Lemos Dias. Dissertação (Mestrado Profissional em Gestão Pública) – Universidade Federal do Espírito Santo, Centro de Ciências Jurídicas e Econômicas. 1. Design centrado no usuário. 2. Serviços de informação – Estudo de usuários. 3. Comunicação na tecnologia. 4. Portais da web – Avaliação. 5. Universidade Federal do Espírito Santo - Portais da web. I. Dias, Taciana de Lemos. II. Universidade Federal do Espírito Santo. Centro de Ciências Jurídicas e Econômicas. III. Título. CDU: 35 À minha família: Marco Antônio (in memoriam), Ana, Carol, Marquinho e Arnaldo. AGRADECIMENTOS Primeiramente agradeço a Deus, pela força, coragem e determinação, principalmente nos momentos mais difíceis, para chegar até aqui. Aos meus pais, Ana e Marco Antônio, que muitas vezes abdicaram de muitos de seus sonhos para que os meus pudessem se realizar, e demais familiares, pelo carinho e por entenderem minha ausência. A Arnaldo, fonte de inspiração, incentivo e ânimo, bem como pela paciência e ajuda essenciais para a conclusão de mais esta etapa. À UFES e ao NPD pela abertura de espaço e disponibilização de dados indispensáveis na realização deste trabalho. À professora Taciana de Lemos Dias pela orientação, amizade e confiança. À professora Teresa Cristina Janes Carneiro, coordenadora do mestrado, por toda sua dedicação, atenção e disponibilidade durante todo o processo de construção deste trabalho, e também pelos ensinamentos prestados na parte das análises estatísticas. À professora Dulcinéa Sarmento Rosemberg, por prontamente aceitar o convite da qualificação, fornecendo valiosas contribuições e sugestões para a pesquisa. A todos os colegas da segunda turma do Mestrado Profissional em Gestão Pública, especialmente à Anneliza pela amizade e parceria, demonstrando sempre prontidão e disposição em ajudar nos meus momentos de dúvidas, e à Liliana pela revisão do abstract. A todos os professores e funcionários do mestrado, aos colegas de trabalho do NPD, aos alunos que gentilmente, de forma voluntária, responderam o questionário base desta pesquisa, e enfim, a todos que diretamente ou indiretamente colaboraram para a concretização deste trabalho, meu muito obrigado! “Agradeço todas as dificuldades que enfrentei; não fosse por elas, eu não teria saído do lugar... As facilidades nos impedem de caminhar. Mesmo as críticas nos auxiliam muito.” (Chico Xavier) RESUMO O presente trabalho tem por objetivo avaliar o Portal do Aluno da Universidade Federal do Espírito Santo, identificando fatores associados à usabilidade que afetam a percepção de qualidade da informação e diferenciando grupos de usuários em função da usabilidade do Portal. Para tanto, foi realizado um levantamento por meio de um questionário aplicado aos usuários, com abordagem predominantemente quantitativa. Foi descrito o perfil dos alunos, o contexto em que utilizam o Portal e qual avaliação fazem dos relatórios e atividades. A partir do modelo elaborado no estudo, no qual a usabilidade contou com seis dimensões (facilidade de aprendizado, facilidade de memorização, eficiência, satisfação, suporte a erros e utilidade), constatou-se que, com exceção da facilidade de aprendizado, as demais dimensões possuem significância estatística na percepção da qualidade da informação, sendo a mais influente a dimensão satisfação. Por meio da análise de conglomerados, foram identificados três grupos, com base nas avaliações dos fatores associados ao atendimento de suas expectativas e aos resultados do uso do portal (satisfação, eficiência e utilidade): o primeiro grupo composto por alunos que avaliaram melhor estes fatores bem como as atividades, os relatórios e a qualidade da informação do Portal; o segundo que avaliaram medianamente; e o terceiro que avaliaram pior. Através da regressão simples utilizando a média das dimensões de usabilidade, verificou-se também que a qualidade da informação está fortemente correlacionada (r=0,7) com a usabilidade do Portal, tendo um poder de predição de 49%. Também foram obtidas respostas acerca do que era mais confuso e sugestões de melhorias que ajudaram a formular, conjuntamente com as demais análises, as propostas do Plano de Intervenção. Embora ainda apresente deficiências, em uma escala de 0 a 5, o Portal foi avaliado acima da média na dimensão satisfação (3,42), bem como obteve média geral de qualidade da informação de 3,31 e de usabilidade de 3,69 . Desta forma, pode-se dizer que ele tem cumprido sua função. Palavras-chave: Design centrado no usuário. Serviços de informação – Estudo de usuários. Comunicação na tecnologia. Portais da web – Avaliação. Universidade Federal do Espírito Santo - Portais da web. ABSTRACT This study aims to evaluate the Espírito Santo Federal University Student’s Portal, identifying factors associated with usability that affect the perception of information quality and differentiating user groups according to the usability of the Portal. To this end, a survey was performed through a questionnaire applied to its users, with predominantly quantitative approach. The profile of the students, besides the context in which they use the Portal and also how they evaluate the reports and activities were described here. From the model developed in this study, which comprised six usability dimensions (learnability, memorability, efficiency, satisfaction, errors support and utility), it was found that, except the learnability, the remaining dimensions are statistically significant in the perception of information quality, being satisfaction the most influential dimension. Through the cluster analysis, based on assessments of the factors associated with meeting of expectations and the results of the use of the website (satisfaction, efficiency and utility), three groups were identified: the first group of students that best assessed these factors as well as activities, reports and information quality of the Portal; the second which evaluated moderately; and the third one which rated worse. By simple regression using the average of the usability dimensions, it was also found that the information quality is strongly correlated (r = 0.7) with the usability of the Portal, having a predictive power of 49%. Responses were also obtained about what was more confusing and suggestions for improvements helped to formulate, in conjunction with other analyzes, the proposals of the Intervention Plan. Although it still has deficiencies, on a scale 0-5, the Portal was rated above average in the satisfaction dimension (3.42), as well as achieved obtained a general average of 3.31 in quality of information and 3.69 in usability. Thus, the results indicate that it has fulfilled its function. Keywords: User-centered design. Information services - User study. Technology in communication. Web portals - Evaluation. Espírito Santo Federal University - Web portals. LISTA DE FIGURAS Figura 1 – Fase avançada do conceito de portais para universidades federais brasileiras .................................................................................................................. 27 Figura 2 – Exemplo de espaço para comentário do avaliador no QUIS .................... 36 Figura 3 – Percepção da qualidade da informação por meio de atributos de usabilidade ................................................................................................................ 47 Figura 4 – Página inicial do Portal do Aluno .............................................................. 50 Figura 5 – Página principal do Portal do Aluno ......................................................... 51 Figura 6 – Menu de opções do Portal do Aluno da UFES ......................................... 51 Figura 7 – Modelo final da percepção da qualidade da informação por meio das dimensões de usabilidade ......................................................................................... 75 Figura 8 – Funções discriminantes canônicas ........................................................... 78 LISTA DE QUADROS Quadro 1 - Geração dos Portais Corporativos .......................................................... 25 Quadro 2 - Categorização das IFES de acordo com as escalas evolutivas .............. 28 Quadro 3 - Sumário de algumas técnicas de avaliação de usabilidade .................... 34 Quadro 4 - Exemplos de perguntas do QUIS - partes 4 a 12 .................................... 36 Quadro 5- Exemplos de questões do SUMI .............................................................. 37 Quadro 6 – Exemplos de questões do WAMMI ......................................................... 38 Quadro 7 – Princípios de “Diálogo” ........................................................................... 39 Quadro 8 – Faixas de pontuações e significados do Isonorm ................................... 40 Quadro 9 – Dimensões da informação (O´brien) ....................................................... 42 Quadro 10 - Categorias dos atributos de qualidade da informação (Arouck) ............ 43 Quadro 11 – Pesquisas sobre usabilidade de Portais de Universidades .................. 45 Quadro 12 – Funcionalidades disponíveis no Portal do Aluno .................................. 52 Quadro 13 – Operacionalização da variável Usabilidade .......................................... 55 Quadro 14 – Operacionalização da variável Qualidade da Informação .................... 56 Quadro 15 - Resumo do modelo de pesquisa e análise dos dados .......................... 59 Quadro 16 – Distribuição das questões de identificação e contexto de utilização do respondente .............................................................................................................. 61 Quadro 17 – Distribuição das questões da Usabilidade ............................................ 61 Quadro 18 – Distribuição das questões da Qualidade da Informação ...................... 62 Quadro 19 – Distribuição das questões de Conteúdo do Portal ................................ 62 Quadro 20 – Pontos levantados pelos alunos quanto à matrícula e oferta ............... 88 LISTA DE GRÁFICOS Gráfico 1 – Quantidade diária de respostas ao questionário ..................................... 64 Gráfico 2 – Vínculo dos respondentes ...................................................................... 66 Gráfico 3 – Faixas etárias dos respondentes ............................................................ 67 Gráfico 4 – Faixas de tempo no curso atual .............................................................. 67 Gráfico 5 – Frequência de acesso à Internet dos respondentes ............................... 68 Gráfico 6 – Recursos de Internet mais utilizados pelos respondentes ...................... 69 Gráfico 7 – Como os respondentes se consideram enquanto usuários de sites que utilizam usuário e senha para acesso ....................................................................... 69 Gráfico 8 – Equipamentos disponíveis para uso pessoal/familiar ............................. 70 Gráfico 9 – Frequência de acesso desconsiderando o período de realização de matrícula.................................................................................................................... 70 Gráfico 10 – Local de maior frequência de acesso do Portal do Aluno pelos respondentes ............................................................................................................. 71 Gráfico 11 – Navegador mais utilizado para acessar o Portal ................................... 72 Gráfico 12 - Médias por Grupos para Relatórios e Atividades do Portal ................... 82 LISTA DE TABELAS Tabela 1 - Distribuição dos alunos de graduação ativos da UFES ........................... 54 Tabela 2 - Distribuição dos respondentes por gênero e modalidade ....................... 65 Tabela 3 - Variáveis, questões e médias das dimensões ........................................ 73 Tabela 4 - Teste de Validade dos Constructos do Modelo ....................................... 74 Tabela 5 - Grupos por Usabilidade ............................................................................ 76 Tabela 6 – Resultados da classificação .................................................................... 76 Tabela 7 - Confiabilidade dos conglomerados .......................................................... 77 Tabela 8 - Resultados da classificação por conglomerados ..................................... 77 Tabela 9 – Matriz de Estrutura .................................................................................. 78 Tabela 10 – Comparação das Médias das Variáveis Dependentes por Conglomerados ......................................................................................................... 79 Tabela 11 – Comparação das Frequências entre Grupos e Centros ........................ 79 Tabela 12 – Comparação das Frequências entre Grupos e Frequência de uso da internet ...................................................................................................................... 81 Tabela 13 – Comparação das Frequências entre Grupos e Tempo no Curso .......... 81 Tabela 14 – Comparação das Frequências entre Grupos e Navegador ................... 81 Tabela 15 – Média e Desvio-Pedrão das atividades ................................................. 83 Tabela 16 – Média e Desvio-Pedrão dos relatórios ................................................... 84 LISTA DE ABREVIATURAS E SIGLAS ABNT Associação Brasileira de Normas Técnicas AVA Ambiente Virtual de Aprendizagem CAR Centro de Artes CCA Centro de Ciências Agrárias CCE Centro de Ciências Exatas CCHN Centro de Ciências Humanas e Naturais CCJE Centro de Ciências Jurídicas e Econômicas CCS Centro de Ciências da Saúde CCV Comissão Coordenadora do Vestibular CE Centro de Educação CEFD Centro de Educação Física e Desportos CEPE Conselho de Ensino, Pesquisa e Extensão CEUNES Centro Universitário Norte do Espírito Santo CT Centro Tecnológico DAE Departamento de Assistência Estudantil DEC Digital Equipment Co. Ltd e-PWG Padrões Web em Governo Eletrônico FURG Universidade Federal do Rio Grande IES Instituição(ões) de Ensino Superior IFES Instituição (ões) Federal (is) de Ensino Superior ISO International Organization for Standardization MEC Ministério da Educação MP Ministério do Planejamento, Orçamento e Gestão NPD Núcleo de Processamento de Dados PDTIC Plano Diretor de Tecnologia da Informação e Comunicação PROGEPAES Pró-Reitoria de Gestão de Pessoas e Assistência Estudantil PROGRAD Pró-Reitoria de Graduação QUIS Questionnaire for User Interface Satisfaction SESu Secretaria de Ensino Superior SIE Sistema de Informações Educacionais SLTI Secretaria de Logística e Tecnologia da Informação SPSS Statistical Package for the Social Sciences SUMI Software Usability Measurement Inventory SUS System Usability Scale TIC Tecnologias de Informação e Comunicação UFABC Universidade Federal do ABC UFAC Universidade Federal do Acre UFAL Universidade Federal de Alagoas UFAM Universidade Federal do Amazonas UFBA Universidade Federal da Bahia UFC Universidade Federal do Ceará UFCA Universidade Federal do Cariri UFCG Universidade Federal de Campina Grande UFCSPA Universidade Federal de Ciências da Saúde de Porto Alegre UFERSA Universidade Federal Rural do Semi-Árido UFES Universidade Federal do Espírito Santo UFF Universidade Federal Fluminense UFFS Universidade Federal da Fronteira Sul UFG Universidade Federal de Goiás UFGD Universidade Federal da Grande Dourados UFJF Universidade Federal de Juíz de Fora UFLA Universidade Federal de Lavras UFMA Universidade Federal do Maranhão UFMG Universidade Federal de Minas Gerais UFMS Universidade Federal de Mato Grosso do Sul UFMT Universidade Federal do Mato Grosso UFOB Universidade Federal do Oeste da Bahia UFOP Universidade Federal de Ouro Preto UFPA Universidade Federal do Pará UFPB Universidade Federal da Paraíba UFPE Universidade Federal de Pernambuco UFPEL Universidade Federal de Pelotas UFPI Universidade Federal do Piauí UFPR Universidade Federal do Paraná UFRA Universidade Federal Rural da Amazônia UFRB Universidade Federal do Recôncavo da Bahia UFRGS Universidade Federal do Rio Grande do Sul UFRJ Universidade Federal do Rio de Janeiro UFRN Universidade Federal do Rio Grande do Norte UFRPE Universidade Federal Rural de Pernambuco UFRR Universidade Federal de Roraima UFRRJ Universidade Federal Rural do Rio de Janeiro UFS Universidade Federal de Sergipe UFSB Universidade Federal do Sul da Bahia UFSC Universidade Federal de Santa Catarina UFSCAR Universidade Federal de São Carlos UFSJ Universidade Federal de São João del-Rei UFSM Universidade Federal de Santa Maria UFT Universidade Federal do Tocantins UFTM Universidade Federal do Triângulo Mineiro UFU Universidade Federal de Uberlândia UFV Universidade Federal de Viçosa UFVJM Universidade Federal dos Vales do Jequitinhonha e Mucuri UNB Universidade Federal de Brasília UNIAM Universidade Federal de Integração da Amazônia UNIFAL Universidade Federal de Alfenas UNIFAP Universidade Federal do Amapá UNIFEI Universidade Federal de Itajubá UNIFESP Universidade Federal de São Paulo UNIFESSPA Universidade Federal do Sul e Sudeste do Pará UNILA Universidade Federal da Integração Latino–Americana UNILAB Universidade Federal da Integração Internacional da Lusofonia Afro-Brasileira UNIPAMPA Universidade Federal do Pampa UNIR Fundação Universidade Federal de Rondônia UNIRIO Universidade Federal do Estado do Rio de Janeiro UNIVASF Universidade Federal do Vale do São Francisco UTFPR Universidade Tecnológica Federal do Paraná WAMMI Web Analysis and MeasureMent Inventory SUMÁRIO 1 DEFINIÇÃO DO PROBLEMA ............................................................................. 19 1.1 INTRODUÇÃO ...................................................................................................................... 19 1.2 OBJETIVOS .......................................................................................................................... 21 1.3 JUSTIFICATIVA .................................................................................................................... 22 2 REFERENCIAL TEÓRICO ................................................................................. 24 2.1 PORTAIS CORPORATIVOS NAS UNIVERSIDADES FEDERAIS BRASILEIRAS .............. 24 2.2 DEFININDO USABILIDADE .................................................................................................. 28 2.2.1 Definição de Nielsen ........................................................................................................................ 29 2.2.2 Definição de Rubin e Chisnell .......................................................................................................... 30 2.2.3 Definição da ISO/ABNT ................................................................................................................... 30 2.2.4 Definição da Cartilha de Usabilidade do Governo Federal .............................................................. 31 2.3 AVALIANDO A USABILIDADE .............................................................................................. 32 2.4 QUESTIONÁRIOS PARA MEDIR A SATISFAÇÃO DOS USUÁRIOS ................................. 34 2.4.1 Questionnaire for User Interface Satisfaction (QUIS) ....................................................................... 35 2.4.2 Software Usability Measurement Inventory (SUMI) .......................................................................... 37 2.4.3 Web Analysis and MeasureMent Inventory (WAMMI) ...................................................................... 37 2.4.4 System Usability Scale (SUS) .......................................................................................................... 38 2.4.5 ISONORM 9241/110-S .................................................................................................................... 38 2.5 A USABILIDADE E OS ESTUDOS DE USUÁRIOS ............................................................. 40 2.6 QUALIDADE DA INFORMAÇÃO E SEUS ATRIBUTOS ...................................................... 41 2.7 TRABALHOS CORRELATOS ............................................................................................... 44 3 METODOLOGIA ................................................................................................. 46 3.1 TIPO DE PESQUISA E NATUREZA DA ABORDAGEM ...................................................... 46 3.2 MODELO DE PESQUISA ..................................................................................................... 47 3.3 AMBIENTE DA PESQUISA ................................................................................................... 49 3.4 POPULAÇÃO DO ESTUDO E AMOSTRA ........................................................................... 53 3.4.1 Operacionalização dos Constructos................................................................................................. 55 3.5 PROCEDIMENTOS PARA OS TESTES DE HIPÓTESES ................................................... 56 3.5.1 Verificação da Validade dos Constructos ......................................................................................... 59 3.6 COLETA DOS DADOS.......................................................................................................... 60 3.6.1 Instrumento de Coleta ...................................................................................................................... 60 3.6.2 Pré-Teste ......................................................................................................................................... 62 3.6.3 Aplicação do Questionário ............................................................................................................... 63 4 ANÁLISE DOS DADOS ...................................................................................... 65 4.1 PERFIL DOS RESPONDENTES .......................................................................................... 65 4.2 CONTEXTO DE UTILIZAÇÃO DO PORTAL ........................................................................ 69 4.3 TESTES DE HIPÓTESES ..................................................................................................... 72 4.3.1 Confiabilidade dos Constructos ....................................................................................................... 72 4.3.2 Qualidade da Informação e as Dimensões de Usabilidade .............................................................. 74 4.3.3 Agrupamento dos respondentes de acordo com a avaliação da Usabilidade do Portal................... 75 4.4 AVALIAÇÃO DOS RELATÓRIOS E SERVIÇOS DO PORTAL ............................................ 83 4.5 OPINIÃO DOS ALUNOS ....................................................................................................... 86 4.5.1 Itens mais úteis no Portal ................................................................................................................. 87 4.5.2 Itens mais confusos no Portal .......................................................................................................... 87 4.5.3 Sugestões de melhoria no Portal ..................................................................................................... 90 5 PLANO DE INTERVENÇÃO ............................................................................... 93 6 CONCLUSÃO ..................................................................................................... 95 7 REFERÊNCIAS .................................................................................................. 98 APÊNDICES ............................................................................................................ 106 APÊNDICE A - Questionário utilizado para medir a satisfação dos alunos. .................................. 106 APÊNDICE B - Médias por grupos para relatórios e atividades do Portal. .................................... 110 ANEXOS ................................................................................................................. 111 ANEXO A – Questionário demográfico e questões sobre percepções gerais do QUIS. ................ 111 ANEXO B – Questões do SUS. ....................................................................................................... 113 ANEXO C – Estrutura do ISONORM 9241/110-S. .......................................................................... 114 ANEXO D – Modelo do histórico parcial do Portal do Aluno. ......................................................... 115 ANEXO E – Modelo da grade do horário individual do aluno do Portal do Aluno. ......................... 116 ANEXO F – Modelo do currículo de cursos do Portal do Aluno. .................................................... 117 ANEXO G – Modelo do comprovante de matrícula do Portal do Aluno. ........................................ 119 ANEXO H – Modelo da ficha cadastral do aluno do Portal do Aluno. ............................................ 120 ANEXO I – Modelo da integralização curricular do Portal do Aluno. .............................................. 121 ANEXO J – Modelo do comprovante de solicitação de matrícula do Portal do Aluno. ................... 123 ANEXO K – Modelo da grade de oferta de disciplinas do curso do Portal do Aluno. ..................... 124 ANEXO L – Modelo da oferta de disciplinas por curso do Portal do Aluno. ................................... 126 ANEXO M – Modelo da oferta de disciplinas por disciplina do Portal do Aluno. ............................ 131 ANEXO N – Modelo da oferta de disciplinas por departamento do Portal do Aluno. ..................... 132 ANEXO O – Solicitação de matrícula do Portal do Aluno. .............................................................. 134 ANEXO P – Modelo de diário de classe do Portal do Aluno. .......................................................... 135 ANEXO Q – Modelo de programa de disciplina do Portal do Aluno. .............................................. 137 ANEXO R – Avaliação de docentes do Portal do Aluno. ................................................................ 139 ANEXO S – Cadastro de atividades complementares do Portal do Aluno. .................................... 140 ANEXO T – Inscrição na ação educativa do projeto sorriso do Portal do Aluno. ........................... 141 ANEXO U – Alteração de dados pessoais, alteração de e-mail/endereço e alteração de documentos do Portal do Aluno. ..................................................................................................... 142 19 1 DEFINIÇÃO DO PROBLEMA 1.1 INTRODUÇÃO A sociedade contemporânea caracteriza-se como uma “sociedade do conhecimento”, devido à grande produção e disseminação de dados principalmente devido ao desenvolvimento das novas Tecnologias de Informação e Comunicação (TIC), com destaque para a Internet, que transformaram as relações econômicas, sociais, políticas, culturais e filosóficas (PINHO, 2011). Esse contexto incitou o surgimento de milhões de sítios eletrônicos (em inglês, websites ou sites) com aplicações para atender as mais diversas áreas como educação, negócios, governo e saúde. Estes sítios, cujo objetivo é o acesso direto a um conjunto de informações e serviços pelo usuário, são conhecidos como portais, e, de acordo com o grupo de usuários atendidos, podem ser públicos (público em geral) ou corporativos (público de uma empresa ou instituição). Com a adoção de portais corporativos1 pelas Instituições de Ensino Superior (IES), discentes podem acessar, de forma centralizada, informações e serviços relevantes às atividades desenvolvidas dentro da instituição, sem precisar estar presente (BITTENCOUT; DIAS, 2011). Embora, na verdade, esses sites nem sempre atendam satisfatoriamente às necessidades de seus usuários, as instituições confiam no uso dos mesmos para uma ampla variedade de tarefas, que vão ampliando ao longo do tempo. Nesse sentido, uma avaliação da usabilidade de Portal e de qualidade das informações fornecidas é necessária visando permitir aos desenvolvedores de sistemas identificarem necessidades de melhorias. E, fundamentalmente, realizada pelo principal usuário, considerando que o Portal é desenvolvido por pessoas e para pessoas, e portanto, pode e deve ser alterado constantemente a fim de adequar-se com a realidade representada, ampliando assim a sua utilização. 1 Sistemas que fornecem funções e recursos para usuários validados por meio de usuário e senha. Segundo Shilakes e Tylman (1998) apud Dias (2001), constitui-se de um conjunto de aplicativos que consolida, gerencia, analisa e distribui informações, não só internamente, mas também para o ambiente externo da organização. 20 Por ora pode-se entender usabilidade como a característica que avalia a qualidade do uso do sistema, englobando itens como a facilidade do usuário em aprendê-lo, o reaprendizado após um período de tempo sem usá-lo, o quão agradável é o seu uso, a quantidade e severidade dos erros bem como a velocidade de realização das tarefas. A usabilidade é uma condição necessária para sobrevivência na World Wide Web (abreviado, Web)2 uma vez que um site de difícil aprendizagem e utilização pode ser abandonado pelos usuários (NIELSEN, 2012). O Portal do Aluno da Universidade Federal do Espírito Santo (UFES) surgiu da necessidade de migrar para Internet procedimentos acadêmicos disponíveis em um sistema de gestão atualmente em operação, o Sistema de Informações Educacionais (SIE). O SIE é um projeto apoiado pela Secretaria de Ensino Superior (SESu) do Ministério da Educação (MEC), que objetivou desenvolver um Sistema de Informações que servisse para a gestão das Instituições Federais de Ensino Superior (IFES) Brasileiras (NPD/UFES, s.d.). Este sistema, desenvolvido pela Universidade Federal de Santa Maria (UFSM), foi adquirido pela UFES em 2001 e funciona em ambiente de intranet3, sendo acessível somente pelos computadores que estão na rede da Universidade (NPD/UFES, s.d.). O SIE é formado por subsistemas que gerenciam áreas específicas da Instituição de Ensino Superior, denominados módulos. Foram instalados, na UFES, os módulos Acadêmico, Protocolo e Recursos Humanos. O SIE possui um sistema de cadastro de usuários que concede permissões aos módulos e funcionalidades que dizem respeito a cada usuário (NPD/UFES, s.d.). Há queixas frequentes dos usuários do sistema quanto às suas deficiências. O Plano Diretor de Tecnologia da Informação e Comunicação (PDTIC) da UFES elenca, em seu inventário de necessidades, a “melhoria dos sistemas acadêmicos e administrativos”, cuja descrição é: Atualmente muitos procedimentos acadêmicos e administrativos são realizados usando-se uma ferramenta obsoleta baseada em clientes ricos, que sempre foi objeto de reclamação por parte dos usuários. A migração destes procedimentos para ambiente Web e o uso mais intensivo de documentos sob forma eletrônica baseado em um sistema de gerência de 2 Aplicação executando na Internet. 3 Rede interna, de acesso local e restrito a certo público. 21 documentos eletrônicos tornaria o acesso e a manipulação das informações mais rápido e seguro (NPD, PROPLAN/UFES, 2011, p.16). A fim de contribuir para o alcance desta meta, migrando procedimentos acadêmicos efetuados no SIE para Web, foi desenvolvido em 2011 pelo Núcleo de Processamento de Dados (NPD) da UFES o novo Portal do Aluno, substituindo o anterior fornecido pela UFSM. Percebe-se, portanto, a importância do Portal do Aluno para a gestão acadêmica, uma vez que permite a integração e comunicação entre alunos, professores e setores da instituição, tais como colegiados, departamentos, Pró-reitoria de Graduação (Prograd) e Pró-reitoria de Assistência Estudantil (Proaes). Por se tratar de uma IES pública submetida aos princípios do artigo 37 da Constituição Federal (legalidade, impessoalidade, moralidade, publicidade e eficiência), avaliar o Portal que atende as necessidades dessa comunidade na UFES é de extrema importância, visto que contribuirá para o aprimoramento destes princípios no seu relacionamento com este público. Ademais, segundo a Cartilha de Usabilidade do governo federal, para que as informações e os serviços prestados pela Administração Pública Federal sejam desenvolvidos e mantidos de acordo com as expectativas e necessidades do cidadão, a usabilidade é indispensável (BRASIL, 2010). Desta forma, nesta pesquisa questiona-se: 1. Quais fatores associados à usabilidade afetam a percepção de qualidade da informação pelos usuários do portal do aluno da Ufes? 2. É possível identificar segmentos estatisticamente diferenciados dos usuários, quanto aos fatores associados à usabilidade percebida do portal do aluno da Ufes? 1.2 OBJETIVOS O objetivo deste estudo é avaliar o Portal do Aluno da Universidade Federal do Espírito Santo identificando fatores associados à usabilidade que afetam a percepção de qualidade da informação do Portal do Aluno da Universidade Federal 22 do Espírito Santo e diferenciando grupos de usuários em função da usabilidade do Portal. A partir deste objetivo será possível analisar as potencialidades e fragilidades do Portal do Aluno da Ufes e propor ações de melhoria diferenciadas por grupos de usuários, caso sejam identificados. 1.3 JUSTIFICATIVA A motivação para a pesquisa teve origem na experiência da pesquisadora como integrante da equipe responsável pelo desenvolvimento e manutenção do Portal do Aluno, possuindo conhecimento sobre o mesmo. Desta forma, obter indícios de como aumentar a aceitação do Portal, assim como, mais bem atender as necessidades dos usuários é interesse não só da instituição como em especial da pesquisadora. Os portais de universidades permitem a realização de um conjunto de tarefas assim como acesso a informações relevantes à vida acadêmica, fazendo com que a qualidade da utilização dos mesmos seja bastante estudada, principalmente no que tange à satisfação das necessidades dos usuários. Por se tratarem de aplicações Web, os portais apresentam uma significativa frequência de atualizações e possuem um caráter distribuído, que distancia usuários dos desenvolvedores, tornando por vezes difícil identificar quem são de fato os reais usuários e quais são suas expectativas (WINCKLER; PIMENTA, 2002). Considerando os inúmeros acessos provenientes de diferentes perfis de usuários e a expectativa de aumento, não apenas pelo contingente cada vez maior de pessoas conectadas à rede, mas também pela crescente quantidade de alunos da universidade, torna-se importante garantir a usabilidade e a qualidade das informações do Portal. Desta forma, ao diminuir a ocorrência (ou a importância) de erros e aumentar a satisfação dos usuários, contribui-se para que estes não encontrem barreiras e dificuldades em sua utilização e sejam bem atendidos. O Portal em referência, além de ser a ferramenta por meio do qual o aluno pode verificar sua situação acadêmica, funciona como uma porta de entrada para os 23 processos administrativos de interesse dos alunos, fazendo com que sua má utilização, ou mesmo não utilização, possa acarretar transtornos. Como exemplos podem-se citar uma solicitação de matrícula com problemas, não efetivada corretamente por desconhecimento do processo por parte do aluno, pode gerar retenção deste aluno; um cadastro não atualizado pode manter o aluno sem comunicação com a instituição. Ademais, o Portal atua como um facilitador para a navegação e conhecimento da vida acadêmica do aluno, ao se interligar com os outros sítios da instituição, muitas vezes desconhecidos dos próprios alunos. Isto posto, iniciativas que promovam a avaliação, fornecendo indícios para a melhoria e incremento do Portal do Aluno são relevantes para a instituição. E, importantes do ponto de vista da administração pública, cuja finalidade é garantir a melhoria nos processos que envolvem troca de informações com os cidadãos, convergindo com a melhoria da prestação de serviços e a disponibilidade de informações (PINTO, 2007). Ao tornar-se adequado aos usuários, o sítio tenderá a ser visitado regularmente, evitando deslocamentos, contribuindo não apenas para desafogar setores responsáveis por informações prestadas pelo Portal, como secretarias de departamentos, colegiados de cursos e a Pró-Reitoria de Graduação (Prograd), mas também para estimular o desenvolvimento de novas aplicações no intuito de automatizar ainda mais as rotinas acadêmicas da UFES. 24 2 REFERENCIAL TEÓRICO Este capítulo reúne informações obtidas sobre portais corporativos, usabilidade e atributos de qualidade da informação na literatura nacional e internacional. Tendo em vista que o Portal do Aluno é um portal corporativo, a primeira subseção aborda esse conceito e apresenta as gerações identificadas por Eckerson (1999), assim como exibe um panorama dos portais corporativos nas universidades federais brasileiras. As subseções seguintes abordam a usabilidade. A segunda subseção versa sobre o conceito de usabilidade. A terceira mostra métodos para a sua avaliação, com ênfase nos métodos de testes com usuários. A quarta trata dos principais instrumentos desenvolvidos para medir a satisfação dos usuários quanto à usabilidade. Na quinta subseção é relatado como, embora com objetivos diferentes, o Estudo de Usuários, da área de Ciência da Informação, e o Estudo de Usabilidade, da área da Ciência da Computação podem se convergir e se complementar. As características relevantes para qualidade de informação, nos campos de Ciência da Computação e Ciência da Informação, finalizando com as onze características identificadas por Parker et al (2006) como as mais relevantes sobre qualidade de informação na Web são elencadas na sexta seção enquanto que na sétima seção são citados alguns trabalhos que empregaram questionário a fim de estudar a usabilidade em portais e sites de universidades. Por fim, na oitava seção é apresentado o modelo de pesquisa proposto a partir da revisão teórica para avaliar a percepção da qualidade da informação a partir da usabilidade. 2.1 PORTAIS CORPORATIVOS NAS UNIVERSIDADES FEDERAIS BRASILEIRAS As páginas na Internet que servem como ponto de acesso direto a um conjunto de serviços e informações são conhecidas como portais (MORE et al, 2010). Os portais, quanto ao seu contexto de utilização, podem ser classificados em públicos ou corporativos, por atenderem a grupos de usuários diversos e possuírem propósitos completamente diferentes. O portal público ou Web tem a função de atrair o público 25 em geral que navega na Internet, enquanto o corporativo tem o propósito de atender indivíduos e equipes de uma empresa ou instituição (DIAS, 2007). Os portais corporativos – mais conhecidos como portais acadêmicos em Instituições de Ensino Superior (IES) – migram para a Internet serviços antes disponibilizados apenas na intranet das organizações (BITTENCOUT; DIAS, 2011). Segundo O’brien (2004) o portal corporativo é uma interface4 individualizada e personalizada, com base em rede, que fornece fácil acesso a uma variedade de aplicações, serviços e bancos de dados. Entre os diversos benefícios fornecidos pelos portais corporativos podem ser citados a facilidade de acesso a recursos da intranet da organização, o fornecimento de informação direcionada para usuários específicos, o aumento da segurança no acesso aos dados pelos empregados, clientes, fornecedores e parceiros de negócio e a contribuição para a produtividade dos empregados, ao fornecerem os recursos necessários para a realização de suas atividades e as informações relevantes para a tomada de decisão (O’BRIEN, 2004). De acordo com o autor em referência, a personalização dos portais, para que determinadas informações sejam vistas apenas por usuários individuais, ou para grupos específicos, se faz necessária devido aos diferentes tipos de usuários existentes. Eckerson (1999) citado por DIAS (2007) menciona quatro gerações de portais corporativos identificados no Quadro 1. Quadro 1 - Geração dos Portais Corporativos (continua) Geração Categoria Características Primeira Referencial Máquina de busca, com catálogo hierárquico de conteúdo da Web. Cada entrada do catálogo contém uma descrição do mesmo e um link. Enfatiza a gerência de conteúdo, disseminação em massa de informações corporativas e suporte à decisão. Segunda Personalizado O usuário pode criar visão personalizada do conteúdo (“Minha_Página”) mostrando apenas as categorias que o interessam. O portal pode avisar ao usuário quando um novo conteúdo é adicionado às categorias por ele assinaladas. Os usuários podem publicar documentos no repositório corporativo para que sejam visualizados por outros. Privilegia a distribuição personalizada do conteúdo. 4 Neste contexto interface tem o significado de interface de usuário, podendo ser entendido como as partes do sistema visível para uma pessoa, através das quais ela se comunica para realizar suas tarefas. 26 Quadro 1 - Geração dos Portais Corporativos (conclusão) Geração Categoria Características Terceira Interativo Incorpora aplicativos que melhoram a produtividade individual e de equipes, tais como correio eletrônico, calendários, agendas, fluxos de atividades, gerência de projeto, relatórios de despesas, viagens, indicadores de produtividade. Adiciona o caráter cooperativo ao portal, provendo múltiplos tipos de serviços interativos. Quarta Especializado Portais baseados em funções profissionais para gerência de atividades específicas tais como vendas, finanças, recursos humanos. Envolve a integração de aplicativos corporativos com o portal. Incorpora outras possibilidades como comércio eletrônico, por exemplo. Fonte: Adaptado de Eckerson (1999) citado por DIAS (2007). Dada a complexidade das universidades, com multiplicidade de processos internos, variados usuários e diversas unidades organizacionais, nota-se natural aderência do uso de portais corporativos (GASPAR et al, 2009). Um trabalho de pesquisa elaborado por Carvalho et al (2010) avaliou o estágio de evolução dos portais corporativos das universidades federais brasileiras. Primeiro foi analisado o ambiente dessas universidades, sendo identificados os principais atores: - Servidor – representado pelo docente ou técnico. - Gestor – representado pelas organizações governamentais, pelos fornecedores (parceiros) e pelos gestores internos. - Empreendedor – representado, sobretudo, pelo setor produtivo. - Cidadão – representado pela sociedade ou comunidade externa que utiliza os serviços da IES. Visando retratar os avanços conceituais e tecnológicos dos portais dessas IFES, os autores definiram três escalas evolutivas da IFES: - Fase Inicial – instituições que utilizam apenas o conceito de Portal corporativo. - Fase Intermediária – além de um Portal corporativo, possuem alguns temáticos, tais como Portal do Aluno e do Servidor. - Fase Avançada - além de um Portal corporativo, possuem cinco portais temáticos: Portal do Aluno, do Servidor, da Comunidade, do Empreendedor e do Gestor. Nesta escala, o Portal corporativo consiste em um sistema centrado nos diversos serviços, sistemas de informação e processos da instituição, integrando e divulgando informações do banco de dados único, ampliando significativamente 27 as redes de relacionamento com os diversos atores (aluno, servidor, cidadão, empreendedor e gestor). A Figura 1 a seguir retrata essa escala avançada. Figura 1 – Fase avançada do conceito de portais para universidades federais brasileiras Fonte: Carvalho et al (2010, p.09). De posse desta classificação, os autores constataram que 37 (66,1%) instituições encontravam-se no estágio Inicial e 19 (33,9%) no estágio Intermediário, conforme detalhado no Quadro 2 a seguir. Três universidades: Universidade Federal de Integração da Amazônia (UNIAM), Universidade Federal da Integração Latino– Americana (UNILA) e Universidade Federal da Integração Internacional da Lusofonia Afro-Brasileira (UNILAB) ainda estavam em fase de criação dos seus portais, não tendo sítios para serem analisados.5 Das 19 universidades em estágio intermediário, 29,4% destas IFES possuíam um sistema integrado de gestão que utilizava o conceito de banco de dados único e menos da metade fazia uso de uma arquitetura propícia para o desenvolvimento dos Portais, em termos de usabilidade, disponibilidade, segurança e suporte. 5 Cabe destacar que no ano do estudo não existiam as seguintes instituições: Universidade Federal do Cariri (UFCA), Universidade Federal do Oeste da Bahia (UFOB), Universidade Federal do Sul da Bahia (UFSB) e Universidade Federal do Sul e Sudeste do Pará (UNIFESSPA) criadas em 2013, por leis federais. Além disso, a repetição da Universidade Federal do Mato Grosso (UFMT) e a ausência da Universidade Federal do Triângulo Mineiro (UFTM), sugere que houve um erro de digitação e seria a UFTM que estaria na fase inicial, uma vez que a UFMT contava com a designação de Portal do Aluno, conforme mencionado em outro trabalho dos autores do mesmo ano (CARVALHO; FREITAS JÚNIOR; DOMARQUES, 2010). 28 Quadro 2 - Categorização das IFES de acordo com as escalas evolutivas6 Fase IFES (siglas) Inicial FURG, UFABC, UFAC, UFBA, UFC, UFCG, UFCSPA , UFF, UFFS, UFGD, UFJF, UFLA, UFMA , UFMG, UFMS, UFMT, UFOP, UFPA, UFPB, UFPE, UFPEL, UFPI, UFPR, UFRA, UFRJ, UFRR, UFRRJ, UFS, UFSCAR, UFSJ, UFV, UFVJM, UNB, UNIFAL, UNIFESP, UNIR, UNIVASF Intermediária UFAL – Portal do Gestor, da Extensão e do Servidor UFAM – Portal do Aluno e do Professor UFERSA – Portal do Aluno, do Professor, do Servidor e de Serviços UFES7 – Portal do Aluno e do Professor UFG – Portal do Aluno e do Servidor UFMT – Portal Acadêmico UFRB – Portal Acadêmico UFRGS – Portal do Aluno e do Servidor UFRN – Portal do Aluno, do Servidor, Administrativo e de Serviços UFRPE – Portal do Aluno e do Servidor UFSC – Portal da Reitoria UFSM – Portal do Aluno e do Servidor UFT – Portal do Aluno, do Servidor e para Concursos, Vestibular e Seleções UFU – Portal do Estudante, do Docente e do Servidor UNIFAP – Portal Acadêmico/Ambiente Acadêmico e Portal dos Professores UNIFEI – Portal do Aluno/Acadêmico UNIPAMPA – Portal do Aluno UNIRIO – Portal do Aluno e do Servidor UTFPR – Portal do Aluno Avançada Ainda não existem IFES enquadradas nesta fase Fonte: Carvalho et al (2010). A seguir serão abordados conceitos e pesquisas sobre usabilidade de sítios eletrônicos. 2.2 DEFININDO USABILIDADE Bevan, Kirakowski e Maissel (1991) registram que o termo ‘usabilidade’ (usability) surgiu na década de 1980 em substituição ao termo ‘amigável ao usuário’ (user 6 Os significados das siglas encontram-se na Lista de Abreviaturas e Siglas localizada no início deste trabalho. 7 Cabe ressaltar que, embora não conste neste estudo, a UFES conta também com o Portal do Servidor, lançado em março de 2011, com funções que atendem aos servidores técnico- administrativos e docentes. 29 friendly), que havia adquirido uma série de conotações vagas e subjetivas. Entretanto, o termo ‘usabilidade’ tornou-se quase tão vago quanto o termo ‘amigável ao usuário’ que pretendia suplantar. A usabilidade avalia quão fácil é a utilização de interfaces de usuário. Assim, quando um produto ou serviço é realmente utilizável, o indivíduo que faz uso pode realizar o que deseja da maneira como acredita ser capaz de fazê-lo, sem obstáculos, hesitação ou dúvidas (NIELSEN, 2012; RUBIN; CHISNELL, 2008; FERREIRA; LEITE, 2003). Para Rubin e Chisnell (2008) a usabilidade é uma qualidade que falta aos produtos por razões históricas, culturais, organizacionais, monetária e outras. A seguir são apontadas as definições de usabilidade segundo autores do tema. 2.2.1 Definição de Nielsen Jakob Nielsen, um dos maiores especialistas da área de usabilidade, define-a com base nos seguintes quesitos (NIELSEN, 2012): - Facilidade de Aprendizado: facilidade de realizar tarefas básicas, pelo usuário, na primeira vez que encontra o design. - Eficiência: rapidez com que as tarefas podem ser realizadas, uma vez que os usuários aprenderam o design. - Facilidade de Memorização: facilidade de se restabelecer proficiência, quando os usuários retornam ao projeto após um período sem usá-lo. - Erros: quantos erros que os usuários cometem, o quão grave eles são e com que facilidade se pode recuperar dos mesmos. - Satisfação: O quanto o design é agradável de usar. Na concepção do autor, uma interface deve possuir usabilidade (recursos fáceis e agradáveis) assim como utilidade (fornecer os recursos que o usuário precisa). Desta forma, o aspecto da utilidade também deve ser considerado na avaliação da usabilidade. Afinal, pouco importa se um sistema é fácil, mas não permite ao usuário fazer o que deseja. 30 2.2.2 Definição de Rubin e Chisnell Jeffrey Rubin possui mais de 30 anos de experiência como especialista em fatores humanos/usabilidade e Dana Chisnell tem feito, desde 1982, pesquisa de usabilidade, design de interface de usuário e consultoria em comunicação técnica e desenvolvimento. Para os autores, a usabilidade é definida por seis quesitos (RUBIN; CHISNELL, 2008): - Facilidade de aprendizado - parte da eficácia que tem a ver com a capacidade do usuário para operar o sistema a certo nível de competência, após uma quantidade e um período de treinamento pré-determinados (que pode ser nenhum tempo). Também pode se referir à capacidade dos usuários pouco frequentes de reaprender o sistema após períodos de inatividade. - Eficiência – rapidez com que o objetivo do usuário pode ser alcançado com precisão e completamente, sendo geralmente uma medida de tempo. - Satisfação – refere-se às percepções, sentimentos e opiniões dos usuários em relação ao produto, geralmente capturadas por meio de questionamentos escritos e orais. - Utilidade – grau em que um produto permite um usuário alcançar seus objetivos, sendo uma avaliação da disposição do usuário para utilizar o produto como um todo. - Eficácia – até que ponto o produto se comporta da mesma forma que os usuários esperam, bem como a facilidade com que os usuários podem usá-lo para fazer o que pretendem. É normalmente medido quantitativamente com uma taxa de erro. - Acessibilidade – ter acesso aos produtos necessários para alcançar uma meta. Também pode ser o que faz os produtos utilizáveis por pessoas que têm deficiência (que é o conceito que os autores consideram). 2.2.3 Definição da ISO/ABNT Andrew Dillon esclarece que a despeito dos múltiplos conceitos de usabilidade, o mais próximo de um padrão acordado é o estabelecido pela norma 9241 de 1998 da 31 Organização Internacional para Padronização (International Organization for Standardization - ISO). A parte 11 da norma ISO 9241 intitulada “Orientações sobre usabilidade” define usabilidade como a eficácia, eficiência e satisfação com que usuários típicos podem alcançar objetivos próprios em ambientes particulares. Estes são chamados na norma de contextos de uso e englobam usuários, tarefas, equipamentos (hardware, software e materiais), bem como o ambiente físico e social no qual um produto é usado (DILLON, 2001; ISO, 1998). A ISO 9241-11 também estabelece as seguintes definições: - eficácia: acurácia e completude com as quais usuários alcançam objetivos específicos; - eficiência: recursos gastos em relação à acurácia e abrangência com as quais usuários atingem objetivos; - satisfação: ausência do desconforto e presença de atitudes positivas ao usar um produto. Posteriormente, a Associação Brasileira de Normas Técnicas (ABNT), publicou a norma NBR 9241-11 de 2002 que equivale à norma ISO 9241-11, com os mesmos conceitos anteriormente vistos (ABNT, 2002). 2.2.4 Definição da Cartilha de Usabilidade do Governo Federal A Secretaria de Logística e Tecnologia da Informação (SLTI) do Ministério do Planejamento, Orçamento e Gestão (MP) disponibilizou uma série de documentos sobre Padrões Web em Governo Eletrônico (e-PWG), dentre eles, a Cartilha de Usabilidade que discrimina as recomendações de boas práticas a fim de aprimorar a comunicação e o fornecimento de informações e serviços por meios eletrônicos pelos órgãos do Governo Federal. A referida cartilha define a usabilidade como “[...] o estudo ou a aplicação de técnicas que proporcionem a facilidade de uso de um dado objeto, no caso, um sítio” e que tem por objetivos: facilidade de uso, de aprendizado, de memorização de tarefas, produtividade na execução de tarefas, prevenção visando a redução de 32 erros e satisfação do indivíduo (BRASIL, 2010). Ainda, segundo a cartilha, busca-se assegurar que qualquer pessoa consiga usar o sítio e que este funcione da forma esperada. A fim de desenvolver sítios com usabilidade, a cartilha do MP alerta que é preciso observar (BRASIL, 2010): - cidadão: o perfil dos utilizadores, sendo fatores preponderantes os níveis de educação, familiaridade com o meio eletrônico e idade; - contexto da utilização: de onde é acessado o sítio, em que ambiente e em que condições; - objetivo: o resultado pretendido, diretamente relacionado com o tempo, o número de passos necessários, a possibilidade de prever o que deve ser feito e a necessidade de aprendizado para realização de um objetivo. Além disso, destaca que a acessibilidade e usabilidade são áreas distintas, porém complementares. 2.3 AVALIANDO A USABILIDADE Dias (2007) classifica os métodos de avaliação de usabilidade em três categorias: - métodos de inspeção (ou métodos analíticos ou de prognósticos) – caracterizam-se pela não participação direta dos usuários do sistema na avaliação; - métodos de teste com usuários – caracterizam-se pela participação direta dos usuários do sistema na avaliação; - métodos baseados em modelos (ou métodos de modelagem analítica) – têm como objetivo prever a usabilidade de um sistema a partir de modelos ou representações de sua interface e/ou de seus usuários. Dentre as técnicas de testes com usuários – foco deste trabalho – Dias (2007) destaca dois grupos: 1) Entrevistas ou questionários: Permitem ao avaliador conhecer as experiências, opiniões e preferências dos usuários ao utilizarem um determinado sistema. Podem 33 ser utilizados em qualquer fase do desenvolvimento do sistema, dependendo do tipo de perguntas formuladas. Destacam-se: - Grupo Focal – tem por objetivo identificar percepções, sentimentos, atitudes e ideias dos participantes a respeito de um determinado assunto, produto ou atividade. - Questionários específicos para medir a satisfação dos usuários – desenvolvidos a partir de técnicas psicométricas, apresentam estimativas conhecidas e quantificáveis de confiabilidade e validade. Dentre os questionários desenvolvidos para medir a satisfação, com confiabilidade e validade comprovadas, destacam-se: Questionnaire for User Interface Satisfaction (QUIS), Software Usability Measurement Inventory (SUMI), Web Analysis and MeasureMent Inventory (WAMMI), System Usability Scale (SUS) e o ISONORM 9241:110. 2) Testes empíricos de usabilidade: também conhecidos como ensaios de interação, são originários da Psicologia Experimental e capazes de coletar dados quantitativos e/ou qualitativos a partir da observação homem-computador. São utilizados em qualquer fase do desenvolvimento de sistemas interativos. São eles: - Verbalização ou protocolo verbal – através da observação da interação e da interpretação das considerações expressas verbalmente pelos usuários, permite a identificação de problemas de usabilidade enfrentados em situações reais. - Codescoberta – similar à verbalização e utilizada em testes empíricos, dois participantes realizam juntos tarefas designadas pelo avaliador, verbalizando seus pensamentos, dificuldades e opiniões. Observa-se uma ajuda mútua na resolução de problemas com a interface do sistema. - Método de medida de desempenho – na sua forma simplificada concentra-se na aferição da eficiência (tempo total gasto pelo usuário típico para completar uma ou mais tarefas específicas) e eficácia (se conseguiu realizar as tarefas de forma completa e correta). O Quadro 3 contém o sumário das técnicas empregadas por Nielsen (1993) de alguns métodos em testes com usuários. 34 Quadro 3 - Sumário de algumas técnicas de avaliação de usabilidade Método Estágio do ciclo de vida Usuários Necessários Principais Vantagens Principais Desvantagens Grupo Focal Análise de tarefas, envolvimento do usuário. 6-9 por grupo Reações espontâneas e dinâmica de grupo. Difícil análise e baixa validade. Questionários Análise de tarefas, estudos de acompanhamento. Ao menos 30 Identifica preferências subjetivas dos usuários. Fácil repetir. Necessário trabalho piloto (pré-teste) para evitar má- compreensão. Verbalização Projeto iterativo, avaliação formativa. 3 – 5 Aponta equívocos do usuário. Teste barato. Não natural para os usuários. Difícil para usuários avançados verbalizar. Medida de desempenho Análise competitiva, testes finais. Ao menos 10 Números concretos. Resultados fáceis para comparar. Não detecta problemas de usabilidade individualizados. Fonte: Nielsen (1993). A seguir são apresentadas algumas vantagens e desvantagens do uso de questionários bem como alguns modelos que têm sido utilizados para avaliar a satisfação dos usuários de sítios eletrônicos e portais. 2.4 QUESTIONÁRIOS PARA MEDIR A SATISFAÇÃO DOS USUÁRIOS Santos (2008) alinha algumas vantagens do questionário em comparação a outras técnicas de coleta de dados: - A resposta por escrito a questões potencialmente embaraçosas é menos embaraçosa do que em entrevista pessoal; - As respostas às questões estão menos sujeitas a vieses e interpretações duvidosas; - Possibilitam uma maior sistematização dos resultados obtidos, tornando-se mais fácil automatizar o processo de análise e tratamento dos dados; - É de fácil operacionalização, podendo ser aplicados a grandes amostras num curto espaço de tempo; - Implica em custos menores, pois evita deslocamentos. A seu turno, enumera algumas desvantagens: 35 - Exige planejamento para que efetivamente possa cumprir os objetivos na medida em que a sua concepção se reveste de complexidade; - Poderá ser difícil motivar os inquiridos a responder ao questionário o que origina muitas faltas de respostas, o que será mais frequente quando as questões não tenham utilidade ou alguma relação com o inquirido; - Se houver alguma dúvida no preenchimento do questionário, não haverá hipótese de esclarecimento; - Não possibilita a introdução de dados suplementares, a menos que se recorram a outras técnicas de coleta de dados; - Quando se utilizam perguntas abertas, poderá haver alguma superficialidade nas respostas. Alguns questionários utilizados como instrumentos de coleta de dados, especificamente para medir a satisfação dos usuários, são abordados nas próximas subseções. 2.4.1 Questionnaire for User Interface Satisfaction (QUIS) Ferramenta desenvolvida por uma equipe multidisciplinar de pesquisadores do Laboratório de Interação Humano-Computador (Human-Computer Interaction Lab - HCIL) da Universidade de Maryland. Avalia a satisfação dos usuários com aspectos característicos específicos da interface, sendo a versão 7.0 dividida em 12 seções: questões sobre experiência com o sistema e conhecimentos de tecnologias, satisfação global com o sistema, satisfação com tela, terminologia e informações do sistema, aprendizagem, capacidades do sistema, manuais técnicos e ajuda on-line, tutoriais on-line, multimídia, teleconferência e instalação de programas. Cada item pode ser avaliado em uma escala de 1 (grau mais baixo) a 9 (grau mais alto) pontos ou então como não aplicável (NA). Também há em cada seção a possibilidade do usuário inserir um comentário sobre o tópico abordado, como mostrado na Figura 2. 36 Figura 2 – Exemplo de espaço para comentário do avaliador no QUIS Fonte: Versão online longa do QUIS disponível em http://lap.umd.edu/quis_net/. As partes 1 a 3 do questionário encontram–se no Anexo A e alguns exemplos de questões das partes 4 a 12 estão disponíveis no Quadro 4. Quadro 4 - Exemplos de perguntas do QUIS8 - partes 4 a 12 Sequência das telas confusa 1 2 3 4 5 6 7 8 9 Clara NA Mensagens de erro inúteis 1 2 3 4 5 6 7 8 9 úteis NA O tempo de aprendizado sobre o sistema é curto 1 2 3 4 5 6 7 8 9 longo NA O sistema é confiável nunca 1 2 3 4 5 6 7 8 9 sempre NA Fonte: Adaptado da versão online do QUIS. Existem duas versões do QUIS: uma curta com 41 itens de avaliação e uma longa com 122 itens, sendo a curta a mais utilizada. O questionário é concebido para ser configurado de acordo com as supostas necessidades do utilizador de forma que seções ou itens possam ser descartados. Da mesma forma, perguntas podem ser adicionadas conforme necessidade. 8 O questionário completo está disponível em http://lap.umd.edu/quis_net/demograph.htm (versão online - inglês) e em www.agner.com.br/download/mestrado/Quis7_portugues.pdf (versão formulário em papel - português). http://lap.umd.edu/quis_net/ http://lap.umd.edu/quis_net/demograph.htm file:///F:/Documents%20and%20Settings/05598589737/Meus%20documentos/Dropbox/Usabilidade/www.agner.com.br/download/mestrado/Quis7_portugues.pdf 37 2.4.2 Software Usability Measurement Inventory (SUMI) Começou a ser desenvolvido em 1990 na Universidade de Cork, na Irlanda, pelo Grupo de Pesquisa de Fatores Humanos (Human Factors Research Group - HFRG), liderado pelo pesquisador Jurek Kirakowski (DIAS, 2007). É composto por 50 declarações com as quais os usuários concordam, discordam ou mostram-se indecisos9, divididas em grupos de dez, totalizando cinco categorias: afeto, eficiência, utilidade, controle e capacidade de aprendizado.10 Alguns exemplos de questões do SUMI são listados no Quadro 5. Quadro 5- Exemplos de questões do SUMI Nº Questão Opções 2 Eu recomendaria este software para meus colegas ( ) concordo ( ) indeciso ( ) discordo 3 As instruções e avisos são úteis ( ) concordo ( ) indeciso ( ) discordo 22 Eu não gostaria de usar este software todo dia ( ) concordo ( ) indeciso ( ) discordo 27 Usar este software é frustrante ( ) concordo ( ) indeciso ( ) discordo Fonte: Adaptado da versão do SUMI disponível em http://sumi.ucc.ie/uksample.pdf. 2.4.3 Web Analysis and MeasureMent Inventory (WAMMI) Começou a ser desenvolvido em 1996 pelo HFRG e pela empresa sueca Nomos Management AB, após uma tentativa, sem sucesso, de adaptar o SUMI, utilizado para avaliar aplicações desktop, para o ambiente Web (DIAS, 2007; KIRAKOWSKI; CLARIDGE; WHITEHAND, 1998). Em sua forma atual contém 20 perguntas que possuem implicitamente cinco temas (atratividade, controle, eficiência, suporte ao usuário e facilidade de aprendizado) inferidos por meio do uso de uma classe de métodos estatísticos conhecida como análise de variável latente.11 É comercializado, sendo disponibilizado para preenchimento on-line. Alguns exemplos de questões do WAMMI são exibidos no Quadro 6. 9 http://sumi.ucc.ie/whatis.html 10 http://sumi.ucc.ie/sumipapp.html (Para conhecer mais a fundo o SUMI, não deixe de ver - em inglês) 11 http://www.wammi.com/whatis.html http://sumi.ucc.ie/uksample.pdf http://sumi.ucc.ie/whatis.html http://sumi.ucc.ie/sumipapp.html http://www.wammi.com/whatis.html 38 Quadro 6 – Exemplos de questões do WAMMI Questão Opções As páginas deste site são muito atraentes concordo fortemente discordo fortemente ( ) ( ) ( ) ( ) ( ) Este site é muito lento concordo fortemente discordo fortemente ( ) ( ) ( ) ( ) ( ) Usar este site é um desperdício de tempo concordo fortemente discordo fortemente ( ) ( ) ( ) ( ) ( ) Este site tem algumas características irritantes concordo fortemente discordo fortemente ( ) ( ) ( ) ( ) ( ) Fonte: Adaptado da versão do WAMMI disponível em http://www.wammi.com/samples/index.html. 2.4.4 System Usability Scale (SUS) Desenvolvido pelo pesquisador John Brooke da Digital Equipment Co. (DEC) em 1986. São 10 afirmações, intercaladas as positivas (as de número ímpar) com as negativas (as de número par). Produz um único valor que representa uma medida composta da usabilidade geral do sistema. As questões do SUS estão elencadas no Anexo B. 2.4.5 ISONORM 9241/110-S O questionário Isonorm 9241/10 foi desenvolvido pelo Prof. Dr. Jochen Prümper (PRÜMPER, 1993). Avalia a conformidade do software às recomendações da norma ISO 9241 em sua décima parte.12 A norma ISO 9241 chamava-se originalmente “Requisitos Ergonômicos para Trabalho de Escritórios com Computadores”, sendo posteriormente renomeada para “Ergonomia da Interação Humano-Sistema”. A parte 10 desta norma, intitulada “Princípios de Diálogo”, refere-se a essa interação como um “diálogo”, apresentando um conjunto de heurísticas (princípios) de usabilidade que se aplicam à interação de pessoas e sistemas de informação (as heurísticas são baseadas em um padrão alemão anterior) (TRAVIS, 2007a). O questionário é composto por sete seções, que correspondem aos sete “princípios de diálogo” apresentados na ISO 9241/10, mostrados no Quadro 7. 12 Embora ainda seja conhecida como parte 10, esta parte da ISO 9241 foi renumerada no programa de reestruturação e revisão da ISO, sendo agora 110. http://www.wammi.com/samples/index.html 39 Quadro 7 – Princípios de “Diálogo” Princípio Descrição 1. Adequação à tarefa Deve ser adequado para o nível de habilidade e a tarefa do usuário 2. Autodescrição Deve deixar claro o que o usuário deve fazer a seguir 3. Conformidade com as expectativas dos usuários Deve ser consistente 4. Adequação ao aprendizado Deve apoiar a aprendizagem 5. Controlabilidade O usuário deve ser capaz de controlar o ritmo e a sequência da interação 6. Tolerância a erros Deve ser tolerante 7. Adequação à Individualização (customização) Deve ser capaz de ser personalizado de acordo com o usuário Fonte: Adaptado de Travis (2007a). Com base em uma revisão de análise de fatores foi criado o Isonorm 9241/110-S, uma versão curta de Isonorm 92410/10 (PATAKI et al, 2006). Na versão longa, são 35 questões, sendo 5 por sessão. Já na versão curta são três questões por sessão, totalizando 21 questões. As respostas utilizam escala do tipo Likert de 7 pontos, sendo distribuídas em dois pólos, que vão do menor nível de satisfação ao nível máximo de satisfação (MEDEIROS, 1999). São solicitadas ainda no questionário informações sobre o sistema avaliado e sobre o perfil do entrevistado. O preenchimento do questionário é de caráter anônimo. A escala do tipo Likert, batizada em homenagem ao seu criador, Rensis Likert, é um tipo de escala de resposta psicométrica, amplamente utilizada, na qual os respondentes devem indicar seu nível de concordância ou discordância com uma afirmação. Tipicamente cada item da escala do tipo Likert tem cinco categorias de respostas (conhecidos como “pontos”) que vão da mais negativa (“discordo totalmente”) a mais positiva (“concordo totalmente”) (MALHOTRA, 2004). A psicometria é um ramo da Psicologia que trata das questões de medidas psicológicas e tem sido usada para medir eventos subjetivos, intrínsecos e pessoais, como a satisfação (ANTUNES; SIMÕES, 2013). A versão resumida do Isonorm 9241/10 pode ser associada com uma abordagem de análise de decisão multi-atributos para ponderação sistemática de escalas e itens (PATAKI et al, 2006). A avaliação é feita da seguinte forma: 40 Para cada questão do Isonorm são somadas as respostas de todos os usuários, que vão de 1 (menor grau de satisfação) a 7 (maior grau de satisfação). Essa soma é dividida pelo número de avaliadores, obtendo-se a média da questão. Para cada fator, somam-se as médias das três questões do fator, obtendo-se a soma do fator. Somam-se então os resultados obtidos para os sete fatores, obtendo o valor geral do Isonorm. O valor geral obtido se enquadrará em uma das faixas exibidas no Quadro 8. A estrutura do Isonorm 9241/110-S encontra-se no Anexo C. Quadro 8 – Faixas de pontuações e significados do Isonorm Faixa Significado prático 115 – 147 pontos Parabéns! Software perfeitamente compatível com os usuários 83 – 114 pontos Tudo bem! Atualmente, não há nenhuma razão para fazer uma mudança para o software em termos de facilidade de uso. 51 – 82 pontos Ação! Olhe para os fatores mal classificados pelos usuários mais de perto. Devem ser iniciadas melhorias! 21 – 50 pontos Ação necessária! Com o software utilizado atualmente nenhuma operação eficaz, eficiente e satisfatória é possível! Um levantamento detalhado dos requisitos é totalmente indicado! Fonte: Seikumu (2007a) (tradução da autora). De acordo com Travis (2007b) as sete diretrizes da ISO 9241-110 têm autoridade e credibilidade de uma norma internacional. Além disso, os problemas apontados por um padrão internacional têm mais propensão a serem corrigidos pelos desenvolvedores do que quando baseados somente em um julgamento pessoal. 2.5 A USABILIDADE E OS ESTUDOS DE USUÁRIOS Bohmerwald (2003) aponta que a usabilidade poderia ser definida como o grau de facilidade com que o usuário encontra, entende e utiliza a informação disponível em um sistema, sendo objeto de estudo tanto da Ciência da informação (CI) quanto da ciência da computação (CC). Enquanto nos Estudos de Usuários da área de CI as preocupações são as necessidades de informação dos indivíduos e a maneira como buscam e usam a informação, nos Estudos de Usabilidade, no âmbito da CC, o objetivo da investigação é a interação do homem com as máquinas. 41 Essa convergência dos Estudos de Usuários com os Estudos de Usabilidade deu-se com a popularização/democratização do uso das TIC, a partir do limiar do século XX. Houve então uma reconfiguração dos fenômenos informacionais investigados pelos Estudos de Usuários, de forma que, conforme as palavras de Costa (2008, p. 52), nesta primeira década do século XXI: Os estudos [de usuários] estão voltados tanto para o comportamento informacional quanto para a avaliação de satisfação e desempenho, enfatizando a relação entre usuários e sistemas de informação interativos no contexto social das TIC. Desta forma, percebe-se que as duas áreas podem se complementar de forma a tentarem o mesmo objetivo: que o usuário-final consiga encontrar o que procura de maneira mais fácil, rápida e eficiente (BOHMERWALD, 2003, p. 22). Tendo em vista este novo enfoque, faz-se necessário falar da qualidade da informação. Por tratar-se de um conceito abstrato, alguns autores usam dimensões/atributos para mais bem compreendê-la. Na próxima subseção serão apresentados alguns destes atributos. 2.6 QUALIDADE DA INFORMAÇÃO E SEUS ATRIBUTOS Paim, Nehmy e Guimarães (1996) explicam que a qualidade da informação é um conceito problemático, devido à complexidade e dificuldade de se conceituar o termo qualidade, não havendo consenso na literatura sobre definições teóricas e operacionais da qualidade da informação, além da recorrente alusão de que suas definições são ambíguas, vagas ou subjetivas. Pelo fato da qualidade estar baseada na percepção e no atendimento e satisfação das necessidades do usuário, e também pelo reconhecimento de variados aspectos de qualidade de informação abordados nas áreas de Biblioteconomia, Ciência da Informação e Ciência da Computação, há inconsistência teórica e complexidade da literatura atual sobre este conceito, bem como muitas propostas de como mensurá- la (CALAZANS, 2008; ASSIS; MOURA, 2011). De um modo geral, a abordagem da qualidade da informação opera com várias dimensões (PAIM; NEHMY; GUIMARÃES, 1996). A seguir serão apresentadas algumas destas abordagens. 42 No campo de Sistemas de Informação, O’Brien (2004) divide as características ou atributos importantes da informação em três dimensões: tempo, conteúdo e forma, mostrados no Quadro 9 a seguir. Para Stair e Reynolds (2011), a informação para ser valiosa para gerentes e tomadores de decisões, deve ser: acessível, exata, completa, econômica, flexível, relevante, confiável, segura, simples, apresentada em tempo hábil (pontual) e verificável. Quadro 9 – Dimensões da informação (O´brien) Dimensões Atributos Definição Tempo Prontidão A informação deve ser fornecida quando for necessária. Aceitação A informação deve estar atualizada quando for fornecida. Frequência A informação deve ser fornecida tantas vezes quantas forem necessárias. Período A informação pode ser fornecida sobre períodos passados, presentes e futuros. Conteúdo Precisão A informação deve estar isenta de erros. Relevância A informação deve estar relacionada às necessidades de informação de um receptor específico para uma situação específica. Integridade Toda a informação que for necessária deve ser fornecida. Concisão Apenas a informação que for necessária deve ser fornecida. Amplitude A informação pode ter um alcance amplo ou estreito, ou um foco interno ou externo. Desempenho A informação pode revelar desempenho pela mensuração das atividades concluídas, do progresso realizado ou dos recursos acumulados. Forma Clareza A informação deve ser fornecida de uma forma que seja fácil de compreender. Detalhe A informação pode ser fornecida em forma detalhada ou resumida. Ordem A informação pode ser organizada em uma sequência predeterminada. Apresentação A informação pode ser apresentada em forma narrativa, numérica, gráfica ou outras. Mídia A informação pode ser fornecida na forma de documentos em papel impresso, monitores de vídeo ou outras mídias. Fonte: O’Brien (2004, p.15). Arouck (2011), por sua vez, analisou 36 documentos da área de Ciência da Informação em língua inglesa relacionados à gestão de sistemas e serviços de informação no período de 1974 a 2009. Foram identificados 101 termos distintos, sendo os 40 termos de maior ocorrência agrupados em três categorias: meio, conteúdo e uso, conforme exibido no Quadro 10. 43 Quadro 10 - Categorias dos atributos de qualidade da informação (Arouck) Categorias Meio Conteúdo Uso Atributos Tempestividade Clareza Acessibilidade Legibilidade Concisão Formato Localizabilidade Tempo de resposta Aparência Mensurabilidade Ordem Quantidade Segurança Simplicidade Singularidade Volume Precisão Completude Atualidade Confiabilidade Coerência Credibilidade Validade Abrangência Correção Imparcialidade Inequivocidade Logicidade Veracidade Pertinência Utilidade Suficiência Compreensibilidade Importância Significância Compatibilidade Conveniência Interpretabilidade Relevância Valor informativo Fonte: Arouck (2011, pp.08-09). Os atributos identificados referem-se à informação em geral, podendo ser desenvolvidas novas pesquisas em meios e aplicações específicas - como na Internet por exemplo - para a ampliação do alcance da pesquisa. Diante desta falta de padrões, Parker et al (2006) analisaram treze estudos, identificando as dimensões mais recomendadas pela maioria dos autores para qualidade de informação na Web: - acessibilidade – prontamente disponível e transferível; - atualidade; - exatidão – precisa, correta e confiável; - relevância – aplicável, útil e relevante; - credibilidade – verdadeira e credível; - completeza – não ausente e suficiente; - objetividade – não tendenciosa, sem preconceitos e imparcial; - adequação – de acordo com as necessidades do usuário; - representação – legível, consistente e com estrutura formal; - fonte – origem disponível; - compreensividade – facilmente entendido ou compreendido. 44 Na seção a seguir são citados alguns trabalhos que utilizaram questionários para estudar usabilidade. 2.7 TRABALHOS CORRELATOS Costa (2008) para avaliar a usabilidade do Portal de Periódicos da CAPES utilizou um questionário com duas partes: a primeira relacionada ao perfil dos usuários e a segunda, com questões referentes aos cinco atributos de Jakob Nielsen: Facilidade de Aprendizado, Eficiência de Uso, Facilidade de Memorização, Baixa Taxa de Erros e Satisfação Subjetiva. Os 48 respondentes, docentes da área de conhecimento das Ciências da Saúde da UFPB, caracterizam-se como experientes no uso de sistemas de informações computadorizados e predominantemente feminino. Todos os atributos de usabilidade foram qualificados em níveis acima da média, considerados bons, com exceção da identificação da taxa regular de erros. A satisfação subjetiva foi o atributo que figurou como o mais satisfatório. Silva Júnior (2012) aplicou um questionário online para avaliar o portal do Centro de Ciências Humanas, Letras e Artes (CCHLA) da Universidade Federal da Paraíba (UFPB), também utilizando os atributos de Nielsen. Uma amostra de 59 respostas de discentes dos cursos de graduação de Ciências Sociais, pós-graduação em Sociologia e pós-graduação em Antropologia foi obtida. Estas pessoas eram predominantemente do primeiro ano do curso de Ciências Sociais, internautas experientes e que acessavam mensalmente o portal. Todos os atributos tiveram uma média de bom nível. Bringula e Basa (2011) aplicaram o instrumento de coleta de dados para verificar se fatores relacionados ao design de portais e à universidade afetavam a usabilidade do portal da University of the East (UE), em Manila nas Filipinas. Todos os fatores estudados não afetaram significativamente a usabilidade, com exceção do conteúdo da informação. Rahman e Ahmed (2013) avaliaram a usabilidade do site da universidade de Dhaka (Bangladesh) pelos alunos. Os resultados obtidos apontam que a falta de conteúdo 45 e atualizações podem ser fatores de não utilização e que cinco fatores influenciam a usabilidade do site: (1) navegação, pesquisa e atratividade da interface; (2) interatividade e funcionalidade; (3) exatidão, atualidade e autoridade de informação; (4) acessibilidade, compreensibilidade, capacidade de aprendizado e operacionalidade; (5) eficiência e confiabilidade. O Quadro 11 resume as principais pesquisas sobre o tema. Quadro 11 – Pesquisas sobre usabilidade de Portais de Universidades Autores Portal avaliado Amostra Principais resultados Costa (2008) Portal de Periódicos da CAPES 48 docentes da UFPB Satisfação subjetiva foi atributo mais satisfatório Silva Júnior (2012) Portal do Centro de Ciências Humanas, Letras e Artes da UFPB 59 discentes de pós-graduação em Sociologia e Antropologia Todos os atributos tiveram uma média de bom nível. Bringula e Basa (2011) Portal da University of the East, Manila, Filipinas 82 membros do corpo docente Fatores estudados não afetaram usabilidade, com exceção do conteúdo da informação Rahman e Ahmed (2013) Portal da Universidade de Dhaka, Bangladesh, Índia 864 alunos Fatores influenciam a usabilidade: (1) navegação, pesquisa e atratividade da interface; (2) interatividade e funcionalidade; (3) exatidão, atualidade e autoridade de informação; (4) acessibilidade, compreensibilidade, capacidade de aprendizado e operacionalidade; (5) eficiência e confiabilidade Fonte: Elaboração própria (2014). A seguir, no capítulo Metodologia, são apresentados o modelo proposto para a pesquisa, baseados na revisão de literatura sobre usabilidade e qualidade da informação e também os métodos de coleta e análise de dados para a operacionalização dos testes das hipóteses propostas na presente pesquisa. 46 3 METODOLOGIA 3.1 TIPO DE PESQUISA E NATUREZA DA ABORDAGEM Considerando o objetivo proposto, o presente estudo pode ser classificado como descritivo, na medida em que estuda as características de um grupo e estabelece relações entre variáveis por meio da aplicação de um questionário como técnica padronizada de coleta de dados (GIL, 2002). O tipo de pesquisa utilizado é o levantamento (survey) e a abordagem do problema é, predominantemente, quantitativa, com emprego de técnicas estatísticas para análise dos dados. De acordo com Tanur (1982 apud PINSONNEAULT; KRAEMER,1993), a pesquisa do tipo survey pode ser descrita como a obtenção de dados ou informações sobre características, ações ou opiniões de determinado grupo de pessoas, indicado como representante de uma população-alvo, por meio de um instrumento de pesquisa, normalmente um questionário. A trajetória da pesquisa ocorre em três etapas: a primeira, uma revisão teórica abordando temas essenciais para o estudo, como portal corporativo, usabilidade e qualidade da informação; a segunda, a realização do levantamento sobre a percepção da qualidade da informação e usabilidade e do portal através de um questionário online aplicado aos alunos da Universidade Federal do Espírito Santo (UFES); e a terceira, a análise das respostas obtidas pelo survey. O trabalho avaliou se fatores associados à usabilidade afetam a percepção dos usuários quanto à qualidade da informação do portal, bem como descreveu o perfil destes usuários e o contexto em que utilizam o Portal. Também foi intenção da pesquisa uma avaliação dos relatórios e atividades do portal pelos usuários para subsidiar uma proposta de melhoria aos desenvolvedores do sistema. Para avaliar a usabilidade foram selecionados, a partir da revisão bibliográfica, os fatores considerados mais relevantes: facilidade de memorização, facilidade de aprendizado, eficiência, satisfação, suporte a erros e utilidade. Para avaliar a qualidade da informação foram identificados cinco atributos: confiabilidade, correção, clareza, concisão e forma de apresentação. 47 Na seção seguinte o modelo de pesquisa e o detalhamento das hipóteses são apresentados. 3.2 MODELO DE PESQUISA Após a revisão teórica chegou-se ao modelo utilizado na pesquisa e exibido na Figura 3 a seguir. Figura 3 – Percepção da qualidade da informação por meio de atributos de usabilidade Fonte: Elaborado pela autora. As dimensões de Usabilidade do modelo são: - Facilidade de Memorização – diz respeito ao restabelecimento de proficiência após um período sem utilizar um sistema assim como a facilidade de memorização das tarefas. - Facilidade de Aprendizado - refere-se à facilidade de utilizar as tarefas básicas do sistema na primeira vez que encontra o design e a capacidade do usuário para operar o sistema após um tempo ou nenhum de treinamento. - Eficiência - considera a precisão e abrangência com que os usuários alcançam seus objetivos usando o sistema; a rapidez com que um objetivo pode ser atingido com precisão e completamente; e a produtividade das tarefas. - Satisfação - relaciona-se com as percepções, sentimentos e opiniões dos usuários em relação ao sistema; o quão agradável é o seu uso, com ausência de desconforto e presença de atitudes positivas. 48 - Suporte a Erros - trata da quantidade, gravidade e facilidade de recuperação dos erros assim como da prevenção visando redução de erros. - Utilidade - fornece os recursos que o usuário precisa; grau em que um sistema permite um usuário alcançar seus objetivos - avaliação da disposição do usuário para utilizar o produto como um todo. A dimensão Qualidade da Informação trata da qualidade de informação dos relatórios do portal e foi mensurada em função de cinco atributos selecionados da revisão teórica: confiabilidade, correção, clareza, concisão e forma de apresentação. A partir do modelo teórico da pesquisa, foram traçadas as seguintes hipóteses a serem testadas: H1: A Facilidade de Memorização percebida afeta a percepção de Qualidade da Informação do Portal do Aluno da Ufes; H2: A Facilidade de Aprendizado percebida afeta a percepção de Qualidade da Informação do Portal do Aluno da Ufes; H3: A Eficiência percebida afeta a percepção de Qualidade da Informação do Portal do Aluno da Ufes; H4: A Satisfação afeta a percepção de Qualidade da Informação do Portal do Aluno da Ufes; H5: O Suporte a Erros afeta a percepção de Qualidade da Informação do Portal do Aluno da Ufes; H6: A Utilidade percebida afeta a percepção de Qualidade da Informação do Portal do Aluno da Ufes; H7: É possível identificar segmentos estatisticamente diferenciados dos usuários quanto aos escores dos fatores associados à Usabilidade do Portal do Aluno da Ufes; Na seção 3.3 segue uma descrição da UFES e do Portal do aluno da instituição ambiente de pesquisa em que foi utilizado o modelo proposto. 49 3.3 AMBIENTE DA PESQUISA A Universidade do Espírito Santo foi fundada em 05 de maio de 1954 por meio da Lei Estadual nº 806, sancionada pelo então Governador do Estado do Espírito Santo, Jones dos Santos Neves. A Universidade Estadual foi federalizada durante o governo Juscelino Kubitschek, por meio da Lei nº 3.868, de 30 de janeiro de 1961, tornando-se a UFES (NPD, PROPLAN/UFES, 2011). A UFES possui quatro campi universitários (campus de Goiabeiras, de Maruípe, na capital; de Alegre, no sul do Estado; e de São Mateus, no norte capixaba) – com uma área total de 4,3 milhões de metros quadrados, sendo 292 mil metros quadrados de área construída (UFES, s.d). Em 2013 havia 2.200 servidores técnicos, 1.693 professores e cerca de 19 mil alunos na graduação presencial e a distância. Eram 93 cursos de graduação presencial, com cerca de 5 mil vagas anuais, e cinco cursos a distância13 (CCV/UFES, 2013). Neste contexto insere-se a apresentação do Portal do Aluno da UFES. O Portal é desenvolvido utilizando a tecnologia JavaServer Pages (JSP). É constituído por arquivos com conteúdos estáticos e dinâmicos. O conteúdo estático é escrito em linguagem HTML (HyperText Markup Language). O código dinâmico é escrito em Java, uma linguagem de programação concebida para uso no ambiente distribuído da Internet (ROUSE, 2007). Segundo o site da Oracle14, a tecnologia JSP permite o rápido desenvolvimento e fácil manutenção de páginas Web dinâmicas, ricas em informação. O código Java é executado em um servidor Web antes da página ser enviada para o usuário (ROUSE, 2005). O servidor Java Web utilizado é o Apache Tomcat (ou simplesmente, Tomcat), software livre desenvolvido pela Apache Software Foundation que processa as páginas implementa a tecnologia JSP. O Portal do Aluno, disponibilizado pela UFES no endereço http://aluno.ufes.br, foi lançado em 2011. É desenvolvido e mantido por uma equipe de analistas e 13 No ano de 2014 a Comissão Coordenadora de Vestibular (CCV) realizou os processos seletivos de dois novos cursos de graduação presencial: Letras Libras (Vitória) e Educação no Campo (São Mateus e Vitória). 14 http://www.oracle.com/technetwork/java/overview-138580.html http://aluno.ufes.br/ http://www.oracle.com/technetwork/java/overview-138580.html 50 estagiários do Núcleo de Processamento de Dados da UFES - NPD. Por tratar-se de uma aplicação Web, o Portal tem um caráter dinâmico, sendo atualizado constantemente. Além disso, por meio dele a UFES fornece constantemente informações e serviços a um público numeroso e diversificado. Dentre os principais recursos acessíveis pode-se destacar a Solicitação de Matrícula de alunos veteranos. Os analistas recebem mensagens de erros provenientes do portal e uma cópia das mensagens enviadas ao “Fale Conosco”, por e-mail. A Figura 4 exibe a página inicial do Portal, que solicita o login (usuário) e a senha. Figura 4 – Página inicial do Portal do Aluno Fonte: Portal do Aluno da UFES (2013). A página principal do Portal, exibida na Figura 5, é visualizada logo após a entrada no sistema. 51 Figura 5 – Página principal do Portal do Aluno Fonte: Portal do Aluno da UFES (2013). Pode-se identificar três áreas na tela: 1 – o menu lateral à esquerda, que contém as opções disponíveis; 2 – a área central, onde o conteúdo é exibido; 3 – um menu no topo da página, onde, além do Fale Conosco e da opção Sair, estão disponíveis o FAQ (Perguntas Frequentes) e tutoriais, ambos produzidos pelo NPD. O Portal possui um menu com as funcionalidades disponíveis conforme a Figura 6. Figura 6 – Menu de opções do Portal do Aluno da UFES Fonte: Portal do Aluno da UFES (2013). 52 No Quadro 12 são listados os menus, os submenus e a descrição das respectivas funções. Quadro 12 – Funcionalidades disponíveis no Portal do Aluno (continua) Menu Submenus Descrição Relatórios Histórico Parcial Exibe o histórico parcial do aluno (Anexo D) Grade Horário Individual Exibe a grade de horário das disciplinas que o aluno está matriculado no período corrente (Anexo E) Currículo de Cursos Exibe o currículo do curso do aluno, e também o dos demais cursos por ano/versão (Anexo F) Comprovante Matrícula Exibe as disciplinas em que o aluno encontra-se efetivamente matriculado, no período corrente (Anexo G) Ficha Cadastral Exibe os dados cadastrais do aluno (Anexo H) Integralização Curricular Exibe as disciplinas da matriz curricular do aluno, indicando quais o aluno já cursou, quais está matriculado e quais ainda não foram realizadas. (Anexo I) Comprovante Solicitação Exibe o comprovante de solicitação de matrícula do aluno, do período corrente. Em caso de solicitações em etapas de matrícula diferentes, o relatório exibe essas etapas de forma individualizada. (Anexo J) Oferta Oferta do seu curso Exibe a oferta de disciplinas para o curso do aluno. Grade de oferta Exibe a grade de horários das disciplinas ofertadas para o curso (Anexo K) Caso haja mais de uma disciplina em um mesmo horário de um mesmo período, as disciplinas conflitantes aparecem em vermelho. Oferta de outros cursos Permite exibir a oferta por curso (Anexo L), por disciplina (Anexo M) ou por departamento (Anexo N). Solicitação de matrícula É exibido durante o período pré-estabelecido em calendário acadêmico. O aluno seleciona as disciplinas que deseja cursar, por ordem de prioridade. Em caso de segunda etapa de matrícula e o aluno já estar matriculado em alguma disciplina, aparece antes uma tela com opção de cancelamento de a matrícula. (Anexo O) Diário de classe O aluno seleciona ano, período e disciplina para exibir o diário de classe (Anexo P). Caso o professor não tenha cadastrado informações no Portal do Professor, o relatório não exibe dados. Programa de Disciplina O aluno seleciona ano, período e disciplina para exibir o programa de classe (Anexo Q). Caso o professor não tenha cadastrado informações no Portal do Professor, o relatório não exibe dados. Avaliação de Docentes Quando está aberta, no período corrente, permite que o aluno escolha uma disciplina e docente para avaliar. (Anexo R) Atualmente a avaliação não é obrigatória. Resoluções Acadêmicas Direciona para as Resoluções Acadêmicas do Departamento de Administração dos Órgãos Colegiados Superiores (DAOCS) da UFES. (http://www.daocs.ufes.br/resolu%C3%A7%C3%B5es- acad%C3%AAmicas) http://www.daocs.ufes.br/resolu%C3%A7%C3%B5es-acad%C3%AAmicas http://www.daocs.ufes.br/resolu%C3%A7%C3%B5es-acad%C3%AAmicas 53 Quadro 12 – Funcionalidades disponíveis no Portal do Aluno (conclusão) Menu Submenus Descrição Atividades Complementares Permite que os alunos de cursos que possuem atividades curriculares cadastrem as atividades realizadas, desde que o coordenador de atividades curriculares tenha liberado o cadastro via Portal do Aluno. (Anexo S) As atividades cadastradas e ainda não avaliadas no Portal do Professor pelo coordenador de atividades complementares podem ser alteradas pelo aluno. (Opção não disponível para todos os alunos) Biblioteca Atualizar Situação Atualiza a situação do aluno no Portal do Aluno de acordo com a situação que consta no banco de dados do SIB (Sistema Integrado de Bibliotecas). Útil para quando o aluno que estava em débito no sistema da biblioteca quita o mesmo. Página do SIB Direciona para o site do Sistema Integrado de Bibliotecas da UFES. (http://www.bc.ufes.br/) Assistência Estudantil Projeto Sorriso Permite o aluno se inscrever para ações educativas do Projeto Sorriso (Anexo T). O Projeto Sorriso é uma parceria entre a Pró- reitoria de de Assistência Estudantil (Proaes) e o Departamento de Atenção à Saúde (Projep/DAS) da UFES. Tem por objetivo contribuir para melhoria da qualidade da saúde bucal dos estudantes através de ações educativas e atendimento odontológico no que se refere à profilaxia. As datas com suas respectivas vagas são cadastradas através do Portal do Servidor. Portal Assistência Estudantil Direciona para o Portal da Assistência Estudantil. (http://ae.ufes.br/) Alteração Dados Cadastrais Alterar Dados Pessoais Permite a alteração de alguns dados pessoais pelo aluno. Os dados não editáveis podem ser alterados somente pela Prograd (Anexo U) Alterar E-mail / Endereço Permite a adição de um novo endereço assim como alteração do endereço principal, utilizado para correspondência. (Anexo U) Alterar Documentos Permite a adição de um tipo de documento ainda não cadastrado assim como edição de campos não preenchidos de documentos já cadastrados. Os dados não editáveis podem ser alterados somente pela Prograd. (Anexo U) Alterar Senha Direciona para a página de alteração de senha no Portal do Autenticação. (https://senha.ufes.br/site/alteraSenha) Fonte: Portal do Aluno da UFES (2013). Elaboração Própria. 3.4 POPULAÇÃO DO ESTUDO E AMOSTRA O universo da pesquisa são todos os alunos dos cursos de graduação regularmente matriculados da UFES no semestre letivo 2014/1, que segundo dados do SIE totalizam 18.473 alunos. A distribuição dos discentes por modalidade e gênero é apresentada na Tabela 1 a seguir. http://www.bc.ufes.br/ http://ae.ufes.br/ https://senha.ufes.br/site/alteraSenha 54 Tabela 1 - Distribuição dos alunos de graduação ativos da UFES Modalidade Sexo Total Parcial Feminino Masculino Presencial 9.726 8.449 18.175 (98,39%) A distância (EAD) 177 121 298 (1,61%) Total Geral 9903 (53,61%) 8570 (46,39%) 18.473 Fonte: Sistema SIE/UFES (2014). A amostra da pesquisa foi composta por 900 alunos que responderam corretamente o questionário (aproximadamente 5% do total de alunos), podendo ser classificada como amostra não probabilística acidental. A amostragem por conveniência ou acidental é principalmente utilizada para geração de ideias em pesquisas exploratórias. Embora esse tipo de amostragem tenha limitações, sendo inferior em termos de precisão de resultados à amostragem probabilística, traz contribuições aos estudos em que é empregada (OLIVEIRA, 2001). Ainda que os resultados obtidos para a amostra não possam ser generalizados, entende-se que a