A conceptual architecture and a framework for dealing with variability in mulsemedia systems

Página do item simplificado
dc.contributor.advisor1Santos, Celso Alberto Saibel
dc.contributor.advisor1IDhttps://orcid.org/0000000232875843
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/7614206164174151
dc.contributor.authorSaleme, Estevao Bissoli
dc.contributor.authorIDhttps://orcid.org/0000000318563824
dc.contributor.authorLatteshttp://lattes.cnpq.br/8757661847246456
dc.contributor.referee1Pereira Filho, Jose Goncalves
dc.contributor.referee1IDhttps://orcid.org/0000-0002-8056-3836
dc.contributor.referee1Latteshttp://lattes.cnpq.br/8265854560095874
dc.contributor.referee2Martinello, Magnos
dc.contributor.referee2IDhttps://orcid.org/0000-0002-8111-1719
dc.contributor.referee2Latteshttp://lattes.cnpq.br/7471111924336519
dc.contributor.referee3Saade, Debora Christina Muchaluat
dc.contributor.referee3IDhttps://orcid.org/0000-0002-1233-9736
dc.contributor.referee3Latteshttp://lattes.cnpq.br/2448703093928632
dc.date.accessioned2024-05-30T00:48:41Z
dc.date.available2024-05-30T00:48:41Z
dc.date.issued2019-12-03
dc.description.abstractThe increasing interest in digital immersive experiences has drawn the attention of researchers into understanding human perception whilst adding sensory effects to multimedia systems such as VR (Virtual Reality) and AR (Augmented Reality) applications, multimedia players, and games. These so-called mulsemedia—multiple sensorial media—systems are capable of delivering wind, smell, vibration, among others, along with audiovisual content with the aim of enhancing users’ Quality of Experience (QoE) in areas such as entertainment, healthcare, education, culture, and marketing. To support the researchers’ investigation, there have been developed many standalone software solutions and incipient architectural proposals to bind these applications to sensory effects devices, such as wind fans, scent emitters, vibration chairs, etc. These devices, in turn, are constantly evolving, making it difficult to update applications to be compatible with them. There is little or no interoperability between software and hardware in this realm, hindering reuse in other contexts. Every time a mulsemedia application is needed, new software is built mostly from scratch. This model has proven to be demanding, time-consuming, and costly mainly because it requires researchers and developers alike to gain knowledge about new devices, connectivity, communication protocols, and other particulars. The fact is that building such systems imposes a number of challenges and requirements (which are discussed in this thesis) due mainly to their ever-evolving and heterogeneous traits. As a result, few mulsemedia systems have remained reusable to be applied to different research purposes as opposed to the use of open mulsemedia datasets. Therefore, the main contribution of this thesis is a decoupled conceptual architecture to deal with variability of scenarios in mulsemedia delivery systems, which includes recommendations to cope with the variation of end-user applications and sensory effect devices through the support and reuse of even unforeseen communication and connectivity protocols, and sensory effects metadata (SEM). To evaluate it, an open-source and robust mulsemedia framework was developed. Then, a performance assessment was carried out on communication protocols for the integration between event-based applications, whereby temporal restrictions play a role, and the framework. Results indicated statistically significant differences in response time providing directions for optimized integrations. Finally, a user QoE subjective evaluation comparing a monolithic mulsemedia system with this framework was undertaken with results suggesting no evinced statistically significant differences in user perceived QoE between the systems under different aspects. Therefore, it is hoped that this work fosters the area of mulsemedia and HCI (Human-Computer Interaction) in the sense that researchers can leverage either the conceptual architecture to design mulsemedia delivery systems or the framework to carry out their experiments
dc.description.resumoOcrescente interesse em experiências imersivas digitais têm atraído a atenção dos pesquisadores para a compreensão da percepção humana quando efeitos sensoriais são adicionados a sistemas multimídia, tais como aplicações de realidade virtual e aumentada, reprodutores multimídia e jogos. Os sistemas mulsemídia são capazes de prover vento, cheiro, vibração, entre outros efeitos sensoriais, junto com conteúdo audiovisual com o objetivo de melhorar a Qualidade de Experiên cia (QoE) dos usuários em áreas tais como entretenimento, saúde, educação, cultura e marketing. Para apoiar a investigação dos pesquisadores, várias soluções standalone de software e propostas arquitetônicas incipientes têm sido desenvolvidas para vincular essas aplicações a dispositivos de efeitos sensoriais, tais como ventiladores, emissores de odores, cadeiras vibratórias, etc. Esses dispositivos, por sua vez, estão em constante evolução, dificultando a atualização de aplicativos para se tornarem compatíveis com eles. Há pouca ou nenhuma interoperabilidade entre software e hardware neste domínio, impedindo a reutilização em outros contextos. Toda vez que uma aplicação mulsemídia é necessária, um novo software é construído a partir do zero. Esse modelo têm se mostrado trabalhoso, demorado e oneroso principalmente porque exige que pesquisadores e desenvolvedores adquiram conhecimento sobre novos dispositivos, protocolos de conectividade e de comunicação além de outras características técnicas. O fato é que a construção de tais sistemas impõe uma série de desafios e requisitos devido principalmente a seus traços evolutivos e heterogêneos. Consequentemente, poucos sistemas mulsemídia têm permanecidos reusáveis, na direção oposta a datasets abertos mulsemídia. Portanto, a principal contribuição desta tese é uma arquitetura conceitual desacoplada para lidar com a variabilidade de cenários em sistemas de entrega mulsemídia, que inclui recomendações para suportar a mudança de aplicações de apresentação e dispositivos de efeitos sensoriais através do suporte e reutilização de até mesmo protocolos não previstos de comunicação e conectividade, e metadados de efeitos sensoriais (SEM). Para avaliá-lo, um framework mulsemídia de código aberto e robusto foi desenvolvido. Emseguida, foi realizada uma avaliação de desempenho de protocolos de comunicação para a integração entre aplicações baseadas em eventos, em que as restrições temporais desempenham umpapel importante, e o framework. Os resultados indicaram diferenças estatisticamente signifi cativas no tempo de resposta, fornecendo orientações para integrações otimizadas. Por fim, uma avaliação subjetiva de QoE do usuário comparando um sistema monolítico mulsemídia com o framework foi realizada, com resultados sugerindo que não houve diferenças estatisticamente significativas na QoE percebida pelos usuários entre os sistemas sob diferentes aspectos. Portanto, espera-se que este trabalho fomente a área da mulsemídia e interação humano-computador, no sentido de que os pesquisadores possam aproveitar a arquitetura conceitual para projetar sistemas de entrega mulsemídia ou o framework para realizar seus experimentos
dc.formatText
dc.identifier.urihttp://repositorio.ufes.br/handle/10/13841
dc.languagepor
dc.publisherUniversidade Federal do Espírito Santo
dc.publisher.countryBR
dc.publisher.courseDoutorado em Ciência da Computação
dc.publisher.departmentCentro Tecnológico
dc.publisher.initialsUFES
dc.publisher.programPrograma de Pós-Graduação em Informática
dc.rightsopen access
dc.subjectSistemas mulsemídia
dc.subjectAplicações multimídia
dc.subjectVariabilidade
dc.subjectArquitetura conceitual
dc.subjectIntegração de software
dc.subjectFrameworks
dc.subjectMulsemedia systems
dc.subjectMultimedia applications
dc.subjectVariability
dc.subjectConceptual architecture
dc.subjectSoftware integration
dc.subjectFrameworks
dc.subject.br-rjbnsubject.br-rjbn
dc.subject.cnpqCiência da Computação
dc.titleA conceptual architecture and a framework for dealing with variability in mulsemedia systems
dc.title.alternative
dc.typedoctoralThesis
Arquivos
Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
tese_13927_A Conceptual Architecture and a Framework for Dealing with Variability in Mulsemedia Systems - Estevao Bissoli Saleme.pdf
Tamanho:
12.6 MB
Formato:
Adobe Portable Document Format
Descrição:
Baixar
Coleções
Doutorado em Ciência da Computação