Magni calculi ratiocinatoris: a theoretical universal logical and axiological calculation framework for generative large language models

Página do item simplificado
dc.contributor.advisor1Varejão, Flavio Miguel
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/6501574961643171
dc.contributor.authorBrasil Junior, Samuel Meira
dc.contributor.authorIDhttps://orcid.org/0000000264784743
dc.contributor.authorLatteshttp://lattes.cnpq.br/1600831611942868
dc.contributor.referee1Rezende, Solange Oliveira
dc.contributor.referee2Boldt, Francisco de Assis
dc.contributor.referee3Santos, Thiago Oliveira dos
dc.contributor.referee3Latteshttp://lattes.cnpq.br/5117339495064254
dc.contributor.referee4Rauber, Thomas Walter
dc.contributor.referee4IDhttps://orcid.org/0000000263806584
dc.contributor.referee4Latteshttp://lattes.cnpq.br/0462549482032704
dc.date.accessioned2024-05-29T20:55:16Z
dc.date.available2024-05-29T20:55:16Z
dc.date.issued2023-12-13
dc.description.abstractThis dissertation explores the idea of developing a theoretical universal framework as a calculation of thought, specifically focusing on integrating value alignment in logical reasoning upon generative large language models. The research delves into the historical search for a "calculus ratiocinator," a universal logical calculus, underlying the "Characteristica Universalis," a universal language, and positions large language models as a contemporary manifestation of the latter. The study includes a conceptual review of the foundational models’ learning strategies, including pre-training transformer-based LLMs, transfer learning, and in-context learning methodologies such as zero-shot and few-shot learning, chain-of-thoughts, tree-of-thoughts, self-consistency, and automatic prompt engineer. Following the theoretical framework, the work comprises a thorough literature review, examining the logical reasoning abilities of large language models (LLMs) and evaluating their strengths and weaknesses, scalability, and quality of generated texts. The research then focuses on fine-tuning a pre-trained LLM for value-aligned logical reasoning. It explores methods such as Logical and Axiological Weights (LAW), a rank-based theory for weight adaptation that introduces value-aligned logical reasoning weights in subnetworks of pre-trained models, utilizing the parameter-efficient fine-tuning LoRA/QLoRA. The results from these methods are presented and discussed in detail. Additionally, the work explores prompting methodologies for value-aligned logical reasoning. This includes techniques such as Logic-of-Reasoning (LoR), an in-context learning approach that incorporates the decomposition of input for logical subproofs, tree-based and forest-based sequent calculi, and natural deduction prompts. It also includes aligning the generated text with human value through the Value-Aligned Logic-of-Reasoning (VALoR) prompt. The dissertation concludes by presenting experimental results that validate the proposed methodologies. This research contributes to the field by offering a holistic approach to improve logical reasoning aligned with human values on generative large language models. It provides a foundation for future work in developing more human-aligned AI systems that can reason logically while upholding human values.
dc.description.resumoA presente tese investiga o desenvolvimento de uma estrutura teórica universal para o "cálculo de raciocínio", com foco principal no alinhamento de valores e no raciocínio lógico dos grandes modelos de linguagem generativos (Generative LLMs). A pesquisa inicia com a referência histórica ao "Fundamenta Calculi Ratiocinatoris"de Leibniz, que se trata de um cálculo lógico integrado a uma linguagem universal ("Lingua Characteristica"), e posiciona os modelos de linguagem como uma manifestação contemporânea desse conceito. O estudo inclui uma revisão conceitual das estratégias de aprendizado dos modelos de fundamentais, incluindo LLMs pré-treinados baseados em transformers, metodologias de transferência do aprendizado e aprendizado em contexto, como aprendizado "zero-shot"e "few-shot", cadeia-de-pensamentos, árvore-de-pensamentos, auto-consistência e engenharia de entrada automática. Seguindo o marco teórico, o trabalho elabora uma abrangente revisão da literatura, examinando as habilidades de raciocínio lógico dos grandes modelos de linguagem (LLMs), e avalia seus pontos fortes e fracos, escalabilidade e qualidade dos textos gerados. A pesquisa então se concentra no ajuste fino de LLMs pré-treinados para se obter um raciocínio lógico alinhado a valores. Apresenta métodos como teoria de rankings para adaptação de peso, cálculo lógico alinhado a valores e ajuste fino de sub-redes. Os resultados desses métodos são apresentados e discutidos em detalhes. Além disso, o trabalho explora metodologias de prompt em linguagem natural para obter raciocínio lógico alinhado a valores. Isso inclui técnicas como Sequent Calculi e Dedução Natural, lógica de raciocínio alinhada a valores, decomposição para subprovas lógicas e prompts de cálculos sequenciais baseados em árvores de decisão, juntamente com raciocínio baseado em preferências para obter o alinhamento de valores. A dissertação conclui com a apresentação de resultados experimentais para validar as metodologias propostas. Espera-se que a pesquisa possa contribuir para a área, ao propor uma abordagem holística para melhorar o raciocínio lógico alinhado aos valores humanos em modelos de linguagem generativa. E que a pesquisa possa fornecer uma base para trabalhos futuros no desenvolvimento de sistemas de inteligência artificial mais alinhados aos valores humanos ou ao menos estimular pesquisas nesse sentido.
dc.formatText
dc.identifier.urihttp://repositorio.ufes.br/handle/10/12435
dc.languagepor
dc.publisherUniversidade Federal do Espírito Santo
dc.publisher.countryBR
dc.publisher.courseDoutorado em Ciência da Computação
dc.publisher.departmentCentro Tecnológico
dc.publisher.initialsUFES
dc.publisher.programPrograma de Pós-Graduação em Informática
dc.rightsopen access
dc.subjectGrandes Modelos de Linguagem Generativos
dc.subjectRaciocínio lógico
dc.subjectAlinhamento axiológico
dc.subjectAjuste-fino de modelos pré-treinados
dc.subjectAprendizagem em contexto
dc.subject.cnpqCiência da Computação
dc.titleMagni calculi ratiocinatoris: a theoretical universal logical and axiological calculation framework for generative large language models
dc.typedoctoralThesis
Arquivos
Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
Samuel_Tese_FINAL_aprovacao (1).pdf
Tamanho:
23.63 MB
Formato:
Adobe Portable Document Format
Descrição:
Baixar
Coleções
Doutorado em Ciência da Computação