Esta dissertação explora a viabilidade e os desafios do uso de Large Language Models (LLMs) para avaliar automaticamente a qualidade dos diagramas de arquitetura de software. Propomos uma metodologia baseada em cinco critérios principais de avaliação — clareza, consistência, completude, precisão e nível de detalhes — e os operacionalizamos em prompts estruturados adequados para avaliações baseadas em LLM. A abordagem é testada empiricamente em dois conjuntos de dados distintos: diagramas de arquitetura selecionados de artigos do SBES 2024 Tools Track (formais e revisados por pares) e projetos de código aberto no GitHub (informais e orientados pela comunidade). Resultados experimentais usando o modelo ChatGPT-4o da OpenAI sugerem que os LLMs podem fornecer feedbacks valiosos e detectar inconsistências diagramáticas, muitas vezes ecoando os insights de um especialista humano. No entanto, limitações como omissões potenciais de elementos cruciais do diagrama, saídas não determinísticas e escolhas de design sensíveis ao contexto indicam que a supervisão humana continua indispensável. Para orientar pesquisadores e profissionais, propomos ainda estratégias práticas para preparação de dados, construção rápida e interpretação de resultados, visando maximizar a confiabilidade e a utilidade das avaliações arquitetônicas baseadas em LLM.

Palavras-chave: Arquitetura de Software. Large Language Models (LLMs). Avaliação Automatizada de Arquitetura Ver menos

This dissertation explores the feasibility and challenges of using Large Language Models (LLMs) to automatically assess the quality of software architecture diagrams. We propose a methodology grounded in five core evaluation criteria—clarity, consistency, completeness, accuracy, and level of detail—and operationalize them into structured prompts suitable for LLM-based assessments. The approach is empirically tested across two distinct datasets: curated architecture diagrams from SBES 2024 Tools Track papers (formal and peer-reviewed) and open-source projects on GitHub (informal and community-driven). Experimental results using OpenAI’s ChatGPT-4o model suggest that LLMs can provide valuable feedback and detect diagrammatic inconsistencies, often echoing the insights of a human expert. However, limitations such as potential omissions of crucial diagram elements, non-deterministic outputs, and context-sensitive design choices indicate that human oversight remains indispensable. To guide researchers and practitioners, we further propose practical strategies for data preparation, prompt construction, and result interpretation, aiming to maximize the reliability and utility of LLM-based architectural evaluations.

Keywords: Software Architecture . Large Language Models (LLMs) . Automated Architecture Assessment Ver menos