Recentemente, o Conselho Nacional de Justiça (CNJ) destacou a importância de soluções robustas para realizar a classificação automatizada de processos judiciais. A correta classificação do processo judicial melhora substancialmente a assertividade de (i) distribuição, (ii) organização da agenda de audiências e sessões, (iii) classificação de medidas urgentes e provas, (iv) identificação de prescrição e (v) prevenção. Este trabalho investiga diferentes métodos de classificação de textos e diferentes combinações de embeddings, extraídos de modelos de língua portuguesa, e informações sobre legislação citadas nos documentos iniciais. Os modelos foram treinados com uma Coleção Dourada composta por 16 mil petições iniciais e indiciamentos do Tribunal de Justiça do Estado do Ceará, no Brasil, cujos processos foram classificados nas cinco classes mais representativas do CNJ - Processo Civil Comum, Execução de Título Extrajudicial, Ação Criminal - Processo Ordinário, Processo Civil Especial e Execução Fiscal. Nosso melhor resultado foi obtido pelo modelo BERT, alcançando 0,88 de F1-score (macro), no cenário do experimento que representa a ação em um embedding formado pela concatenação dos textos de todas as petições que contenham pelo menos uma citação a uma legislação. Os documentos jurídicos têm características específicas, como documentos longos, vocabulário especializado, sintaxe formal, semântica baseada em um amplo domínio específico de conhecimento e citações de leis. Nossa interpretação é que a representação do documento por meio de embeddings contextuais gerados pelo BERT, assim como a arquitetura do modelo com contextos bidirecionais, possibilita a captura do contexto específico do domínio dos documentos jurídicos.

Palavras-chave: Classificação de Textos, Domínio Jurídico, Processos Judiciais Brasileiros, Modelos de Linguagem. Ver menos

Recently, Brazil’s National Council of Justice (CNJ) highlighted the importance of robust solutions to perform automated lawsuit classification. A correct lawsuit classification substantially improves the assertiveness of (i) distribution, (ii) organization of the agenda of court hearing and sessions, (iii) classification of urgent measures and evidence, (iv) identification of prescription and (v) prevention. This paper investigates different text classification methods and different combinations of embeddings, extracted from Portuguese language models, and information about legislation cited in the initial documents. The models were trained with a Golden Collection of 16 thousand initial petitions and indictments from the Court of Justice of the State of Ceará, in Brazil, whose lawsuits were classified in the five more representative CNJ’s classes - Common Civil Procedure, Execution of Extrajudicial Title, Criminal Action - Ordinary Procedure, Special Civil Court Procedure, and Tax Enforcement. Our best result was obtained by the BERT model, achieving 0.88 of F1-score (macro), in the experiment scenario that represents the lawsuit in an embedding formed by concatenating the texts of all the petitions that contain at least one citation to one legislation. Legal documents have specific characteristics such as long documents, specialized vocabulary, formal syntax, semantics based on a broad specific domain of knowledge, and citations to laws. Our interpretation is that the representation of the document through contextual embeddings generated by BERT, as well as the architecture of the model with bidirectional contexts, makes it possible to capture the specific context of the domain of legal documents.

Keywords: Text Classification, Legal Domain, Brazilian Lawsuits, Language Models Ver menos