Método híbrido baseado em aprendizado de máquina e programação linear inteira para o problema de detecção de incertezas especulativas em textos

Marcelo Coelho Quinho

Método híbrido baseado em aprendizado de máquina e programação linear inteira para o problema de detecção de incertezas especulativas em textos [Digital]

Material

Dissertação

Idioma

Português

CDU e Cutter

681.3:004.85

Publicação

Fortaleza, 2012.

Resumo Identificar informações incertas ou não confiáveis em textos é fundamental para sistemas de extração de informação, pois somente informações baseadas em fatos, livre de incertezas, devem ser transmitidas para os usuários. A literatura sobre detecção de incerteza em textos contém diversos trabalhos... Ver mais Identificar informações incertas ou não confiáveis em textos é fundamental para sistemas de extração de informação, pois somente informações baseadas em fatos, livre de incertezas, devem ser transmitidas para os usuários. A literatura sobre detecção de incerteza em textos contém diversos trabalhos que utilizam Aprendizado de Máquina (AM) para identificar partes do texto que não são baseados em fatos. Os trabalhos dividem o problema em três subproblemas de classificação e em seguida aplicam pós-processamento com heurísticas para retirada de inconsistências das saídas dos classificadores. Esta dissertação propõe uma metodologia híbrida baseada em AM e Programação Linear Inteira (PLI) para detectar incertezas em textos. A metodologia proposta é composta de três etapas: (1) a primeira etapa consiste no pré-processamento do texto para inclusão de informações linguísticas; (2) a segunda etapa, consiste em utilizar classificadores locais treinados com o uso de AM; (3) a terceira etapa, consiste em combinar os resultados dos classificadores locais usando um mecanismo de inferência que explora a estrutura global do problema, descartando a necessidade do uso de heurísticas. A principal contribuição da metodologia proposta, bem como desta dissertação, é o modelo de PLI proposto na etapa 3. Para verificar a viabilidade da metodologia, foi desenvolvida uma ferramenta que permitiu a aplicação num estudo de caso da área biomédica. A contribuição da combinação da saída dos classificadores com o uso de PLI é examinada a partir da comparação dos resultados produzidos quando essa etapa é substituída por um conjunto de heurísticas. Os resultados experimentais evidenciam uma melhora de 3,7 pontos na medida F ao utilizar a etapa de PLI ao invés das heurísticas.

Palavras-chave: Detecção de Incertezas; Aprendizado de Máquina; Processamento em Linguagem Natural; Programação Linear Inteira
Ver menos

Identifying unreliable or uncertain information in texts is fundamental for information extraction systems, as only information based on facts, free from uncertainties should be communicated to users. The literature on the detection of uncertainty texts contains many works that use Machine Learning... Ver mais Identifying unreliable or uncertain information in texts is fundamental for information extraction systems, as only information based on facts, free from uncertainties should be communicated to users. The literature on the detection of uncertainty texts contains many works that use Machine Learning (ML) to identify parts of the text that are not based on facts. The work divides the problem into three subproblems of classification and then applying post-processing with heuristics for removal of inconsistencies of outputs of classifiers. This work proposes a hybrid methodology based on ML and Integer Linear Programming (ILP) to detect uncertainties texts. The methodology consists of three steps: (1) the first step consists in pre-processing text for inclusion of linguistic information, (2) the second step consists in using local classifiers trained using AM; (3) the third step is to combine the results of local classifiers using an inference procedure that exploits the global structure of the problem, ruling out the need for the use of heuristics. The main contribution of the proposed methodology as well as this dissertation is the ILP model proposed in step 3. To verify the feasibility of the methodology, we developed a tool that allowed the application on a case study in biomedicine. The contribution of the combination of the output of the classifiers with the use of ILP is examined based on the comparison results produced when this step is replaced by a set of heuristics. The experimental results showed an improvement of 3.7 points when using the measure F of ILP step instead of heuristics.
Keywords: Detection of Uncertainty; Machine Learning; Natural Language Processing; Integer Linear Programming Ver menos

Nota de forma física adicional

Disponibilidade forma física: Existe obra impressa de código : 90049

Assuntos

Aprendizado computacional

Programação linear

Linguagem natural

Autoria

Quinho, Marcelo Coelho Autor

Santos, Cícero Nogueira dos Orientador

Pinheiro, Plácido Rogério Coorientador

Santos, Cícero Nogueira dos Banca examinadora

Pinheiro, Plácido Rogério Banca examinadora

Coelho, Andre Luis Vasconcelos Banca examinadora

Souza, Criston Pereira de Banca examinadora

Universidade de Fortaleza. Programa de Pós-Graduação em Informática Aplicada Dissertação (mestrado)

URL

https://uol.unifor.br/auth-sophia/exibicao/9526

Método híbrido baseado em aprendizado de máquina e programação linear inteira para o problema de detecção de incertezas especulativas em textos [Digital]

Terminal de consulta web

Método híbrido baseado em aprendizado de máquina e programação linear inteira para o problema de detecção de incertezas especulativas em textos [Digital]

Método híbrido baseado em aprendizado de máquina e programação linear inteira para o problema de detecção de incertezas especulativas em textos [Digital]

Método híbrido baseado em aprendizado de máquina e programação linear inteira para o problema de detecção de incertezas especulativas em textos [Digital]