Aspectos Teóricos Processamento de Linguagem Natural

Aspectos teóricos

Processamento de Linguagem Natural

Silvio do Lago Pereira

https://www.ime.usp.br/~slago/IA-pln.pdf

O Processamento de Linguagem Natural (PLN) na análise da linguagem natural necessita de modelos computacionais que consigam realizar tarefas decorrentes das informações extraídas na linguagem natural (tradução ou interpretação). O estudo está em relacionar a especificação e avaliação de sentenças (conjunto de palavras) geradas por uma gramática tendo como base uma análise sintática de frases (árvore sintática).

Conforme [Covington 1994] as pesquisas em PLN, dada a comunicação em linguagem natural, está voltada a três aspectos importantes:

– Som: fonologia

   A fonologia estabelece o reconhecimento dos sons das palavras de uma determinada língua;

– Estrutura: morfologia e sintaxe

   A morfologia se encarrega de estudar a formação das palavras (composição)

   A sintaxe define a relação das palavras em uma frase

– Significado: semântica e pragmática

   A semântica associa um sentido ou significado a uma estrutura sintática;

   A pragmática verifica se a semântica está apropriada ao contexto.

A estrutura de uma gramática depende da linguagem associada, cujo símbolos irão determinar as sentenças para serem avaliadas e validadas. Podemos fazer o reconhecimento utilizando uma abordagem top-down ou bottom-up para relacionar as sentenças de uma gramática geradas numa linguagem. Alguns pontos podem ser relevantes na semântica: concordância de gênero, concordância de número e tempo verbal.

Processamento de Linguagem Natural (PLN)

Inteligência Artificial

https://www.inbot.com.br/artigos/educacional/Processamento-de-Linguagem-Natural-PLN-Jacson-Rodrigues-UFES.pdf

● Contextualização (Aplicações)

- Ligar para o suporte de uma companhia telefônica

– Falar um número e o celular faz a ligação

– Digita uma frase com a gramática errada no editor de textos

– Assistir um vídeo em inglês no Youtube e pedir para ver as legendas automáticas

● História resumida

- 1940 - Primeira máquina relacionada a Linguagem Natural: Máquina de Tradução (MT).

- 1957 - Chomsky introduziu as ideias de gramática

- 1970 - A atenção voltou-se para a semântica, fonemas e planos para a comunicação.

- 1980 - Revisão da literatura utilizada para endereçar problemas em PLN.

- 1990 - Pesquisas apresentaram sucesso com a identificação da linguagem, tratamento da ambiguidade, etc.

- 2000 - Desenvolver e modelar sistemas linguísticos, com sofisticação adequada a determinado objetivo. Conceber o implementar modelos e sistemas de PLN;

● Processamento de Linguagem Natural

PNL: Um conjunto de teorias de técnicas computacionais para analisar e representar naturalmente textos em um ou mais níveis da análise linguística com propósito de realizar o processamento da linguagem humana para um conjunto de tarefas e aplicações.

A análise depende da linguagem quanto a ambiguidade e identificar a linguagem.

[pic 1]

– Fonologia: Estudo dos sons que compõem as palavras, utilizado para identifica-las;

– Morfologia (Análise Morfológica): Examina os modos que as palavras se desmembram em componentes e isto afeta o estado gramatical delas: substantivos; verbos; pronomes. Incluir regras que funcionem com palavras regulares e tratar domínios específicos bem limitados, (cantar – cantando – cantor)

– Análise Sintática: Avalia a gramática da linguagem, na qual a gramática faz especificação formal das estruturas das sentenças permitidas na linguagem e gera uma estrutura da sentença analisada através de regras;

– Análise Semântica: Associa um significado a estrutura sintática, considera os significados das palavras e extrai um significado de uma declaração eliminando ambiguidade e auxilia na análise pragmática;

– Análise Pragmática: Interpreta todo o significado das sentenças, verifica se a semântica está correta e clara de forma paradigmáticas (através de um significado) ou sintagmáticas (mesmo assunto).

● Exemplos de aplicações de PLN: Chatterbots, como “robô Ed” e “Se7e Zoom”

Processamento de Linguagem Natural

Comissão Especial de Processamento de Linguagem Natural (CE-PLN)

http://www.sbc.org.br/14-comissoes/394-processamento-de-linguagem-natural

A área de Processamento da Linguagem Natural (PLN), também denominada Linguística Computacional ou, ainda, Processamento de Línguas Naturais, lida com problemas relacionados à automação da interpretação e da geração da língua humana em aplicações como Tradução Automática, Sumarização Automática de Textos, Ferramentas de Auxílio à Escrita, Perguntas e Respostas, Categorização Textual, Recuperação e Extração de Informação, entre muitas outras, além das tarefas relacionadas de criação e disponibilização de dicionários/léxicos e corpus eletrônicos, desenvolvimento de taxonomias e ontologias, investigações em linguística de corpus, desenvolvimento de esquemas de marcação e anotação de conhecimento linguístico-computacional, resolução anafórica, análise morfossintática automática, análise semântico-discursiva automática, etc.

O objetivo da CE-PLN é promover e representar a área de PLN no Brasil, apoiando e realizando eventos científicos, propondo e organizando meios de publicação e divulgação para a área e gerenciando listas e fóruns de discussão, dentre outras medidas.

Periódico em destaque

Revista Internacional de Análise e Reconhecimento de Documentos (IJDAR)

https://link.springer.com/journal/10032

Introdução ao Processamento de Linguagem Natural usando Python

http://www.eripi.com.br/2017/images/anais/minicursos/5.pdf

O Processamento de Linguagem Natural (PLN) é uma área da computação que tem como objetivo extrair representações e significados mais completos de textos livres escritos em linguagem natural [Indurkhya and Damerau, 2010]. O PLN pode ser definido como uma forma de descobrir quem fez o quê, a quem, quando, onde, como e porquê [Robertson, 1946]. O PLN geralmente faz uso de conceitos linguísticos como classes de palavras (substantivo, verbo, adjetivo, etc.). As situações mais complexas, como anáforas e ambiguidades. Isso se dá através de várias representações de conhecimento, como léxicos de palavras e seus significados; propriedades e regras gramaticais da linguagem; tesauros de sinônimos ou abreviações; e ontologias de entidades e ações [Indurkhya and Damerau, 2010].
Além de tratar o texto como uma mera sequência de caracteres, o PLN considera a estrutura hierárquica da linguagem. Ao analisar a linguagem pelo seu significado, os sistemas de PLN podem ser utilizados em uma diversa gama de papéis, como corretores gramaticais, na conversão de fala para texto, na tradução automática de texto entre linguagens e na análise de sentimentos/mineração de opiniões [Liu and Zhang, 2013].