Robo em python - tratamento upload de arquivos

Especificação Robô Censo         [pic 1]

1. Introdução

O Censo do Ensino Superior é realizado anualmente. Durante o período de registro dos alunos no Censo, junto ao Inep/MEC, o departamento DGA – Censo/Enade realiza o upload dos arquivos em formato txt, contendo as informações dos alunos, para processamento e verificações de inconsistências pelo site do INEP.

O processo manual consiste nas seguintes etapas:

1. Upload de arquivo .txt
2. Download de arquivo em Excel com descrição de erros identificados no processo de validação de dados do Inep
3. Correção manual dos erros
4. Confecção de novo arquivo txt-corrigido
5. Upload do arquivo txt-corrigido
6. Download de novo arquivo em Excel com descrição de erros ou do recibo de confirmação de recebimento de todos os dados do arquivo

A inclusão do robô nos processos deverá possibilitar a execução das etapas acima de forma a agilizar as tarefas repetitivas de upload/ download e correção de erro, desde que os erros apresentados estejam dentro das regras e lógicas atendidas pelo Robô e descritas nesse documento, em um intervalo de tempo muito menor, com possibilidade de execução no período noturno. O resultado esperado é que parte substancial do processo será automatizado.

1. Regras de Negócio

1. Os arquivos .txt para upload devem ser confeccionados pelo time da DGA e disponibilizados para o Robô.

1. O Robô deverá executar as etapas de upload, download e correções dos arquivos.

1. Upload de arquivo .txt
2. Download de arquivo em Excel com descrição de erros identificados no processo de validação de dados do Inep
3. Correção dos erros que se enquadrarem nas regras e lógicas atendidas pelo robô e descritas nesse documento
4. Confecção de novo arquivo txt-corrigido
5. Upload do arquivo txt-corrigido
6. Download de novo arquivo em Excel com descrição de erros ou do recibo de confirmação de recebimento de todos os dados do arquivo

1. Os erros reportados pelo Inep, classificados em Categorias (descritas abaixo) devem ser tratados pelo Robô, assim como a confecção de um novo arquivo .txt e repetição do processo de upload/download.

1. Observação: O Robô encerra o ciclo de upload/download/correção/upload/download somente quando o arquivo não mais apresentar tipos de erros tratáveis pelo robô

1. Deverá ser identificado no arquivo os erros processados pelo robô, os erros para os quais o Robô não conseguiu realizar a correção. LOG de Erros, uma vez faz-se necessário a identificação desses para correção manual.

1. Categoria 1

Descrição do erro: “Nome informado no arquivo é diferente do nome localizado na base de dados de CPF”.

Ferramentas para utilização: Serasa confirma nome

Regra de negócio: os nomes que foram identificados como divergentes, devem ser enviados para a consulta nome Serasa.

Os nomes que foram corridos pelo Serasa devem substituir o nome do arquivo .txt pelo nome sugerido no retorno de nome. A regra deve ser aplicada e desenvolvida pela equipe de Kbtos e aprovada pelo time Censo Enade.

1. Categoria 2

Descrição do erro: “CPF informado já existe para aluno neste mesmo arquivo”.

Regra de negócio:

• Deletar a linha 41 que está duplicada, desde que as linhas 41 estejam uma subsequente a outra no arquivo txt, caso contrário, não alterar a informação no arquivo.

1. Categoria 3

Descrição do erro: “A opção "Não dispõe da informação" no campo Tipo de escola que concluiu o Ensino Médio somente poderá ser informada para vínculo com ano de ingresso menor que 2013”. Para anos de ingressos maiores que 2013 (campo 22 da linha 41 do arquivo txt) deve-se seguir a regra de negócio:

Regra de negócio:

• Na linha 41, no campo 22, substituir o registro 2 por 1

1. Categoria 4

Descrição do erro: A opção "6 - Não dispõe de informação" no campo Cor/Raça não pode ser informada para alunos com ano de ingresso maior ou igual a 2014 (campo 11 da linha 42 do arquivo txt). ”

Regra de negócio:

• Na linha 41, no campo 7, substituir o registro 6 por 0

1. Categoria 6

Descrição do erro: Campo UF “UF com código desconhecido” o código invalido se faz necessário limpar os campos UF e Município (campo 09 e 10 da linha 41 do arquivo txt).

Regra de negócio:

• Na linha 41, no campo 09 e 10, apagar a informação e deixar o campo em branco (null).

1. Categoria 7

Descrição do erro: Campo Município “Município com código desconhecido” o código invalido se faz necessário limpar os campos Município e UF (campo 09 e 10 da linha 41 do arquivo txt). ”

Regra de negócio:

• Na linha 41, no campo 09 e 10, apagar a informação e deixar o campo em branco (null).

1. Fluxo e Pastas

Para um melhor aproveitamento e clareza no processo, é definido as pastas que devem ser disponibilizadas os arquivos, e os erros que retornem do Inep. Juntamente com um fluxograma que define um processo mais ágil e seguro para o Censo do ano.

...