Sistemas de Medição de Desempenho

VI SEMEAD Ensaio

M.Q.I.

Sistemas de Medição de Desempenho: uma análise e proposição de um roteiro para sistematização do processo de definição de requisitos

Thiago Buosi

Mestrando - Departamento de Engenharia de Produção - Escola de Engenharia de São Carlos - Universidade de São Paulo - e-mail: [e-mail]

Sistemas de Medição de Desempenho: uma análise e proposição de um roteiro para sistematização do processo de definição de requisitos

A medição do desempenho organizacional é de grande importância, muitas vezes essencial, para as empresas atualmente. As vantagens para as empresas são diversas. Para que a medição do desempenho organizacional seja executada muitas vezes o suporte tecnológico de um sistema de informação se torna essencial, pela quantidade de informação envolvida, agilidade, confiabilidade, entre outros fatores. Porém a atividade de definição de requisitos, no desenvolvimento de um sistema desse tipo muitas vezes é uma tarefa complexa e as taxas de falhas nesse processo em geral são altas. Nesse artigo são analisadas algumas causas, pontos cuja consideração é importante e proposto, com base em vasta literatura consultada, um roteiro geral e requisitos gerais a serem considerados no processo de definição de requisitos de Sistemas de Medição de Desempenho.

1. Introdução

A medição e avaliação do desempenho são muito importantes para diagnosticar e também compreender as causas de problemas relacionados ao desempenho tanto de processos (de fabricação, de negócios, de criação e de decisão, por exemplo) mais simples como de sistemas, mais complexos, como as organizações.

O processo da medida de desempenho compreende, primariamente, a obtenção de informações qualitativas e quantitativas sobre o objeto em questão (seja um processo, uma empresa ou mesmo um conjunto ou relacionamento de empresas) julgadas, de acordo com determinadas pressuposições ou princípios (objetivos, estratégia ou outros), como essenciais para monitoramento da performance. De uma forma geral, num contexto empresarial, a medição de desempenho pode ser definida como o processo de quantificar a eficiência e a eficácia das atividades de um negócio por meio de métricas ou indicadores de desempenho.

Neely (1998) afirma que medição de desempenho em si não melhora o desempenho, mas traz alguns efeitos benéficos para as organizações já que: as prioridades são comunicadas; resultados medidos são também freqüentemente relacionados a recompensas; e medição torna o progresso explícito. Como colocado por Neely, Gregory & Platts (1995), “...medição de desempenho pode ser o processo de quantificação mas seu efeito é estimular ação...”.

2. A importância da Medição de Desempenho Organizacional

O assunto Medição de Desempenho tem assumido grande importância nos últimos anos. Uma expressão da importância desse assunto nos últimos anos é o aumento na produção científica.

De acordo com Neely (1999) entre 1994 e 1996 foram publicados 3.915 artigos nessa área. Em 1996 novos livros sobre o assunto apareceram a uma taxa de um a cada duas semanas, somente nos Estados Unidos. Ainda outros fatores como o aumento do número de congressos e o surgimento de fundos de investimento apoiando essa prática refletem a importância do assunto nos últimos anos. É importante citar também o surgimento e o aperfeiçoamento de metodologias com abordagens mais completas e estruturadas para a medição e também avaliação do desempenho, num escopo organizacional.

Ainda outra evidência da importância da medição é o aumento da importância das medidas não-financeiras, que têm sido mais evidenciadas em decisões e relatórios e o estabelecimento e fortalecimento da linguagem da medição de desempenho organizacional (NEELY, 1999).

As causas para o aumento da importância e da prática da medição de desempenho organizacional, já dando mais relevância às medidas não-financeiras, são diversas. Neely (1999), afirma que há 7 razões fundamentais para isso, conforme segue:

• a diminuição da contribuição da mão de obra direta no custo do produto;

• aumento da competição;

• iniciativas e programas de melhoria como Gestão pela Qualidade Total , filosofia do Just-in-time , entre outras;

• prêmios da qualidade;

• mudança na estrutura organizacional e maior importância da área de recursos humanos;

• aumento das demandas externas por parte de organismos reguladores e agências não governamentais;

• o desenvolvimento da tecnologia de informação.

Kaydos apud Bond (2002) cita como metas da medição do desempenho:

• Comunicar estratégia;

• Esclarecer valores;

• Diagnosticar problemas;

• Entender processos;

• Definir responsabilidades;

• Envolver as pessoas;

• Fazer parte ativa da remuneração funcional;

• Melhorar o controle e o planejamento;

• Identificar ações de melhoria;

• Mudar comportamentos;

• Tornar possível a visualização de resultados;

• Facilitar a delegação de responsabilidades.

É interessante sublinhar também que o uso dos indicadores de desempenho como um elemento estratégico é recente. As empresas vêm tomando medidas há muitos anos de processos relacionados a qualidade, eficiência, produtividade, custo, mas só mais recentemente abordagens mais modernas vem sendo desenvolvidas e discutidas buscando-se determinar metodologias auxiliando os gestores nas decisões de o que medir e como lidar com os indicadores de desempenho de forma mais estratégica.

3. A medição do desempenho organizacional visto como um processo

O processo de medição de desempenho organizacional pode ser definido como o processo pelo qual a organização gerencia sua performance de forma alinhada às suas estratégias corporativa e funcional e seus objetivos (BITITCI, CARRIE & McDEVITT, 1997). A figura a seguir ilustra o processo.

Figura 1: O processo de medição do desempenho. Adaptado de Bititci, Carrie & McDevitt, 1997

O objetivo desse processo é o de prover um sistema de controle pró-ativo, em que as estratégias corporativa e funcional são desdobradas para todos os processos de negócios, atividades, tarefas e pessoas, e obtido feedback através de um sistema de medição de desempenho que possibilite aos administradores tomarem decisões apoiados em informações adequadas (BITITCI, CARRIE & McDEVITT, 1997)

4. O Conceito de Sistema de Medição de Desempenho

Os Sistemas de Medição do Desempenho são importantíssimos para os gestores no processo de implementação de estratégias e melhorias em geral, pelo feedback dos resultados que o sistema pode fornecer, e por diversas outras razões. A quantidade de informação relevante e a necessidade de agilidade são fatores que exigem, muitas vezes, que se utilize um sistema informatizado viabilizar a medição em empresas.

O Sistema de Medição de Desempenho (SMD) pode ser visto como o sistema de informação que possibilita que o processo de medição de desempenho seja implementado com eficiência e eficácia (BITITCI, CARRIE & McDEVITT, 1997).

Em muitos casos, pela falta de um enfoque estratégico, práticas baseadas em concepções ultrapassadas, deficiências no desdobramento de dimensões e indicadores, além de sistemas de informação configurados de forma inadequada, a medição do desempenho não tem auxiliado às empresas em toda sua potencialidade.

De forma geral o processo de desenvolvimento de SMDs é complexo devido a sua natureza multi-dimensional (NEELY, MILLS, PLATTS, GREGORY & RICHARDS, 1996). Nesse processo os administradores precisam resolver assuntos como conflitos entre métricas, equilíbrio apropriado entre medidas internas e externas, ligação entre medidas e estratégia, entre outros. As taxas de falhas nesse processo, analogamente às taxas de falhas em processos de desenvolvimento e implantação de outros tipos de sistemas de informação são altas.

5. Estrutura dos Sistemas de Medição de Desempenho

McGee & Pruzak (1995) salientam que a questão da infra-estrutura para coletar, filtrar, analisar e propagar a informação é um dos principais pontos a ser considerado no processo de desenvolvimento de um Sistema de Medição do Desempenho (SMD). Salientam também a necessidade de se apresentar a informação de desempenho junto ao contexto em que está inserida, ou seja, juntamente a informações relevantes (plano de ação empregado para melhorar o desempenho, quais ações foram tomadas anteriormente, quais os resultados que eram esperados), facilitando a interpretação das informações.

No processo de desenvolvimento de um SMD, principalmente em situações de maior complexidade, muitas vezes é importante respeitar determinados limites teóricos e definir hipóteses adequadamente por exemplo para determinar a aderência dos indicadores adotados ao que se deseja medir, a confiabilidade das medidas, as interações entre indicadores, entre outras. Para isso é importante adotar-se ferramentas estatísticas e muitas vezes também ferramentas de modelagem de processos e simulação.

Os sistemas de medição do desempenho geralmente são formados por alguns elementos-chave (WAGGONER, NEELY & KENNERLEY, 1999):

a) Um conjunto de procedimentos para coleta e processamento de dados;

b) Timetables e protocolos para a distribuição sobre performance para usuários dentro e fora da organização;

c) Um mecanismo de aprendizado organizacional para identificar ações a serem tomadas para futuras melhorias;

d) Um processo de revisão que assegure a performance do sistema e adaptações regulares.

Pode-se pensar, conceitualmente, no Sistema de Medição do Desempenho como uma metodologia e um conjunto de procedimentos (independente dos meios para se realizar esses procedimentos) mas é importante salientar a necessidade de suporte computacional nessa atividade, tornando a prática mais dinâmica, mais eficiente. Assim, pode-se introduzir o conceito de Sistema Informatizado de Suporte à Medição do Desempenho ou Sistema de Informação de Medição de Desempenho (SIMD). Usualmente os conceitos de SMD e SIMD são usados como sinônimos.

6. Principais questões a serem avaliadas na definição de um Sistema de Medição de Desempenho

6.1. Questões organizacionais

As características organizacionais como um todo devem ser ponderadas na definição de um SMD, buscando-se evitar futuros problemas de adequação entre sistema e organização. De acordo com Spinola apud Kiyan (2001) as características particulares das organizações determinam a forma como é feita a análise de informações na organização e, assim, o próprio sistema.

Assim, informações relativas à estrutura hierárquica e departamental ou funcional podem ser muito relevantes nessa fase. Questões do tipo quais profissionais poderão ter acesso a quais informações, quais bases de dados devem estar integradas (ligadas ao sistema), que tipo de informações externas (sobre clientes, fornecedores ou competidores) serão relevantes, qual a metodologia ou política, em geral, que a empresa vai adotar, qual o capital disponível para se investir no sistema, em treinamento, etc, entre diversas outras questões.

6.2. Questões tecnológicas

Existem ainda diversas outras questões, relativas a tecnologia da informação, a serem consideradas durante o processo de definição de um SMD. Este deverá se adequar também aos outros sistemas de informação utilizados pela empresa.

Em geral as empresas podem utilizar os seguintes tipos de sistemas:

• Sistemas transacionais: por exemplo os sistemas MRP (Manufacturing Requirements Planning), ERP (Enterprise Resources Planning), sistemas legados, etc;

• Sistemas de análise diversos: nesse grupo pode-se enquadrar os sistemas do tipo Sistema de Informação Gerencial (SIG), Sistema de Informação Executiva (SIE), Sistemas Especialistas (SE), Sistemas de Apoio à Decisão (SAD);

• Outros sistemas: por exemplo podemos citar softwares utilizados para simulação, e-mail, controle de projetos, folha de pagamento, e diversos outros.

Como pode ser necessário que o SMD interaja com esses sistemas, é importante que, no momento em que se define as características (ou requisitos) de um SMD seja feita uma análise de quais dos sistemas anteriores (ou ainda outros tipos de sistemas de informação ou softwares) a empresa utiliza, que tipo de interações podem ser necessárias entre o SMD e estes, que adaptações poderão ser necessárias, que problemas de compatibilidade podem surgir, enfim, qual a arquitetura de dados mais adequada, entre diversos outros aspectos.

7. Problema de pesquisa

A partir do que foi apresentado nos itens anteriores, surgem os seguintes questionamentos:

• Que atividades ou fases, durante o processo de definição de características ou requisitos de um SMD, são comuns, ou seja, existem independentemente da natureza da organização, da sua estrutura, de sua cultura organizacional?

• Como definir um roteiro estruturado para esse processo?

• Quais são os requisitos mais comuns cuja consideração é importante nesse processo?

Essas questões foram julgadas como relevantes, tendo em vista a complexidade do processo de medição de desempenho, e conseqüentemente da tarefa de definição de requisitos de um SMD. Dessa forma, a proposição de um roteiro e a listagem dos requisitos ou características mais comuns a serem pensadas em um SMD são uma importante contribuição na tarefa de definição do SMD.

8. Metodologia e Limitações

Neste trabalho é proposto um macro roteiro e também uma listagem de requisitos gerais cuja consideração são relevantes no processo de definição de requisitos de um SMD.

Este roteiro e esta listagem foram desenvolvidos a partir de um levantamento bibliográfico sobre medição de desempenho e sobre tecnologia da informação. Eles ainda não foram validados em nenhum estudo de caso. Dessa forma, configuram-se por hora apenas como uma proposta para trabalhos futuros.

A seguir são apresentados o roteiro e a listagem e seus fundamentos.

9. Macro roteiro para definição de requisitos de Sistema de Medição de Desempenho

Assim, considerando o que foi visto na literatura, principalmente sobre medição de desempenho, tecnologia da informação na gestão empresarial e engenharia de requisitos, propõe-se a seguinte estrutura:

Figura 2. Roteiro geral de definição de critérios de Sistema de Medição de Desempenho

Nesta figura representa-se, de forma geral, o processo de definição de requisitos de um SMD, em que tem-se como principais imputs as entradas à direita (informações sobre os sistemas já utilizados, informações da literatura e aspectos relevantes da cultura e estrutura organizacional), e principais fases as tarefas de elicitação, análise e negociação, revisão e integração e validação e formalização dos requisitos.

De acordo com McGee & Pruzak (1995) as empresas coletam, processam e distribuem a informação de formas diversas. Assim, como este roteiro se refere a um sistema de informação, é importante que esse roteiro seja genérico pois as empresas apresentam particularidades e contextos diversos, e o modelo, em sua proposta, deve contemplar essas diferenças.

10. Listagem de requisitos relevantes na definição de Sistema de Medição de Desempenho

Apesar das diversidades que as empresas apresentam em termos de estrutura, tecnologia, cultura organizacional, entre diversos outros fatores, pode-se pensar em alguns requisitos de SMD que são bem gerais.

Assim, listou-se, a partindo-se da análise da literatura e desdobramentos desta, alguns requisitos cuja análise geralmente é importante em qualquer contexto em que queira-se definir um SMD em uma empresa.

Esses requisitos referem-se a características ou funções específica do SMD. Requisitos ligados à qualidade de software, manutenção, etc, não foram incluídos. Os requisitos são apresentados a seguir, divididos em quatro grupos, de acordo com os elementos-chave dos SMD (WAGGONER, NEELY & KENNERLEY, 1999): mecanismos de coleta e análise, mecanismo de comunicação, de mecanismo de aprendizado e mecanismo de revisão.

Mecanismo de Coleta e Análise Requisito Definição

1 Integração de dados Integração de bases de dados locais Abrangência do sistema em termos de bases de dados passíveis de serem consultadas, formatos de dados e a forma como essa consulta é configurada

2 Integração com informações externas Fontes externas (por exemplo internet, fornecedores, concorrentes) passíveis de serem consultadas e a forma como essa consulta é configurada

3 Interação com sistemas transacionais Possibilidades de Interação do sistema com outros tipos de sistemas (ERP, MRP, e-mail, etc) e como essa interação é feita

4 Interação com outros sistemas ou softwares Possibilidades de interação com outros softwares (por exemplo de estatística, simulação ou outros sistemas de apoio à decisão já utilizados pela empresa)

5 Aquisição da informação Guias de informação Presença de guias on-line, help ou outros recursos com explicações sobre o funcionamento do sistema

6 Roteiro da informação Para cada tipo de dados e para as (possíveis) diferentes bases de dados e sistemas transacionais, a definição do procedimento para ter acesso a informações históricas sobre os indicadores de desempenho.

7 Acesso à informação De acordo com nível hierárquico dos usuários, função ou outras características, o grau de acesso às informações

8 Obtenção da informação No sistema em questão como a informação é obtida para os diferentes perfis de usuários. No caso de o sistema utilizar diagrama do tipo estrela, como a construção do diagrama, a configuração de indicadores e o acesso à informação é feito

9 Estrutura conceitual Definição do processo de medição de desempenho Especificação de forma geral da política adotada pela empresa para a realização do processo de medição do desempenho (forma como são definidos os indicadores, os responsáveis, periodicidades de revisão, ações a serem tomadas, etc)

10 Estruturação dos indicadores de desempenho Especificação de como os indicadores são estruturados, relacionados a outros elementos (por exemplo desdobramentos da estratégia da empresa) e, enfim, selecionados para serem monitorados, possibilidade de suportar metodologias específicas (como o Balanced Scorecard) e ferramentas para isso

11 Definição de indicadores de desempenho Explicação clara de qual o significado e representatividade do indicador, possibilidade de rastreamento (localização da área ou processo ao qual ele se refere, responsáveis, etc) de cada indicador

12 Escala dos indicadores de desempenho Escala ou unidade do indicador de desempenho (exemplo: dólares, toneladas, porcentagem, etc) para, no caso de agregação/desagragação de indicadores, ser mantida a coerência escalar

13 Níveis de aceitação dos indicadores de desempenho Determinação de quais são os intervalos de valores dos indicadores selecionados em que ações são requeridas (valores máximos, mínimos, etc)

14 Ações a serem tomadas De acordo com os níveis de aceitação dos indicadores, a relação de ações exigidas

15 Responsabilidade pelos indicadores de desempenho De acordo com os níveis de aceitação dos indicadores e as ações a serem tomadas, a relação de responsáveis (pessoas, departamentos, unidades) por elas

16 Agrupamento de indicadores de desempenho Possibilidade de agrupamento de indicadores de desempenho de acordo com sua natureza, unidade, departamento, status de estratégico, tático ou operacional, ou outras características

17 Conflitos entre indicadores de desempenho Possibilidade de identificar a existência de 2 ou mais indicadores de desempenho selecionados para serem monitorados que são, por exemplo, inversamente proporcionais. O incentivo ao aumento de um acarretará necessariamente a diminuição de outro

18 Redundância ou repetição de indicadores Possibilidade de identificar indicadores de desempenho escolhidos para serem monitorados que sejam múltiplos, tenham o mesmo significado ou algum outro tipo de redundância

19 Ligação dos indicadores com sistema de recompensa Relacionamento do histõrico de valores dos indicadores de desempenho monitorados à recompensa (bônus, etc) de determinados funcionários e como a configuração dessa ligação é feita com controle de folha de pagamento, por exemplo

20 Análise Análise gráfica de informações Ferramentas gráficas para visualização dos indicadores de desempenho

21 Análise matemática de informações Ferramentas matemáticas para análise dos indicadores de desempenho e seus valores passados, incluindo ferramenta OLAP

22 Simulação com informações Ferramentas de simulação para análise das informações, realização de projeções, etc

Mecanismo de Comunicação Requisito Definição

23 Painel Visualização dos indicadores de desempenho Forma de visualização dos indicadores de desempenho selecionados, como são apresentadas suas unidades, definições, etc

24 Visualização dos status dos indicadores de desempenho Como os valores atuais dos indicadores de desempenho selecionados para serem monitorados são visualizados no sistema pelo usuário

25 Configuração/customização do painel Que elementos do painel (tela principal) são customizáveis pelo usuário (disposição de ferramentas, de informações na tela, etc)

26 Mensagens Configuração das situações de alerta De acordo com os níveis de aceitação dos indicadores de desempenho, quais são os procedimentos configuráveis (mensagem aos responsáveis, datas, etc)

27 Agendamento de ações a serem tomadas De acordo com os níveis de aceitação dos indicadores de desempenho, como são programadas ações a serem tomadas pelos responsáveis

28 Registro de ações tomadas Possibilidade de as ações tomadas pelos responsáveis serem registradas

29 Feedback Configuração do feedback dos responsáveis Como as respostas dos responsáveis para executivos são configuradas

30 Acompanhamento de ações a serem tomadas De que forma as ações tomadas pelos responsáveis podem ser acompanhadas pelos executivos, existência de um cronograma onde o status das ações e resultados são registrados pelos responsáveis para serem monitorados

Mecanismo de Aprendizado Requisito Definição

31 Históricos Histórico de informações sobre feedback, responsáveis e ações tomadas Organização das informações sobre feedback, responsáveis e ações tomadas passadas e possibilidade de acesso a elas, quais os perfis de funcionários para acessá-las e como esse controle é feito

32 Lessons Learned Registro de lessons learned Para ações tomadas e outros eventos ligados ao acompanhamento dos indicadores, como são registrados os lessons learned, ou seja, aprendizado sobre eventos ou experiências importantes para a organização, cujas informações podem ser interessantes para a empresa no futuro

Mecanismo de Revisão Requisito Definição

33 Históricos Histórico de configurações antigas Armazenamento pelo sistema de configurações anteriores de: indicadores selecionados, respectivos responsáveis, respectivos níveis de aceitação, configurações de painel, configurações de situações de alerta, etc

34 Histórico sobre usuários Armazenamento pelo sistema de informações históricas sobre usuários e níveis de acesso, indicadores pelos quais foram responsáveis, ações tomadas, etc

35 Reestrutura-ção Agendamento de revisões Agendamento (automático ou não) de revisão, convocação de responsáveis para reuniões para rearranjo do conjunto de indicadores selecionados, responsáveis, etc, de acordo com processo de medição pré-definido (requisito 9)

36 Agendamento automático de revisões Determinação de eventos no sistema, datas ou situações em que agendamento de revisões são feitos automaticamente (requisito 35)

37 Efetivação da revisão Na revisão do sistema são feitas atualizações de acordo com a forma que o processo de medição está definido (requisito 9) e os indicadores são definidos (requisito 10)

38 Reestruturação do processo de medição de desempenho A reestruturação no processo de medição de desempenho pode exigir modificações mais profundas do que as modificações feitas em uma revisão: essa reestruturação pode exigir mudanças na forma como os indicadores são selecionados, na forma como os responsáveis são definidos, enfim, pode exigir a reconfiguração de diversos parâmetros no sistema

Tabela 1: Requisitos gerais dos Sistemas de Medição de Desempenho

11. Conclusão

A medição do desempenho organizacional é de grande importância, muitas vezes essencial, para as empresas atualmente. As vantagens para as empresas são diversas.

Para que a medição do desempenho organizacional seja executada muitas vezes o suporte tecnológico de um sistema de informação se torna essencial, pela quantidade de informação envolvida, agilidade, confiabilidade, entre outros fatores.

A definição de como esse sistema deve ser, porém, muitas vezes é uma tarefa complexa. A adequação ao contexto organizacional – estrutura, cultura, hierarquia – e à tecnologia de informação utilizada pela empresa para outras funções (ERPs, MRPs, SADs, EIS e os diversos outros sistemas) muitas vezes é complicada e a taxa de falhas nessa fase é grande.

Assim, neste artigo apresentou-se uma macro-estrutura ou um roteiro geral para o processo de definição de requisitos de SMD e apresentou-se também uma listagem de requisitos. Tanto este roteiro quanto esta listagem foram gerados a partir do estudo da literatura e desdobramentos desta. Estes, por hora, não foram validados em estudos de caso ou outras situações práticas, por isso são uma contribuição para o estudo da medição de desempenho organizacional e o processo de definição de critérios para o desenvolvimento de Sistemas de Medição de Desempenho, e uma proposta para que trabalhos futuros sejam realizados neste campo.

BIBLIOGRAFIA

BITITCI, U. S.; CARRIE, A. S.; MCDEVITT, L. Integrated performance measurement systems. International Journal of Operations & Production Management. v 17. n. 5. p. 522-534. 1997

BOND, E. Medição de Desempenho para um cenário de empresas de uma cadeia de suprimentos integrada por sistemas de gestão. São Carlos. 102 p. Exame de Qualificação (Mestrado) - Escola de Engenharia de São Carlos, Universidade de São Paulo, 2002

KIYAN, F. M. Proposta Para Desenvolvimento de Indicadores de Desempenho como Suporte Estratégico. São Carlos. 108p. Dissertação (Mestrado) - Escola de Engenharia de São Carlos, Universidade de São Paulo, 2001

McGEE, J.; PRUSAK, L. Gerenciamento Estratégico da Informação. Rio de Janeiro, Editora Campus, 1995

NEELY, A. Measuring business performance. Londres: The Economist books, 1998.

NEELY, A. The performance measurement revolution: why now and what next? International Journal of Operations and Production Management, v. 19, n. 2, p. 205-228, 1999.

NEELY, A. ; GREGORY, M. PLATTS, K. Performance measurement system design. A literature review and research agenda. International Journal of Operations and Production Management, v. 15, n. 4, p. 80-116, 1995

NEELY, A.; MILLS, J.; PLATTS, K.; GREGORY, M.; RICHARDS, H. Performance Measurement System Design: Should process based approaches be adopted? International Journal of Production Economics, n. 46-47, p.423-431, 1996

WAGGONER, D.B.; NEELY, A.D.; KENNERLEY, M.P. The forces that Shape Organizational Performance Measurement Systems: An Interdisciplinary Review. International Journal of Production Economics, n. 60-61, p.53-60, 1999.