AGENDA

Introdução
  O problema
  Objectivos da Dissertação

Desmistificação do Mercado de Acções

Data Mining e a sua Apl...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação    Aplicação    Trabalho
                                                          Introdução             ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução
                 Mercado Acções             Data Mini...
Desmistificação             Aplicação            Trabalho
Introdução
                 Mercado Acções             Data Mini...
Desmistificação             Aplicação            Trabalho
Introdução
                 Mercado Acções             Data Mini...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação    Aplicação    Trabalho
                                                          Introdução             ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação             Trabalho
Introdução                                                     ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação    Aplicação    Trabalho
                                                          Introdução             ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução
                 Mercado Acções             Data Mini...
Desmistificação             Aplicação            Trabalho
Introdução
                 Mercado Acções             Data Mini...
Desmistificação             Aplicação            Trabalho
Introdução
                 Mercado Acções             Data Mini...
Desmistificação             Aplicação            Trabalho
Introdução
                 Mercado Acções             Data Mini...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação                 Aplicação                  Trabalho
Introdução                                            ...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Desmistificação    Aplicação    Trabalho
                                                          Introdução             ...
Desmistificação             Aplicação            Trabalho
Introdução
                 Mercado Acções             Data Mini...
Desmistificação             Aplicação            Trabalho
Introdução                                                      ...
Analyze Stock Market Behavior Using Data Mining Techniques
Analyze Stock Market Behavior Using Data Mining Techniques
Upcoming SlideShare
Loading in...5
×

Analyze Stock Market Behavior Using Data Mining Techniques

1,427

Published on

"In the current economic environment, the value of information is increasingly important in the habits and customs of each citizen. Prices per barrel of oil, Euribor rates, equity indexes, inflation rate, among others, arrive everyday at our homes through the media. Their study is increasingly important, especially by the need to identify their impact on our daily quotidian.

The application of Data Mining (DM) techniques, in an attempt to predict the movement of the stock market, has never been a very well accepted, mainly by economists and the academic world. It is an area of high complexity, and the fact that it involves money, mean that their research, especially successful, is not made public. However, these techniques exist, and are increasingly used not only in financial markets, but also in practically all other activity sectors.

This dissertation begins by making an approach to the complex world of the stock market, in an attempt to demystify it a little. Subsequently, based on investment rules normally applied by practitioners, it’s presented a model of an artificial neural network, which provides in a daily basis, the decision to buy, hold or sell a particular asset, supported by a decision support system to monitor and analyze the evolution of the made decisions."

Published in: Education, Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,427
On Slideshare
0
From Embeds
0
Number of Embeds
14
Actions
Shares
0
Downloads
0
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Transcript of "Analyze Stock Market Behavior Using Data Mining Techniques"

  1. 1. AGENDA Introdução O problema Objectivos da Dissertação Desmistificação do Mercado de Acções Data Mining e a sua Aplicação no Mercado de Acções Dissertação segundo a Metodologia CRISP-DM Conclusão Abordagem crítica sobre o trabalho Trabalho Futuro 2 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  2. 2. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Problema Objectivos O PROBLEMA...  Prever é uma tarefa dificil, até porque o futuro nunca será exactamente igual ao passado [Taleb ‘07]  É uma área que por envolver dinheiro, os seus estudos bem sucedidos são mantidos em sigilo  Uma teoria [Fama ’70] defende que não é possível obter retornos anormais através de informação pública disponível (Teoria dos Mercados Eficientes) Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  3. 3. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Problema Objectivos O PROBLEMA...  Os investidores profissionais acreditam que sim, os economistas acreditam que não  Mas os principais bancos de investimento têm departamentos dedicados à implementação de Redes Neuronais Artificiais [McGough ‘92]  Se não for possível realizar previsões sobre o Mercado de Acções, pelo menos que se aprendam com erros passados [Elder ‘07] Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  4. 4. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Problema Objectivos OBJECTIVOS  Descobrir comportamentos e padrões escondidos sobre os dados de uma empresa cotada, através da criação de um modelo preditivo de Data Mining  Criar um Sistema de Apoio à Decisão (SAD) que permita automatizar e disponibilizar os resultados obtidos no trabalho de estudo INDICADOR DE SUCESSO  Estratégia activa resultante da criação do modelo preditivo deverá superar estratégia passiva de compra e venda a longo prazo 5 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  5. 5. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Problema Objectivos VISÃO GERAL DO TRABALHO Transformação Dividir amostra para Preparação Treino e Teste Website Yahoo Cotações Modelo Disponibilização Criação do Teste do dos Sinais Modelo Modelo 1 (Comprar) 0 (Manter) Classificar resultado contínuo previsto pelo modelo -1 (Vender) 6 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  6. 6. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado 7 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  7. 7. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado O Mercado Movimentos Factores O Investidor O MERCADO  Para ajudar no crescimento das empresas através do financiamento resultante da venda parcial das mesmas (Activos)  Estes activos são conhecidos como acções ou títulos, e representam parte de uma empresa  Estes activos podem ser agrupados (índices) para permitir a análise da evolução de um determinado mercado ou sector de actividade. (PSI20, S&P500, DAX…) Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  8. 8. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado O Mercado Movimentos Factores O Investidor O MERCADO  Lugar físico onde são colocadas ordens de compra e venda propostas por compradores e vendedores a um preço que consideram justo  Facilitar a troca de acções/activos/títulos entre os compradores e os vendedores reduzindo o risco de investimento  Comprar um activo a um preço baixo e vender o mesmo a preço alto Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  9. 9. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado O Mercado Movimentos Factores O Investidor O MERCADO Razões Racionais  Ganhar dinheiro pela diferença da compra e posterior venda ou pelos dividendos que as empresas distribuem pelos accionistas Razões Irracionais  Vicío de um jogo  Ganância e ilusão de ficar rico rapidamente  Optimismo generalizado “If you’ve been in the game 30 minutes and you don’t know who the patsy is, you’re the patsy” , Warren Buffett Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  10. 10. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado O Mercado Movimentos Factores O Investidor  Estimativa de crescimento de uma empresa  Indicadores Macroeconómicos (mercado)  Inflação  Taxas euribor  Cotação do barril do petróleo  Índice de confiança dos consumidores  Índice de desemprego  Taxas de cambio  Indicadores Microeconómicos (empresa)  Retorno do investimento  Dividendos distribuídos aos accionistas  Nível de endividamento  Lei da oferta e da procura  Especulação Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  11. 11. Desmistificação Aplicação Trabalho Introdução Mercado Acções Data Mining Realizado Conclusão FACTORES QUE INFLUENCIAM O Mercado Movimentos Factores O Investidor UMA DECISÃO  Caracterizada pela análise da actividade de uma empresa, do sector em que está incluída e da economia em geral.  Empresa é analisada através do relatório de contas disponibilizados periodicamente Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  12. 12. Desmistificação Aplicação Trabalho Introdução Mercado Acções Data Mining Realizado Conclusão FACTORES QUE INFLUENCIAM O Mercado Movimentos Factores O Investidor UMA DECISÃO  Acredita que os gráficos podem ser usados para prever a oferta e procura de um activo e prever o comportamento humano.  Em vez de reagir a um evento, tenta antecipá-lo  Tenta perceber as emoções do mercado, estudando o mercado em vez dos seus componentes Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  13. 13. Desmistificação Aplicação Trabalho Introdução Mercado Acções Data Mining Realizado Conclusão FACTORES QUE INFLUENCIAM O Mercado Movimentos Factores O Investidor UMA DECISÃO  Apesar da evolução exponencial das tecnologias de informação, ainda continua o ser o Homem a tomar decisões de investimento, e que age sobre o impulso da euforia e da ganância, ou pressionado pelo medo  É fácil ser racional quando o mercado de acções está fechado  Decisões tomadas com calma num fim-de-semana desaparecem com a abertura do mercado “O Mercado de Acções tira dinheiro às pessoas que não têm paciência e distribui-o pelas pessoas que a têm”, Warren Buffett Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  14. 14. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado O Mercado Movimentos Factores O Investidor O INVESTIDOR...  É ele que compra e vende activos  É ele que paga as taxas de cada negociação  É ele que compra revistas e jornais da especialidade  É ele que patrocina todas as empresas de consultoria financeira  É ele a peça principal do jogo, mesmo começando em desvantagem Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  15. 15. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado 16 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  16. 16. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Conceito Técnica utilizada DATA MINING  Data mining é o processo de descoberta de novas correlações, padrões e tendências em grandes quantidades de dados, armazenados em repositórios, usando tecnologias de reconhecimento de padrões, bem como técnicas estatísticas e matemáticas. [Gartner]  Data Mining é também conhecido por ser um dos passos da descoberta de conhecimento em base de dados [Fayyad et al ’96] 17 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  17. 17. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Conceito Técnica utilizada DATA MINING • Fidelização de clientes • • Gestão Stocks Detecção de fraudes Operações • • Redes Neuronais Artificiais Árvores de Decisão • Indução de regras • Risco concessão de crédito • Clustering • ... • Classificação • Nearest Neighbour • Previsão • Series Temporais … • Associação • Segmentação Aplicações • ... Técnicas 18 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  18. 18. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Conceito Técnica utilizada REDE NEURONAL ARTIFICIAL  É uma técnica computacional que apresenta um modelo inspirado na estrutura neuronal de organismos inteligentes, e que adquire conhecimento através da experiência. [Fonte: wikipédia]  O algoritmo mais popular em aplicações financeiras é o back-propagation [Werbos ‘74], onde a RNA supervisionada vai ajustando os pesos de modo a minimizar o erro (desvio entre Y e Y’)  Enquanto a arquitectura mais utilizada é a Multi-layer Perceptron (MLP) [Haykin ‘01], onde a RNA é constituída por 3 camadas principais 19 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  19. 19. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Conceito Técnica utilizada REDE NEURONAL ARTIFICIAL Uma propriedade importante de uma Rede Neuronal Artificial é a capacidade para aprender a partir do seu meio ambiente.  Aprendizagem supervisionada Aprende baseando-se em exemplos  Aprendizagem não supervisionada Aprende baseando-se em observações e descobertas 20 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  20. 20. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Conceito Técnica utilizada REDE NEURONAL ARTIFICIAL  A maior parte dos estudos realizados com RNA tenta prever o valor de um índice ou acção num período futuro (valor contínuo)  Outros tentam prever o movimento futuro com o sinal de comprar ou vender (valor alvo binário 0 ou 1) *Chenoweth et al.’96+*Fernando et al.’00+*Yao et al.‘99+*Wood et al. ‘96+  Mais recentemente surgiram estudos que tentam prever o sinal de comprar, vender mas também o de manter *CHA et al.‘00+*Vanstone ‘06+ 21 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  21. 21. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado 22 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  22. 22. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado CRISP-DM  CRISP-DM (CRoss Industry Standard Process for Data Mining) é uma metodologia de desenvolvimento de projectos de Data Mining  É bastante compreensiva e fornece uma visão integrada e delimitada sobre as 6 fases que um projecto de Data Mining deverá seguir 23 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  23. 23. Desmistificação Aplicação Trabalho Introdução Mercado Acções Data Mining Realizado Conclusão COMPREENSÃO Compreensão Preparação Modelação Avaliação Compreensão DOS DADOS  Cotações da Novabase para o período entre 2001-01-01 e 2009-08-21 24 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  24. 24. Desmistificação Aplicação Trabalho Introdução Mercado Acções Data Mining Realizado Conclusão COMPREENSÃO Compreensão Preparação Modelação Avaliação Compreensão DOS DADOS  Média Móvel Simples (MA) e Exponencial (EMA)  Indicador de Força Relativa (RSI) *Wilder ‘78+  Indicador Convergência/Divergência (MACD) *Murphy ‘99+  Indicador Guppy (GMMA) *Guppy ‘04+  Indicador Estocástico (%K/%D) *Edwards et al. ‘48+  Indicador de Mudança Rácio (ROC) 25 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  25. 25. Desmistificação Aplicação Trabalho Introdução Mercado Acções Data Mining Realizado Conclusão PREPARAÇÃO Compreensão Preparação Modelação Avaliação Implementação DOS DADOS  Com base em estudos de [Vanstone ‘06] e [Chong ’07] [Chong ’08], as variáveis seguintes foram as que mostraram maior importância para no modelo criado 26 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  26. 26. Desmistificação Aplicação Trabalho Introdução Mercado Acções Data Mining Realizado Conclusão PREPARAÇÃO Compreensão Preparação Modelação Avaliação Implementação DOS DADOS  O principal objectivo em RNA supervisionadas é o de encontrar o “valor alvo” mais correcto sobre dados históricos  Na criação do “valor alvo” para treino foi seguida a abordagem de *Vanstone ‘06+ , onde o valor alvo é gerado a partir do máximo retorno obtido nos 5 dias posteriores ao dia actual (valor contínuo) 27 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  27. 27. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Compreensão Preparação Modelação Avaliação Implementação MODELAÇÃO 28 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  28. 28. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Compreensão Preparação Modelação Avaliação Implementação MODELAÇÃO  Com objectivo de eliminar “ruído” e tentar identificar apenas o movimento do activo no dia+1, foi aplicado o desvio padrão sobre a média do valor previsto  Para alinhar o resultado do modelo preditivo, com o perfil de risco de um investidor, foram criadas 3 diferentes estratégias activas 29 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  29. 29. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Compreensão Preparação Modelação Avaliação Implementação AVALIAÇÃO  Análise de Rentabilidade – Back-testing  Análise Estatística de Correlação (0,304)  Análise Gráfica de sinais gerados  Análise de Risco (Índice Sharpe + dias em risco) 30 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  30. 30. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Compreensão Preparação Modelação Avaliação Implementação AVALIAÇÃO 31 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  31. 31. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Compreensão Preparação Modelação Avaliação Implementação IMPLEMENTAÇÃO  Uma área de retenção dos dados, para apoiar no processo de ETL  Um Data Mart para exploração da informação de cada activo  Um repositório para Data Mining com os conjuntos de dados de treino e teste do modelo NomeBaseDados: dbStockMarketDSA Agragação/Filtragem/preparação dos Dados para o DataMart NomeBaseDados: dbStockMarketDM NomeBaseDados: dbStockAS TickerQuotes Ticker FactTickerQuotes DimTicker (Cotações) (Índices e Acções) (Fact table) (Dimension Ticker) cubeStockMarket (OLAP cube) Database Database Database Database Table Table Table Table structDM01 Dates Portfólio DimDate (Classification) (Tabela com todas as (Agrupamento (Dimension date) datas) Índices e Acções) Database Database Database Table Table Table Source Systems Staging Area (DSA) DataMart (DM) SSAS (Web Services) 3 Server Server Server 5 6 4 Extract Load Process Transform 32 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  32. 32. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Compreensão Preparação Modelação Avaliação Implementação IMPLEMENTAÇÃO 33 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  33. 33. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado 34 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  34. 34. Desmistificação Aplicação Trabalho Introdução Mercado Acções Data Mining Realizado Conclusão CONSIDERAÇÕES Considerações Trabalho Futuro FINAIS  A ferramenta inicialmente planeada, não estava ainda preparada para uma investigação mais aprofundada  O custo das transacções de compra e venda não foram equacionados por variarem ao longo do tempo e ser normalmente um custo fixo  Foi necessária muita persistência na fase de selecção das variáveis mais importantes 35 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão
  35. 35. Desmistificação Aplicação Trabalho Introdução Conclusão Mercado Acções Data Mining Realizado Considerações Trabalho Futuro TRABALHO FUTURO  Transposição do trabalho realizado para o “mundo real”  Descobrir padrões nos movimentos dos índices mundiais  Analisar a possibilidade de Inside Trading  Generalização do modelo a outros activos 36 Defesa de tese como requisito para obtenção do grau de: Mestre em Sistemas Integrados de Apoio à Decisão

×