David, Sim, MapReduce destina-se a operar em uma grande quantidade de dados. E a idéia é que, em geral, o mapa e as funções de redução não devem se preocupar com quantos mapeadores ou quantos redutores existem, essa é apenas a otimização. Se você pensar cuidadosamente sobre o algoritmo que eu postei, você pode ver que não importa qual mapeador obtém que partes dos dados. Cada registro de entrada estará disponível para cada operação de redução que precisar dele. Ndash Joe K Sep 18 12 at 22:30 No melhor de minha compreensão média móvel não é muito bem mapeia para MapReduce paradigma desde seu cálculo é essencialmente deslizando janela sobre dados classificados, enquanto MR é o processamento de intervalos não intersected de dados classificados. A solução que vejo é a seguinte: a) Para implementar particionador personalizado para ser capaz de fazer duas partições diferentes em duas execuções. Em cada corrida, seus redutores obterão diferentes faixas de dados e calcularão a média móvel quando apropriado. Eu tentarei ilustrar: Na primeira execução, os dados para os redutores devem ser: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . Aqui você vai cacluate média móvel para alguns Qs. Na próxima execução seus redutores devem obter dados como: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 E caclulate o resto de médias móveis. Então você precisará agregar resultados. Ideia de particionador personalizado que terá dois modos de operação - cada vez dividindo em intervalos iguais, mas com algum deslocamento. Em um pseudocódigo ele ficará assim. Partição (keySHIFT) / (MAXKEY / numOfPartitions) onde: SHIFT será retirado da configuração. MAXKEY valor máximo da chave. Eu suponho para a simplicidade que começam com zero. RecordReader, IMHO não é uma solução, uma vez que é limitado a divisão específica e não pode deslizar sobre divide limites. Outra solução seria implementar lógica personalizada de dividir dados de entrada (é parte do InputFormat). Pode ser feito para fazer 2 slides diferentes, semelhante ao particionamento. Ao calcular uma média móvel em execução, colocando a média no período de tempo médio faz sentido No exemplo anterior, calculamos a média dos primeiros 3 períodos de tempo e colocá-lo próximo a Período 3. Poderíamos ter colocado a média no meio do intervalo de tempo de três períodos, ou seja, próximo ao período 2. Isso funciona bem com períodos de tempo ímpar, mas não tão bom para mesmo períodos de tempo. Então, onde colocamos a primeira média móvel quando M 4 Tecnicamente, a Média Móvel cairá em t 2,5, 3,5. Para evitar esse problema, suavizamos as MAs usando M 2. Assim, suavizamos os valores suavizados Se formos uma média de um número par de termos, precisamos suavizar os valores suavizados A tabela a seguir mostra os resultados usando M 4.Movendo médias Se essas informações forem Traçado em um gráfico, ele se parece com isto: Isso mostra que há uma grande variação no número de visitantes, dependendo da época. Há muito menos no outono e inverno do que primavera e verão. No entanto, se quiséssemos ver uma tendência no número de visitantes, poderíamos calcular uma média móvel de 4 pontos. Fazemos isso encontrando o número médio de visitantes nos quatro trimestres de 2005: Então encontramos o número médio de visitantes nos últimos três trimestres de 2005 e primeiro trimestre de 2006: Então os dois últimos trimestres de 2005 e os dois primeiros trimestres de 2005 De 2006: Observe que a última média que podemos encontrar é para os dois últimos trimestres de 2006 e os dois primeiros trimestres de 2007. Traçamos as médias móveis em um gráfico, certificando-se de que cada média é plotada no centro dos quatro trimestres Ele abrange: Podemos agora ver que há uma tendência muito ligeira para baixo em visitors.4 médias de movimento pontual e média móvel centrada Meu cérebro está realmente falhando comigo hoje - oh querida. 001unsure: Estou fazendo um documento de prática de simulação de unidade 7 e há uma pergunta me pedindo para calcular a tendência de vendas nos últimos 3 anos usando médias móveis. Eu sou dado valor de 3 anos de números de vendas, cada divisão em 4 trimestres. Meu livro de estudo só detalha 3 médias de movimento de ponto, mas felizmente eu já estudei 4 médias de ponto móveis em nível de Tecnologia - eu só quero esclarecer que o que eu estou fazendo é correto. O modelo que me é dado mostra os números de vendas em uma coluna, em seguida, uma coluna de média móvel de 4 períodos e uma coluna final para média móvel centrada. Então o que estou fazendo é levar o total do ano 1 (todos os 4 trimestres) e dividir por 4 - essa média vai entre 1 Q2 e Q3, então eu continuo fazendo esse cálculo, mas movendo para baixo esta coluna ou seja, o próximo cálculo é o ano 1 Q1, Q2 e Q3 mais yr 2 Q1 dividido por 4 e isto vai entre yr 1 Q3 e Q4 etc. Então na coluna de média móvel centrada, I somado as 2 médias e divide por 2 e ponha a figura contra yr 1 Q3 e Continue na coluna assim. Este som rightMethod de Moving Averages Comments are off Suponha que existem períodos de tempo denotado por e os valores correspondentes da variável são. Em primeiro lugar temos de decidir o período das médias móveis. Para séries temporais curtas, usamos período de 3 ou 4 valores. Para séries longas, o período pode ser 7, 10 ou mais. Para séries de tempo trimestrais, sempre calculamos médias tomando 4 quartos de cada vez. Nas séries mensais, são calculadas médias móveis de 12 meses. Suponha que a série de tempo dada seja em anos e nós decidimos calcular a média móvel de 3 anos. As médias móveis denotadas são calculadas como abaixo:
No comments:
Post a Comment