Fábio José de Moraes , excelente iniciativa e dimensionamento para particionamento inicial ! Dentro do que estamos trabalhando e casos reais, esta e a ordem de grandeza e cálculos e estudo reais e compartiho aqui.
Uso de 30 partições por tópico melhores praticas.
Usuários Esse é um bom número porque
(a) é alto o suficiente para atender a alguns requisitos realmente de alto rendimento,
(b) é baixo o suficiente para que você não atinja o limite tão cedo quanto quantas suportar,mesmo se você cria muitos tópicos em seu cluster Kafka
(c) é um número altamente composto, pois é igualmente divisível por 1, 2, 3, 5, 6, 10, 15 e 30.
Isso beneficia a camada de processamento porque resulta em em uma distribuição de carga de trabalho mais uniforme entre instâncias de aplicativos ao expandir horizontalmente (adicionar instâncias de aplicativos) e expandir (remover instâncias).
Uma partição "quente" pode carregar 10 vezes o peso de outra partição no mesmo tópico.
For further actions, you may consider blocking this person and/or reporting abuse
We're a place where coders share, stay up-to-date and grow their careers.
Fábio José de Moraes , excelente iniciativa e dimensionamento para particionamento inicial ! Dentro do que estamos trabalhando e casos reais, esta e a ordem de grandeza e cálculos e estudo reais e compartiho aqui.
Uso de 30 partições por tópico melhores praticas.
Usuários Esse é um bom número porque
(a) é alto o suficiente para atender a alguns requisitos realmente de alto rendimento,
(b) é baixo o suficiente para que você não atinja o limite tão cedo quanto quantas suportar,mesmo se você cria muitos tópicos em seu cluster Kafka
(c) é um número altamente composto, pois é igualmente divisível por 1, 2, 3, 5, 6, 10, 15 e 30.
Isso beneficia a camada de processamento porque resulta em em uma distribuição de carga de trabalho mais uniforme entre instâncias de aplicativos ao expandir horizontalmente (adicionar instâncias de aplicativos) e expandir (remover instâncias).
Uma partição "quente" pode carregar 10 vezes o peso de outra partição no mesmo tópico.