Fabiane-Bizinella-Nardon

Fabiane Bizinella Nardon

CTO | Tail

Cientista da computação com longa experiência em sistemas de grande porte, com um grande volume de dados. Ela liderou várias comunidades, incluindo a JavaTools Community no java.net, onde mais de 800 projetos open source foram criados. É palestrante frequente em conferências no Brasil e no exterior, incluindo JavaOne, OSCON, JFokus, DockerCon, JustJava, QCon e outros. É autora de diversos artigos técnicos e fez parte do comitê de programa de conferências como JavaOne, OSCON, TDC e QCon. Foi escolhida Java Champion pela Sun Microsystems como reconhecimento de sua contribuição para o ecossistema Java. Atualmente é CTO da Tail, onde lidera a construção de novas soluções baseadas em Data Science.

Palestra: Como otimizar pipelines em Apache Spark

Apache Spark é provavelmente o framework de processamento distribuído mais utilizado hoje. No entanto, dependendo da estratégia escolhida para criar os seus pipelines, o tempo de processamento pode crescer exponenencialmente, usando mais recursos e consequentemente aumentando o seu custo. Para tornar um pipeline mais rápido e eficiente, é importante conhecer as “entranhas” do Spark e entender como seus processo funcionam. Nessa palestra vamos mostrar uma série de dicas práticas para resolver os problemas mais comuns de performance de pipelines construídos com Apache Spark. Vamos mostrar como entender um plano de execução, como fazer joins mais eficientes, como utilizar um cache intermediário a seu favor e outras técnicas que podem reduzir o tempo de processamento a uma fração do tempo original.