Hadoop conquista TI das companhias

O Hadoop, plataforma de código aberto da Apache para análise de dados, está saindo das sombras e conquistando as empresas. Muitas companhias estão sendo atraídas por essa ferramenta pela sua capacidade de armazenar, processar e avaliar grandes volumes de informações. Mas a falta de talentos com habilidade na tecnologia opensource representam desafios técnicos que as equipes de TI precisam lidar.

O Hadoop nasceu a partir do trabalho de Doug Cutting e Cafarella Mike, que originalmente desenvolveram a solução para apoiar o Apache Nutch, um motor de buscas opensource. Tornou-se um projeto Apache quando Cutting e uma equipe de engenheiros do Yahoo dividiram o código de computação para criar o Hadoop.

Hoje, o poder do Hadoop está em cada clique no Yahoo, onde o ambiente de produção da solução abrange mais de 42 mil nós. Esse tipo de escalabilidade é a cereja do bolo da plataforma, que é projetada para lidar com aplicações intensivas de dados distribuídos, abrangendo milhares de nós e exabytes de dados, com um alto grau de tolerância a falhas.

Entre os usuários do mundo online estão eBay, Facebook, LinkedIn, Netflix e Twitter, mas também está presente em empresas de outros setores como finanças, tecnologia, telecomunicações e governo. 

Cada vez mais, companhias de TI estão encontrando um lugar para Hadoop em seus planos de arquitetura de dados. O atrativo, em poucas palavras, é que o Hadoop permite uma computação massivamente paralela em servidores de commodities de baixo custo. As organizações podem coletar mais dados e realizar análises que antes não eram práticas por causa do custo, complexidade e falta de ferramentas.

Na Concurrent Computer, a decisão de usar o Hadoop foi impulsionada em grande parte pela escalabilidade. "Essa era a maior preocupação. Com um banco de dados relacional tradicional, cada vez que você deseja crescer ou escalar, acaba pagando por isso", diz Will Lazzaro, diretor de engenharia da Concurrent, que fornece vídeo on demand e processa diariamente milhares de registros relacionados aos telespectadores, o consumo de conteúdo e as operações da plataforma.

"Quando se trata do trabalho pesado de obtenção de dados do dia anterior em nosso sistema, o Hadoop é a tecnologia oportuna para buscá-los, mesmo que eles sejam estruturados, semi-estruturados ou não estruturados", diz Lazzaro.

Lidando com Big Data
Hadoop permite que as empresas armazenem e processem dados que antes eram rejeitados [arquivos de log, por exemplo] porque era muito difícil o processo e não se encaixava corretamente em esquemas de banco de dados tradicionais. Esse é o ponto crucial do chamado Big Data, diz Matt Aslett, gerente de pesquisa, gerenciamento de dados e análise da 451 Research. "Trata-se de fazer ações com os dados que anteriormente foram jogados fora, permitindo, assim, novas aplicações e projetos."

"Essa abordagem, que permite apenas armazenar os dados e depoisdescobrir o que você quer fazer com ele, é muito mais apropriada para dados não estruturados e semi-estruturados como dados de log da web, mas seria necessário fazer alguns testes", afirma Aslett. "O custo para fazer isso em um data warehouse empresarial seria proibitivo."

A Return Path, empresa certificadora de e-mail, começou a experimentar o Hadoop em 2008, atraído pelo seu enorme potencial de armazenamento e a capacidade de escalar facilmente, adicionando servidores. A companhia recolhe grandes quantidades de dados de Internet Service Providers (ISPs) e os analisa para estabelecer a reputação do remetente de e-mail, identificar problemas de entrega ou monitorar as mensagens potencialmente prejudiciais, por exemplo.

Nos primeiros dias, a assinatura de um novo ISP pode resultar em uma quadruplicação dos dados. Diante desse cenário, a empresa encontrou-se em uma posição em que ela não poderia manter os dados, nem processá-los da forma desejada, lembra o CTO, Andy Sautins. Ao longo dos anos, ele e sua equipe tentaram algumas soluções personalizadas. "Esse trabalho foi bem-sucedido, mas exigiu muito mais tempo e investimento em desenvolvimento de software, que fizeram sentido", diz Sautins.

O Hadoop foi um divisor de águas, observa o executivo. "Ele realmente nos ajudou a ser capazes de resistir à tempestade de reter e processar mais dados."

Saindo da sombra
O Apache Hadoop inclui dois subprojetos principais: o Hadoop Distributed File System (HDFS), que proporciona alto rendimento de acesso a dados, e o Hadoop MapReduce, que é uma estrutura de software para processamento distribuído de grandes conjuntos de dados em clusters de computação. 

A entrada do Hadoop ao mercado como plataforma empresarial lembra a chegada do Linux: implementações foram precedidas de projetos de TI, ou testes antes de adotá-lo em larga escala. A adoção está crescendo em grande parte por meio de desenvolvedores. "É exatamente igual à movimentação do Linux nas empresas”, afirma Aslett.

O surgimento de fornecedores com força comercial orientada ao Hadoop, incluindo ferramentas de suporte, gestão e assistência de configuração - acelerou ainda mais a adoção no âmbito empresarial. Companhias-chave nessa arena são Cloudera, MapR Technologies e Hortonworks, que ajudaram o Yahoo a desenvolver a distribuição do Hadoop. A solução também está na mira de empresas como IBM, Oracle, Microsoft e EMC, ávidos para lucrar com ela.

A Concurrent usa a plataforma Cloudera CDH. "Certamente poderíamos ter a versão opensource sem o apoio Cloudera, mas nós encontramos um parceiro que nos permite expandir a solução e aumentar nossos conhecimentos, e realmente compreender como funciona o sistema", explica Lazzaro.

A Return Path começou a trabalhar com o MapR no ano passado, um movimento que fez para melhorar a estabilidade e o desempenho. "Registramos aumento de dois e meio a três vezes na performance em nossas cargas de trabalho", diz Sautins. "Isso significa que podemos executar tarefas duas vezes mais rápido”, observa.

Encontrando talentos
Hadoop torna mais fácil para processar grandes quantidades de dados, mas desafia as empresas na hora de escolher a tecnologia mais apropriada para lidar com diferentes tipos de dados. "Ainda há muita confusão sobre quais aplicações e cargas de trabalho devem estar no Hadoop contra aquelas que deveriam estar em um tradicional data warehouse”, aponta Aslett. "Infelizmente, neste ponto, não há respostas fáceis."

Outro desafio que surge com o crescimento do Hadoop é encontrar pessoas para trabalhar com a tecnologia. "Há falta de habilidade, e isso é definitivamente um obstáculo em termos de adoção”, argumenta Aslett.

Cloudera, IBM, Hortonworks e MapR estão investindo pesadamente em programas de treinamento para ensinar os profissionais de TI como implementar, configurar e gerenciar os produtos do Hadoop. "Eles estão bem conscientes de que esse é um problema que pode limitar o avanço da solução no mercado”, observa o executivo.

"Atualmente, contratar está difícil", reconhece Omer Trajman, vice-presidente de soluções para clientes da Cloudera. Uma abordagem mais viável é olhar internamente para candidatos maduros para aprender Hadoop, sugere.

Por outro lado, conforme a adoção de Hadoop cresce, o número de profissionais de TI com conhecimentos na solução. “Nos últimos dois anos, toda vez que perguntei a um candidato se ele tinha experiência em Hadoop, geralmente a resposta era ‘hã-quê?’. Com o amadurecimento da tecnologia, esse quadro deverá mudar ", diz Lazzaro.

Sautins, da Return Path, afirma que um profissional que vai trabalhar com a plataforma deve ter conhecimento na área de cluster, interesse em unir ferramentas e verificar como elas funcionam juntas. “É um conjunto de habilidades.”

Hadoop ou sistemas de gestão de base de dados relacional?

O mercado costuma associar o início dos trabalhos com Hadoop à gestão de grandes quantidades de dados, fenômeno que foi batizado de Big Data. A comparação tem sentido: o sistema de armazenamento Hadoop é usado por empresas como Facebook e Yahoo!, usuários intensos de informação. 

O Yahoo! não só foi uma das primeiras empresas a implementar a plataforma, como adotou uma rede de 50 mil nós da tecnologia. O Facebook tem mais de 10 mil nós. Em suma, isso significa que se uma companhia precisa lidar com uma avalanche de dados, o Hadoop pode ser a salvação.

Arun Murthy, vice-presidente da Apache Hadoop e da Apache Software Foundation e arquiteto das Hortonworks [que atua na aceleração da adoção da plataforma], pinta um quadro diferente do Hadoop e seu uso na empresa. Para ele, a utilização da solução vai além das conhecidas até então. Bons exemplos da capacidade de escalabilidiade do Hadoop estão no Yahoo! e no Facebook. No entanto, geralmente, pouco se fala sobre como a plataforma pode ajudar a obter dados analíticos para auxiliar nas tomadas de decisão em empresas de qualquer tamanho.

Todos os dados são iguais
O armazenamento de dados costumava demandar altos investimentos em um passado recente. Há apenas cinco anos, pequenas, médias e grandes empresas descobriram que tinham de preservar e manter a quantidade de um conjunto de dados: e-mails, resultados de pesquisa, vendas, estoque, clientes etc. E tentar lidar com eles baseando-se em um sistemas de gerenciamento de bancos de dados relacionais (RDBMS, na sigla em inglês) era uma proposta onerosa.

Com a chegada de todos esses eventos, organizações que tentavam manter o gerenciamento de dados em dia e a um custo acessível tiveram de passar a colher amostras para criar subconjuntos de dados menores. Essa pequena amostra de dados históricos é automaticamente classificada de acordo com suposições.

Por exemplo, as prioridades dos dados no comércio eletrônico podem ser baseadas na suposição de que os dados do cartão de crédito são mais importantes do que o produto, o que por sua vez, pode ser mais importante do que o click-through [retorno de cliques].

Se a ideia é desenvolver um modelo de negócios baseado em um conjunto de pressupostos, seria difícil extrair informações para tomar decisões. Mas se a informação fornecida for baseada nesses pressupostos, o que aconteceria se eles estivessem errados?

Como foi reduzida a amostra de dados, qualquer cenário de novo negócio teria de usar esses mesmos conjuntos de dados e os originais seriam perdidos para sempre. E, por causa do alto custo de um sistema de armazenamento baseado em RDBMS, muitas vezes, esses dados ficariam isolados na organização. 

O setor de Vendas teria seus próprios dados, o Marketing também e assim por diante. E assim as decisões são limitadas a cada parte da organização e não a todos. Com o Hadoop, não se realiza evidências porque todos os dados conversam entre si

“Esse talvez seja o maior benefício do Hadoop, mas, muitas vezes, permanece escondido atrás da ideia de redução dos custos da tecnologia. A diminuição de amostras obriga adivinhar que parte dos dados será maior e mais importante do que o resto”, diz Murthy. Em Hadoop, todos os dados têm o mesmo valor, completa.

Já que todos os dados são iguais, e também estão disponíveis a qualquer momento, a companhia pode desenvolver cenários de negócios diferentes, sem limitação e sempre utilizando os dados originais. Além disso, os dados que foram previamente isolados agora podem ser acessados e compartilhados para analisar as atividades da organização de forma mais global.

A diferença na percepção de dados é enorme. Uma vez que os dados são armazenados da forma que são, é possível reduzir custos operacionais na gestão de informações associadas com as atividades de transformar e carregar operações.

Não se pode esquecer, no entanto, o benefício mais comentado do Hadoop: a redução de custoo. Isso porque, o framework é baseado em código aberto sob a licença Apache Software sem custos de licenciamento para a base de software.

Quando não usar?
Apesar dos benefícios potenciais da implementação do Hadoop, existem algumas limitações que a organização deve ter em mente antes de saltar para esse universo. Primeiro, se a empresa gera relatórios interativos secundários a partir de seus dados ou os utiliza em operações complexas em várias etapas, uma solução RDBMS ainda pode ser a melhor aposta, uma vez que o Hadoop não é particularmente forte nessas áreas. Se os dados da organização são atualizados e alteradas por meio de inserções e eliminação, essa é outra razão para não apostar em Hadoop.

A Cloudera, fornecedor comercial do Hadoop que tem como funcionário Doug Cutting, um dos inventores do framework, utiliza um modelo de núcleo aberto, portanto, a base de Hadoop software é livre, mas extensões Cloudera estão sujeitas à licenciamento. A Hortonworks, que Murthy fundou com outros membros da equipe de Hadoop para o Yahoo! no início de 2011, mantém todo o software livre e de código aberto e gera receitas por meio de seus programas de treinamento e suporte.

O Hadoop possibilita economia, já que não necessita de um hardware caro nem de um processador de alta potência. Qualquer servidor convencional ligado à rede do Hadoop funciona corretamente. Isso significa que um nó do Hadoop só precisa de um processador, um cartão e algumas unidades de disco rígido, com um custo total de cerca de 3 mil dólares, enquanto um sistema RDBMS pode custar entre 8 mil euros e 11 mil euros por terabyte. Essa diferença substancial faz com que o Hadoop esteja na boca das empresas.

No entanto, é preciso tomar cuidado para que todo o investimento não comprometa o plano de migração para Hadoop. Outro ponto a ser considerado é o conhecimento técnico necessário para lidar com esse novo mundo. De acordo com analistas do mercado, a demanda por pessoal qualificado pode aumentar os custos do projeto. Nos Estados Unidos, por exemplo, a disputa por engenheiros qualificados em Hadoop tem sido tão acirrada, que dois dos maiores atores da plataforma [Google e Facebook] entraram em uma guerra de lances para atrair engenheiros.

E, independentemente do software que a organização implemente, ela deve estar preparada para investir pesado na equipe de Hadoop. Dependendo das necessidades e localização, a companhia poderia ter de investir entre 100 mil dólares e 150 mil dólares por ano. Mas, apesar de ter de pagar um extra para o administrador de Hadoop, os benefícios da tecnologia atraem cada vez mais companhias que decidem obter reduções significativas de custo no longo prazo.