Principais Lições
Transforme questões de negócio em decisões mensuráveis antes de escolher um algoritmo
Comece pela decisão. Ciência de dados é o uso sistemático de dados para extrair conhecimento, tendo como objetivo prático a tomada de decisões de negócios. Um modelo não tem valor apenas por prever alguma coisa; suas previsões precisam melhorar uma escolha real. O Walmart ilustrou a descoberta, não a confirmação: antes do furacão Frances, uma análise das compras durante tempestades anteriores revelou que as Pop-Tarts de morango eram vendidas a uma taxa cerca de sete vezes superior à habitual. Esse padrão inesperado poderia orientar o abastecimento de uma forma que talvez passasse despercebida apenas pela intuição.
Separe as ferramentas do propósito. A engenharia de dados armazena e movimenta informações, enquanto a mineração de dados procura padrões úteis nelas. Um estudo citado no livro associou um aumento de um desvio-padrão na tomada de decisões orientada por dados a um ganho de produtividade de 4% a 6%. Essa associação justifica o investimento, mas não significa que todo conjunto de dados ou modelo trará retorno.
A história do Walmart ilustra uma divisão útil de trabalho: o julgamento humano identifica uma decisão que vale a pena melhorar, enquanto a computação vasculha uma quantidade de evidências que ninguém conseguiria examinar manualmente. Isso se assemelha à economia organizacional, na qual a tecnologia só cria valor quando vem acompanhada de processos complementares e de autoridade para agir. O resultado de produtividade é sugestivo, não uma promessa universal de retorno sobre o investimento. Empresas que medem a atividade analítica em vez da qualidade das decisões podem se tornar excelentes em produzir painéis que não mudam nada.
Trate dados e experimentos como ativos que merecem investimento deliberado
Talvez seja preciso criar os dados. O Signet Bank queria precificar ofertas de crédito de acordo com a rentabilidade dos clientes, mas os registros históricos refletiam apenas os termos oferecidos anteriormente. O banco testou diferentes condições com clientes para produzir as evidências que faltavam. Sua taxa de baixas contábeis subiu de 2,9% para quase 6% à medida que as perdas se acumulavam, mas os dados resultantes ajudaram a construir modelos que embasaram uma estratégia muito mais lucrativa. O negócio de cartões de crédito do Signet tornou-se a Capital One.
Invista em recursos complementares. Os dados, por si só, pouco fazem sem pessoas e sistemas capazes de usá-los. Em 2000, segundo relatos, a Capital One realizava 45 mil testes científicos. A lição geral é comparar o valor esperado de informações melhores com o custo e o risco de obtê-las. Um projeto-piloto ou teste controlado pode ser um investimento em aprendizado, não apenas uma despesa com uma campanha malsucedida.
Este é um exemplo marcante de aprendizado como ativo estratégico. Na economia experimental, um teste controlado pode revelar como as pessoas respondem a alternativas que os registros observacionais não permitem distinguir. O risco é real: ofertas aleatórias podem impor custos aos clientes ou expor uma empresa a perdas; por isso, o experimento precisa de limites, salvaguardas e uma regra de interrupção bem fundamentada. O argumento mais profundo do livro não é experimentar de forma imprudente, mas reconhecer que se recusar a reunir evidências pode prender uma empresa a decisões baseadas nas opções de ontem.
Deixe que a descoberta iterativa reformule o problema, em vez de impor um plano fixo
Use um ciclo repetível. O CRISP-DM (Processo Padrão Intersetorial para Mineração de Dados), sigla em inglês de Cross Industry Standard Process for Data Mining, organiza o trabalho em compreensão do negócio, compreensão dos dados, preparação dos dados, modelagem, avaliação e implantação. Trata-se de um ciclo, não de uma esteira: o que os dados revelam pode levar a equipe de volta à redefinição da pergunta ou à busca por evidências melhores.
Ajuste a tarefa aos rótulos. O aprendizado supervisionado usa exemplos com valores-alvo conhecidos, como a indicação de que um cliente cancelou o serviço. O aprendizado não supervisionado procura estruturas sem um alvo especificado. A fraude com cartão de crédito muitas vezes pode ser tratada com aprendizado supervisionado, pois as transações fraudulentas são identificadas após sua descoberta. A fraude em cobranças do Medicare é mais difícil: os prestadores suspeitos também realizam atividades legítimas, e talvez não existam rótulos confiáveis de fraude. Rótulos de negócios semelhantes podem ocultar problemas de dados muito diferentes.
O ciclo reflete uma característica central de pesquisa e desenvolvimento: as evidências mudam a pergunta, não apenas a resposta. Isso faz com que planos de projeto convencionais, que pressupõem requisitos estáveis, sejam pouco adequados ao trabalho incerto de modelagem. A comparação entre crédito e Medicare é especialmente útil porque revela um pré-requisito oculto: os rótulos são produzidos por instituições e investigações, não fornecidos pela natureza. Uma estrutura de processo melhora a disciplina, mas não substitui a experiência no domínio nem determina quais riscos merecem atenção.
Otimize o valor incremental, não apenas o risco previsto de um cliente
Traduza previsões em valor. O valor esperado é a média ponderada pela probabilidade dos resultados possíveis. No caso de uma campanha postal de uma instituição beneficente, a decisão depende da probabilidade de resposta, da doação provável e do custo de envio. Mesmo que uma pessoa tenha alta probabilidade de responder, ela pode não ser um bom alvo se a doação esperada não cobrir o custo.
Pergunte o que a oferta muda. Na gestão de cancelamentos, não basta prever quem provavelmente vai embora. A pergunta útil é se um incentivo muda o resultado para aquele cliente em comparação com não oferecer nada, e se o valor preservado supera o custo do incentivo. Isso exige considerar dois estados possíveis: com intervenção e sem intervenção. Quando a oferta é nova, os dados históricos podem não responder à pergunta; por isso, a empresa talvez precise realizar um teste controlado ou adotar uma hipótese simplificadora reconhecida explicitamente.
Essa abordagem conecta a análise preditiva à teoria da decisão e à inferência causal. Uma pontuação de risco descreve um resultado sob as condições observadas; não indica se uma intervenção mudará esse resultado. Essa distinção evita um desperdício conhecido: gastar para reter clientes que teriam permanecido de qualquer maneira. A dificuldade é que não se pode observar, ao mesmo tempo, os resultados contrafactuais para a mesma pessoa. Grupos de comparação randomizados ajudam a estimar o efeito médio, enquanto a segmentação de indivíduos exige hipóteses mais fortes e validação cuidadosa.
Uma pontuação perfeita no treinamento pode indicar que o modelo não aprendeu nada útil
Ajuste não é generalização. O sobreajuste ocorre quando um modelo captura peculiaridades dos exemplos de treinamento, em vez de padrões que se mantêm em casos novos. Um modelo de cancelamento deliberadamente absurdo pode memorizar o registro de cada cliente antigo e classificar perfeitamente esse conjunto de dados. Ainda assim, não teria nenhuma resposta útil para um cliente que nunca viu.
Teste com casos reservados. Os dados de teste simulam o uso futuro: o modelo prevê exemplos cujos valores-alvo foram ocultados durante o treinamento. A validação cruzada repete esse processo em várias partições, ou dobras, para estimar o desempenho médio e sua variabilidade. Em um exemplo de cancelamento, uma árvore obteve 73% quando avaliada nos dados usados para construí-la, mas teve média de 68,6% na validação cruzada de dez dobras. Podar árvores, limitar os atributos ou regularizar os parâmetros pode conter a complexidade, mas não elimina a necessidade de uma avaliação honesta.
O modelo que memoriza torna evidente um ponto estatístico sutil: uma pontuação alta pode medir o quanto um método explora o procedimento de avaliação, não o quanto compreende a população. A busca repetida por modelos traz um perigo relacionado, pois testar muitas alternativas e apresentar apenas a vencedora favorece a seleção de ruído fortuito. Dados de validação e de teste final separados ajudam, mas apenas se o conjunto de teste permanecer intocado enquanto as escolhas são feitas. O vazamento de dados pode tornar enganosa até uma validação que parece cuidadosa.
Avalie os modelos pelos erros que importam e pelo orçamento disponível
A acurácia pode mascarar o fracasso. Em uma população na qual uma classe supera a outra na proporção de 999 para 1, prever sempre a classe majoritária resulta em 99,9% de acurácia, embora nenhum caso raro seja encontrado. Uma matriz de confusão separa verdadeiros e falsos positivos de verdadeiros e falsos negativos, tornando visíveis os diferentes tipos de erro. Suas consequências podem ser muito distintas, como quando deixar de detectar um câncer é mais grave do que solicitar um exame de acompanhamento desnecessário.
Calcule o custo da decisão. O lucro esperado combina taxas de erro com custos e benefícios de cada resultado. Compare os modelos candidatos com referências realistas, como a seleção aleatória, a classe majoritária ou uma regra de negócio existente. As curvas ROC mostram a relação entre detecção e alarmes falsos em diferentes limiares. O lift compara a seleção com o acaso, enquanto as curvas de lucro incorporam custos e podem identificar o melhor modelo para determinado orçamento.
A insistência do capítulo nos custos é uma versão prática da teoria da decisão: um modelo só é tão bom quanto a regra de ação construída em torno dele. Um limiar adequado para uma equipe com bons recursos pode ser inviável para uma pequena unidade antifraude, ainda que a ordenação seja idêntica. As curvas ROC ajudam a separar a capacidade de ordenação da prevalência das classes, mas não escolhem uma política por conta própria. As estimativas de custos também são julgamentos políticos, pois clientes e trabalhadores afetados podem arcar com consequências que não aparecem na planilha da empresa.
Defina a semelhança nos dados antes de confiar em vizinhos ou agrupamentos
A similaridade é construída. Os métodos de vizinhos mais próximos fazem previsões a partir de casos considerados próximos do novo caso; o agrupamento reúne casos considerados próximos uns dos outros sem usar um rótulo-alvo. Ambos dependem de uma representação e de uma medida de distância, portanto nenhum deles descobre a similaridade em abstrato. Um exemplo com uísques escoceses representou o sabor por meio de 68 descritores binários. Assim, alguém que gostasse de Bunnahabhain poderia encontrar uísques parecidos comparando esses atributos.
Verifique a régua de medição. Atributos numéricos em escalas diferentes podem dominar um cálculo de distância, enquanto atributos irrelevantes podem distorcê-lo. A seleção e a normalização dos atributos, assim como o conhecimento do domínio, influenciam o que é considerado próximo. O agrupamento também precisa ser interpretado: grupos de notícias podem compartilhar vocabulário ou formato sem tratar de um tema relevante em comum. Um agrupamento é um convite à investigação, não necessariamente um segmento de negócio.
Esta é uma lição da teoria da mensuração: as definições operacionais moldam o fenômeno que uma análise pode revelar. Uma métrica de distância pode ser matematicamente elegante e, ainda assim, semanticamente equivocada, assim como medir uma cidade apenas pelas distâncias entre ruas ignora barreiras e tempo de deslocamento. Os descritores de uísque tornam as hipóteses especialmente visíveis. Em grandes conjuntos de dados de clientes, é mais difícil percebê-las, o que torna essenciais a revisão por especialistas e as verificações de sensibilidade. Grupos exploratórios se tornam úteis quando suas diferenças sugerem uma decisão, e não apenas um gráfico colorido.
Escolha representações de texto que preservem o sinal necessário à decisão
Transforme palavras em atributos. Os textos são escritos para pessoas e, por isso, têm estrutura variável, ambiguidades, erros de grafia e contexto. Um ponto de partida comum é a representação bag-of-words, ou saco de palavras, que trata um documento como uma coleção de termos e ignora sua ordem. A frequência do termo conta as ocorrências de uma palavra; TF-IDF aumenta o peso de termos frequentes em um documento, mas incomuns no conjunto de textos. A lematização e a remoção de palavras funcionais comuns podem reduzir o ruído, embora uma remoção descuidada possa apagar significados.
Acrescente estrutura quando necessário. N-gramas preservam sequências curtas de palavras, a extração de entidades nomeadas identifica expressões como nomes de organizações, e os modelos de tópicos inferem temas ocultos. Em um exemplo de notícias financeiras, os modelos encontraram sinais em cerca de 16 mil notícias classificadas de acordo com a movimentação posterior das ações. Uma representação simples pode ser uma primeira abordagem útil, mas seus limites dependem da tarefa.
O capítulo sobre texto demonstra um princípio amplo da ciência de dados: a representação costuma ser tão importante quanto o algoritmo. O TF-IDF funciona porque termos raros podem distinguir documentos, mas também podem ser erros de digitação ou artefatos acidentais. Acrescentar a estrutura das expressões pode recuperar o contexto, mas amplia o espaço de atributos e aumenta o risco de sobreajuste. É o mesmo dilema observado na visão computacional e no reconhecimento de fala: representações mais ricas capturam nuances, mas exigem mais dados e avaliações mais rigorosas.
A previsão encontra associações; os experimentos testam se uma ação muda os resultados
Correlação não demonstra influência. Um modelo pode identificar pessoas com alta probabilidade de comprar, mas isso não demonstra que um anúncio causou a compra. Nas redes sociais, as pessoas costumam se relacionar com outras semelhantes, de modo que amigos podem fazer escolhas parecidas sem persuadir uns aos outros. Uma pesquisa discutida no livro concluiu que análises convencionais do marketing viral poderiam superestimar a influência em pelo menos 700% quando não levavam em conta essa semelhança.
Compare contrafactuais. A análise causal pergunta o que seria diferente se uma intervenção ocorresse em vez de não ocorrer. Experimentos randomizados criam grupos de tratamento e controle comparáveis, enquanto métodos observacionais dependem de hipóteses sobre como os casos foram selecionados. Esses métodos fundamentam decisões sobre anúncios, incentivos e outras intervenções, mas suas conclusões só são tão confiáveis quanto o desenho e as hipóteses que as sustentam.
O exemplo das redes sociais conecta a análise a um problema clássico da sociologia: a homofilia, tendência de pessoas semelhantes estabelecerem vínculos, pode se passar por influência dos pares. Não se trata de uma correção técnica sem importância. Se uma empresa confundir preferências compartilhadas com persuasão, poderá gastar muito para impulsionar campanhas que não se disseminariam. A randomização oferece um desenho sólido quando é viável, embora os experimentos ainda precisem levar em conta efeitos indiretos, consentimento e quem fica de fora do teste.
Audite como os dados foram produzidos antes de tratar padrões como fatos
Os dados têm uma história. Em um projeto de detecção de fraudes, chamadas aparentemente originadas da célula zero da rede móvel previam fortemente a ocorrência de fraude. Os investigadores acabaram descobrindo que essas chamadas haviam sido armazenadas em um banco de dados separado, sem informações de localização; os valores ausentes tinham sido preenchidos com zero. O padrão descrevia um procedimento do banco de dados, não um lugar suspeito. Trata-se de uma forma de vazamento de dados ou de incompatibilidade entre o atributo registrado e a quantidade do mundo real que ele parece representar.
Mantenha as pessoas envolvidas. O julgamento humano é necessário para definir a decisão, selecionar dados úteis, examinar resultados surpreendentes e determinar o que conta como sucesso. A busca automatizada pode encontrar padrões em larga escala, mas não consegue estabelecer que um campo significa aquilo que seu rótulo diz nem que uma variável substituta é justa. A implantação também importa: o modelo em produção é moldado por escolhas de engenharia e processos de negócio.
A história da célula zero é um estudo de caso conciso sobre erro de mensuração e desenho institucional. Os dados não são a realidade em estado bruto: são vestígios criados por formulários, softwares, incentivos e omissões. Essa ideia é especialmente importante quando decisões automatizadas afetam pessoas, pois um erro técnico pode reproduzir em larga escala um ponto cego administrativo. A revisão por especialistas não é uma checagem final meramente decorativa. É uma forma de testar se a explicação aparente do modelo resiste ao contato com o sistema que produziu as evidências.
Deixe Bayes combinar indícios fracos, mas desconfie de suas probabilidades excessivamente confiantes
Combine evidências de forma simples. O teorema de Bayes atualiza a probabilidade prévia de um resultado com base na probabilidade das evidências observadas diante de resultados concorrentes. O classificador Naive Bayes torna isso prático ao supor que os atributos são condicionalmente independentes dada a classe. Um anunciante na internet poderia combinar evidências dos sites visitados por uma pessoa para classificar potenciais clientes; a mesma abordagem é comum na filtragem de spam e pode ser atualizada com eficiência quando chegam novos exemplos rotulados.
Conheça a hipótese. Os sites visitados muitas vezes estão relacionados entre si; portanto, tratá-los como independentes pode levar a contar o mesmo sinal repetidas vezes. O Naive Bayes ainda pode ordenar bem os casos, mas suas estimativas de probabilidade podem ficar extremas demais. O método é útil por ser rápido, simples e muitas vezes eficaz, não porque sua representação simplificada do mundo seja literalmente verdadeira.
O Naive Bayes ilustra um acordo científico produtivo: aceitar uma hipótese irrealista quando ela resulta em uma aproximação útil e, depois, testar o resultado para o uso pretendido. A distinção entre ordenação e probabilidade calibrada é importante. Às vezes, uma campanha pode tolerar probabilidades imperfeitas se os potenciais clientes mais bem classificados forem de fato melhores; já decisões com custos assimétricos podem exigir uma calibração confiável. A simplicidade do modelo é uma vantagem para o diagnóstico, mas sua aparente confiança nunca deve ser confundida com certeza.
Construa vantagem com dados, talento e uma cultura que põe afirmações à prova
A capacidade se acumula. Os dados se tornam estrategicamente valiosos quando uma empresa consegue vinculá-los a decisões que seus concorrentes não conseguem melhorar com facilidade. O histórico de compras da Amazon apoiou recomendações personalizadas, enquanto a Capital One construiu seu negócio de crédito em torno de testes repetidos e modelos de rentabilidade. Essa vantagem depende de recursos complementares: dados relevantes, competência analítica, engenharia e um processo de negócio que age com base nos resultados.
Administre a pesquisa, não apenas a entrega. Os projetos de ciência de dados são exploratórios; por isso, as equipes precisam de espaço para projetos-piloto, comparação com referências e aprendizado com abordagens malsucedidas. Os gestores precisam compreender o suficiente de análise para perguntar sobre rótulos, avaliação e implantação, enquanto os cientistas de dados precisam conhecer o contexto do negócio. O livro trata a privacidade e a ética como responsabilidades sérias, pois dados pessoais detalhados podem melhorar as previsões e, ao mesmo tempo, aumentar as consequências do uso indevido.
O argumento estratégico se assemelha à visão da empresa baseada em recursos: um ativo importa quando é valioso, difícil de copiar e respaldado por rotinas próprias da organização. Raramente um modelo, por si só, é uma vantagem defensável; em geral, os concorrentes conseguem reproduzir um algoritmo com mais facilidade do que um fluxo de dados confiável, uma cultura de experimentação ou uma equipe que compreende o negócio. Ainda assim, uma vantagem duradoura não é automaticamente um benefício social. A governança precisa perguntar quem recebe os ganhos, quem arca com os erros e se a coleta de dados é proporcional.
Análise
O maior mérito do livro é reformular a ciência de dados: em vez de apresentá-la como um catálogo de algoritmos, tratá-la como uma disciplina de concepção de decisões. Sua pergunta recorrente não é simplesmente se um modelo detecta padrões, mas se o problema, os dados, a avaliação e a implantação se encaixam. Essa ênfase torna as ideias técnicas acessíveis aos gestores sem fingir que a matemática ou a engenharia são irrelevantes. Os exemplos narrativos também cumprem um papel importante: o padrão incomum de compras durante o furacão mostra a descoberta, a Capital One ilustra os dados como investimento, e a célula zero revela como uma convenção de banco de dados pode se passar por um fato do mundo.
A estrutura é mais poderosa quando obriga os analistas a explicitar suas hipóteses. O valor esperado revela custos ocultos, a validação cruzada revela a memorização, e o raciocínio causal distingue prever um resultado de mudá-lo. Não se trata apenas de aperfeiçoamentos de modelagem. São salvaguardas contra o autoengano organizacional. A abordagem também antecipa um problema hoje muitas vezes chamado de fixação em métricas: quando uma variável substituta se torna um alvo, as equipes podem otimizá-la e negligenciar o propósito subjacente. A solução não é rejeitar a mensuração, mas reavaliar se aquilo que está sendo medido ainda representa a decisão que importa.
Algumas afirmações exigem cautela quanto ao contexto. Associações com a produtividade não garantem que o investimento analítico de uma empresa específica dará retorno, e um melhor desempenho preditivo pode intensificar os riscos à privacidade ou o tratamento injusto. Do mesmo modo, o sucesso histórico de um modelo não garante sua estabilidade quando as pessoas se adaptam, os mercados mudam ou os fluxos de dados se alteram. A orientação processual do livro oferece uma resposta sólida: monitorar o contexto de uso, preservar a revisão humana e tratar a implantação como parte do problema analítico. Sua lição mais duradoura é que uma ciência de dados confiável combina a busca computacional com a responsabilidade humana de decidir o que perguntar, o que conta como evidência e quais consequências são aceitáveis.
Resumo das Resenhas
Data Science para Negócios recebe avaliações em sua maioria positivas, e os leitores elogiam sua abordagem prática e suas explicações claras dos conceitos de ciência de dados aplicados aos negócios. Muitos o consideram valioso tanto para iniciantes quanto para profissionais experientes, destacando sua utilidade para aproximar os aspectos técnicos e comerciais. Alguns leitores observam que o livro pode ser denso e desafiador, mas, de modo geral, é considerado uma introdução abrangente à ciência de dados no contexto empresarial. Alguns críticos o consideram superficial demais ou prolixo em certas partes.
Outros Também Leram
Glossário
CRISP-DM
processo iterativo de mineraçãoO Processo Padrão Intersetorial para Mineração de Dados, um modelo de processo que organiza um projeto em compreensão do negócio, compreensão dos dados, preparação dos dados, modelagem, avaliação e implantação. As etapas são iterativas, e não estritamente lineares. Os resultados da modelagem ou da avaliação podem revelar a necessidade de rever o problema, obter dados diferentes ou alterar a solução proposta.
sobreajuste
aprendizado de particularidades da amostraA tendência de um procedimento de modelagem a se ajustar a detalhes dos dados de treinamento que não representam padrões estáveis na população mais ampla. Um modelo com sobreajuste pode ter um desempenho extremamente bom nos exemplos usados para construí-lo e ruim em novos exemplos. A avaliação com dados reservados e controles de complexidade, como poda, seleção de atributos e regularização, ajudam a detectar ou reduzir o problema.
valor esperado
valor dos resultados ponderado pelas probabilidadesUm cálculo que lista os resultados possíveis, multiplica o valor de cada resultado por sua probabilidade e soma os resultados. Na análise de negócios, conecta estimativas de modelos a decisões, combinando probabilidades obtidas dos dados com custos e benefícios da aplicação. Pode revelar quais subproblemas precisam de modelos e quais valores devem vir do conhecimento do negócio.
validação cruzada
avaliação repetida com dados reservadosUm procedimento para estimar o desempenho de um modelo dividindo dados rotulados em partições, treinando repetidamente com todas, exceto uma delas, e testando na partição restante. Cada partição é usada como conjunto de teste em uma rodada. As pontuações resultantes fornecem uma estimativa média e uma noção da variabilidade, ao mesmo tempo que aproveitam os dados limitados de forma mais eficiente do que uma única divisão.
lift
vantagem em relação ao acasoUma medida de quanto um resultado ou padrão é mais prevalente em um grupo selecionado do que seria esperado segundo uma linha de base, muitas vezes a seleção aleatória ou a independência estatística. Na segmentação, o lift compara a taxa de resposta entre os casos selecionados com a taxa de resposta geral. Na mineração de associações, compara a coocorrência observada com a frequência esperada se os itens fossem independentes.
TF-IDF
ponderação da relevância dos termosFrequência do Termo multiplicada pela Frequência Inversa do Documento, uma representação de texto que pondera um termo de acordo com sua frequência em um documento e sua raridade no conjunto de documentos. Termos frequentes em um documento recebem peso, enquanto termos comuns em todo o corpus recebem menos. Os documentos podem então ser representados como vetores de atributos para recuperação, classificação ou agrupamento.
classificador Naive Bayes
classificador de evidências independentesUm método generativo de classificação que aplica a Regra de Bayes e estima a probabilidade das características observadas em cada classe. Sua hipótese simplificadora é que as características são condicionalmente independentes dada a classe. Isso torna o aprendizado e a previsão eficientes e muitas vezes produz ordenações úteis, mas características correlacionadas podem ser contabilizadas repetidamente, resultando em estimativas de probabilidade mal calibradas.
curva ROC
detecção versus falsos alarmesUm gráfico que mostra a taxa de verdadeiros positivos de um classificador em relação à sua taxa de falsos positivos à medida que o limiar de decisão muda. Cada ponto representa uma relação de compromisso diferente entre detectar casos positivos e gerar falsos alarmes. Como cada taxa é calculada dentro de uma classe real, a curva separa o desempenho de ordenação da prevalência das classes, embora não incorpore, por si só, os custos do negócio.
engenharia analítica
projeto de soluções baseadas em dadosO trabalho de traduzir um problema real de negócios em tarefas analíticas solucionáveis, usando os dados, métodos, restrições e conhecimentos especializados disponíveis. Inclui decompor um problema em componentes que podem ser modelados, avaliar se os dados dão suporte a esses componentes e recombinar os resultados dos modelos com os custos e as decisões do negócio. A formulação pode precisar ser revista à medida que a equipe aprende o que os dados podem ou não responder.
Perguntas Frequentes
Sobre o que trata Data Science para Negócios?
- Visão geral abrangente: Data Science para Negócios, de Foster Provost, apresenta uma introdução detalhada aos princípios da ciência de dados e à sua aplicação nos negócios. O livro se concentra na compreensão dos conceitos de mineração de dados, não apenas dos algoritmos.
- Público-alvo: O livro é voltado a profissionais de negócios, desenvolvedores e aspirantes a cientistas de dados que querem aproveitar os dados para tomar decisões, aproximando as equipes técnicas e de negócios.
- Exemplos práticos: Inclui exemplos do mundo real, como a perda de clientes e o marketing direcionado, para demonstrar como a ciência de dados pode resolver problemas práticos de negócios.
Por que devo ler Data Science para Negócios?
- Essencial para os negócios modernos: O livro enfatiza que, no mundo atual, os dados são parte integrante dos negócios e que compreender a ciência de dados é fundamental para tomar decisões informadas.
- Acessível a todos os níveis: Os tópicos complexos são apresentados de forma acessível, tornando o livro adequado a leitores com diferentes níveis de conhecimento e particularmente útil para gestores de negócios que trabalham com cientistas de dados.
- Conhecimentos fundamentais: Apresenta conceitos fundamentais essenciais para quem quer compreender ou trabalhar em ambientes orientados por dados.
Quais são as principais lições de Data Science para Negócios?
- Pensamento analítico sobre dados: O livro enfatiza a importância de pensar analiticamente sobre os dados para melhorar a tomada de decisões e apresenta uma abordagem estruturada para resolver problemas usando dados.
- Compreensão do sobreajuste: Uma lição importante é o conceito de sobreajuste, em que os modelos têm bom desempenho nos dados de treinamento, mas desempenho ruim em dados não vistos, o que ressalta a importância da generalização.
- Técnicas de avaliação de modelos: O livro aborda métodos para avaliar modelos, como a validação cruzada, a fim de garantir que tenham bom desempenho em novos dados, algo fundamental para criar soluções confiáveis baseadas em dados.
O que é sobreajuste e por que ele é importante em Data Science para Negócios?
- Definição de sobreajuste: O sobreajuste ocorre quando um modelo aprende os dados de treinamento bem demais, capturando ruído e valores atípicos em vez do padrão subjacente, o que leva a um desempenho ruim em dados não vistos.
- Generalização versus memorização: Um bom modelo deve generalizar bem para novos dados, em vez de simplesmente memorizar o conjunto de treinamento, o que é essencial para fazer previsões precisas em aplicações do mundo real.
- Como evitar o sobreajuste: O livro aborda técnicas como validação cruzada, poda em modelos de árvore e regularização em modelos de regressão para evitar o sobreajuste e manter o equilíbrio entre a complexidade e o desempenho do modelo.
Como Data Science para Negócios define o pensamento analítico sobre dados?
- Abordagem estruturada: O pensamento analítico sobre dados é descrito como uma forma estruturada de abordar problemas de negócios usando dados, que envolve identificar dados relevantes, aplicar métodos apropriados e interpretar resultados.
- Estrutura para a tomada de decisões: O livro apresenta estruturas que ajudam os leitores a analisar problemas sistematicamente e a tomar decisões baseadas em dados, alinhando as estratégias de negócios às conclusões obtidas dos dados.
- Integração de criatividade e conhecimento do domínio: O pensamento analítico eficaz sobre dados combina habilidades analíticas com criatividade e conhecimento do domínio, levando a melhores resultados na resolução de problemas.
O que é o processo CRISP-DM em Data Science para Negócios?
- Estrutura organizada: CRISP-DM significa Processo Padrão Intersetorial para Mineração de Dados, uma estrutura organizada para projetos de mineração de dados composta por seis fases: compreensão do negócio, compreensão dos dados, preparação dos dados, modelagem, avaliação e implantação.
- Natureza iterativa: O processo é iterativo: os aprendizados de uma fase podem levar à retomada de fases anteriores, permitindo a melhoria e o refinamento contínuos dos projetos de ciência de dados.
- Aplicabilidade em diferentes setores: O CRISP-DM foi concebido para ser aplicável a vários setores, oferecendo uma linguagem e uma metodologia comuns a profissionais de diferentes áreas.
O que é a estrutura do valor esperado em Data Science para Negócios?
- Ferramenta para a tomada de decisões: A estrutura do valor esperado ajuda a avaliar os possíveis benefícios e custos associados a diferentes decisões, permitindo que as empresas quantifiquem os resultados esperados com base em dados históricos.
- Componentes do valor esperado: Ela consiste nas probabilidades dos diferentes resultados e nos valores associados a eles, calculados a partir dos dados, auxiliando na tomada de decisões informadas que maximizem o lucro ou minimizem os custos.
- Aplicação a problemas de negócios: A estrutura pode ser aplicada a vários cenários empresariais, como marketing direcionado e estratégias de retenção de clientes, para identificar as ações mais rentáveis com base na análise dos dados.
Como Data Science para Negócios aborda o sobreajuste em modelos de dados?
- Explicação do sobreajuste: O sobreajuste ocorre quando um modelo captura o ruído nos dados de treinamento, em vez do padrão subjacente, levando a um desempenho ruim em dados não vistos.
- Técnicas de avaliação de modelos: O livro enfatiza técnicas como a validação cruzada para avaliar o desempenho dos modelos e reduzir o sobreajuste, garantindo que generalizem bem.
- Controle da complexidade: O livro aborda métodos de controle da complexidade do modelo, como regularização e seleção de atributos, para criar modelos que equilibrem ajuste e complexidade, reduzindo o risco de sobreajuste.
Qual é a importância da similaridade na ciência de dados, conforme discutida em Data Science para Negócios?
- Fundamento de muitas técnicas: A similaridade está na base de vários métodos de ciência de dados, incluindo agrupamento e classificação, ajudando a agrupar e prever pontos de dados com eficácia.
- Aplicações nos negócios: A similaridade é usada em aplicações práticas, como segmentação de clientes e sistemas de recomendação, permitindo que as empresas direcionem ações de marketing e melhorem o engajamento dos clientes.
- Representação matemática: A similaridade pode ser quantificada usando métricas de distância, como a distância euclidiana, permitindo a análise e a comparação sistemáticas de pontos de dados.
Quais são os diferentes tipos de modelos discutidos em Data Science para Negócios?
- Modelos preditivos: O livro aborda técnicas de modelagem preditiva, incluindo árvores de classificação, regressão logística e métodos de vizinhos mais próximos, cada um adequado a diferentes tipos de dados e problemas de negócios.
- Modelos de agrupamento: As técnicas de agrupamento reúnem pontos de dados semelhantes, ajudando as empresas a compreender segmentos e comportamentos de clientes e revelando informações úteis para estratégias de marketing e desenvolvimento de produtos.
- Modelos de mineração de texto: Técnicas de mineração de texto, como a representação bag-of-words e TF-IDF, são essenciais para analisar dados não estruturados e permitem que as empresas extraiam informações valiosas de fontes de dados textuais.
O que é a representação bag-of-words na mineração de texto, segundo Data Science para Negócios?
- Conceito básico: A representação bag-of-words trata cada documento como um conjunto de palavras individuais, ignorando a gramática e a ordem das palavras, o que simplifica os dados textuais para análise.
- Frequência dos termos: Cada palavra é representada pela frequência com que aparece, permitindo identificar termos importantes; técnicas como TF-IDF aprimoram essa abordagem ao ponderar os termos de acordo com sua raridade.
- Aplicações: Amplamente usada em classificação de texto, análise de sentimento e recuperação de informações, ela oferece uma maneira simples de converter texto em dados numéricos para algoritmos de aprendizado de máquina.
Qual é o papel do conhecimento do domínio na ciência de dados, segundo Data Science para Negócios?
- Aprimoramento da validade do modelo: O conhecimento do domínio é fundamental para validar modelos e garantir que façam sentido no contexto empresarial, ajudando cientistas de dados a interpretar resultados e refinar análises.
- Orientação na seleção de atributos: Compreender o domínio permite que cientistas de dados selecionem atributos relevantes que provavelmente influenciam a variável-alvo, melhorando o desempenho e a relevância do modelo.
- Facilitação da comunicação: O conhecimento do domínio ajuda na comunicação entre cientistas de dados e partes interessadas do negócio, garantindo uma compreensão compartilhada do problema e dos dados e promovendo uma colaboração eficaz.
Baixar PDF
Baixar EPUB
.epub é ideal para ler e-books em celulares, tablets e leitores digitais.