Aula 07 - Limpeza e Pré-processamento de Dados

Aula sobre limpeza e pré-processamento de dados: tratamento de dados faltantes, ruídos, outliers, inconsistências e duplicatas, com exemplos do Titanic.

Key Takeaways

Pré-processamento adequado é indispensável para análises e modelos confiáveis.
Tratar faltantes exige entender o mecanismo de ausência antes de escolher entre remover ou imputar.
Outliers e ruídos devem ser identificados e tratados para não distorcer estatísticas e transformações.
Padronizar categorias e validar regras de negócio evita fragmentação e cálculos errados.
Separar treino e teste é necessário para medir a capacidade de generalização do modelo.

What the video covers

Pré-processamento é etapa fundamental antes de qualquer análise ou modelagem, pois dados reais costumam ter faltantes, inconsistências e duplicatas.
Dados incompletos (faltantes) são o problema mais comum e podem enviesar estatísticas, quebrar modelos e reduzir a amostra se linhas inteiras forem descartadas.
Ruído, como variações abruptas em sensores e erros de digitação, distorce estatísticas e transformações como min-max.
Outliers, como uma compra de 50.000 em um contexto de compras de 200 a 400, afetam fortemente médias e modelos baseados em distância.
Inconsistências incluem grafias diferentes para o mesmo valor (ex.: SP, São Paulo), formatos e unidades misturados e violação de regras de negócio, como data de entrega anterior ao pedido.
Duplicatas, como um cliente cadastrado duas vezes, precisam ser identificadas e removidas.
A integração combina dados de múltiplas fontes, enquanto a transformação inclui normalização, padronização e codificação de variáveis categóricas.
Para valores faltantes, classificam-se os mecanismos MCAR, MAR e MNAR, guiando a escolha entre remoção (drop) e imputação (média, mediana, moda).
Variáveis categóricas ordinais podem ser convertidas em números preservando a ordem, como ensino médio a pós-doutorado.
Por fim, a divisão em conjuntos de treino e teste é essencial para avaliar o desempenho do modelo em dados não vistos.

Chapters

Por que o pré-processamento de dados é importante antes de modelar?

Porque dados reais costumam ter faltantes, ruídos, inconsistências e duplicatas que distorcem análises e podem impedir o treinamento de modelos. Um bom pré-processamento garante que a análise faça sentido.

Qual o impacto dos dados faltantes em uma análise?

Eles podem introduzir viés, já que quem não responde costuma ser diferente de quem responde, quebrar modelos que não aceitam valores nulos e reduzir muito a amostra se linhas forem descartadas.

Como lidar com outliers segundo a aula?

O vídeo mostra que outliers distorcem médias e transformações como min-max, por isso devem ser identificados com atenção, por exemplo com um box plot, e tratados antes da modelagem.

Full Transcript — Download SRT & Markdown

Speaker A

Lucas Sala Battisti: Iniciou. Processamento e Análise de Dados da Ufscar (panda): estamos Lucas Sala Battisti: Então gente, primeiramente é da boa noite a todos. agradecer aos presentes, né? a gente tá aqui nas últimas aulas do CD, né? E a gente vai falar de

Speaker A

um tema muito interessante. mas quer muitas vezes negligenciado, mas que ele é fundamental. uma análise que a gente para toda análise que a gente vai fazer ou que a gente vai aplicar algum modelo, né? Muito importante que a gente faça um

Speaker A

pré-processamento ou uma limpeza dos dados adequadas, porque hoje como a gente tem muitos dados, né?

Speaker A

É muito comum que os dados tenham informações faltantes ou dados inconsistentes coisas que a gente precisa limpar. Então se a gente quer fazer uma boa análise que faz sentido a gente tem que fazer um bom pré-processamento. E além disso

Speaker A

outra coisa que entra no teleprocessamento São coisas que a gente não não quiseram errado dos dados ou que os dados não tão bons não estão com qualidade, mas é um pré-processamento que a gente que se faz necessário ter um

Speaker A

tipo de análise ou pelo modelo que a gente vai fazer posteriormente então é processamento entre essas duas partes a parte de limpeza. e a parte de Dizer assim de melhorar.

Speaker A

além de ter a qualidade dele a gente consegue colocar informações extras ou fazer um tratamento que possa vir a ser necessário. Então nessa aula eu vou falar um pouco da parte de integração que eu acho que é interessante limpeza

Speaker A

transformação e por fim divisão de dados que é muito importante num contexto de modelagem.

Speaker A

integração que seria o quê unidades de várias Fontes limpeza A gente vai falar daqui a pouco.

Speaker A

Não tinha comentado, né? Porque que a gente vai processar porque a gente pode ter dados incompletos ou faltantes e né se a gente quer fazer uma análise principalmente usar um modelo a gente tem que ter esses dados porque os dados

Speaker A

podem ter algum ruído ou outline os dados pode estar inconsistentes como eu comentei e também a gente pode ter duplicatas que a gente precisa remover.

Speaker A

Beleza. Vamos começar com o que são dados incompletos são basicamente dados faltantes e esse é o tipo de Esse é o tipo de Problema mais comum, né? A gente não ter aquela informação e daí se a gente quer, né? Se a gente quer fazer

Speaker A

análise, a gente tem que ter esse campo e se ele tá faltante a gente tem que de alguma forma lidar com isso então vou dar alguns exemplos, pode ser? Por exemplo o cliente que a gente não tem contato. no meio

Speaker A

telefone. Caso de sensores, né? Pode ter um dado faltante esses dados que são. de grandezas físicas é muito comum a gente ter isso ou pode ser um campo opcional que a gente não tem aquela informação em um grande quantidade, como

Speaker A

vai ser no exemplo do conjunto de dados que a gente vai usar que vai ser do Titanic que 20% das idades não tem porque se tratava de um campo opcional.

Speaker A

na hora que foi preenchido aqueles dados então algumas pessoas não preencheram então não tem essa informação.

Speaker A

Qual que é um impacto a gente ter esses dados faltantes? Se a gente for fazer uma análise for calcular alguma estatística.

Speaker A

A gente vai por exemplo que a média do salário de só quem respondeu então a gente não vai ter.

Speaker A

a média assim se a gente tá fazendo uma análise e a gente quer saber a média salarial.

Speaker A

se a gente tiver muito da desfaltantes. A gente vai tá tendo como se fosse um viés, né?

Speaker A

A gente só vai tá pegando. o salário daquelas pessoas que responderam então uma coisa que é muito comum por exemplo pessoas que não sabe muito alto, elas podem querer não responder então a gente vai estar não vai estar captando a média real, né?

Speaker A

Outro ponto é dos modelos esse ponto ele é. muito importante porque a maioria dos modelos de aprendizado de máquina ou modelos estatísticos, eles quebram-se a gente não tiver todos os campos. Se tiver um valor faltante ele vai quebrar e

Speaker A

o modelo não vai ser treinado. Outro ponto é do viés, né? Que foi que eu comentei, né? Quem não responde costuma ser diferente de quem responde então né? Se a gente vai tentar usar aquela informação e tem um viés

Speaker A

a gente vai estar trazendo um viés da nossa análise ou também. E outra Impacto é que uma coisa que eu mais faço de você fazer se você tem um dado faltante, né? Ah é aquele indivíduo ali não respondeu a idade dele Vou

Speaker A

tacar ele fora da análise e daí se a gente não fizer um processamento adequado para aquilo. A gente vai encolher muito a nossa amostra vai perder muita informação. Certo esses que são os principais impactos.

Speaker A

Agora ruído o ruído. é difícil da informação faltante porque o a informação ela tá ali, mas ela tá vamos dizer assim discretante, né, pode ser um erro de digitação que em alguns cenário é muito comum. ruído é uma coisa muito

Speaker A

importante quando a gente tá com dados que são. De grandezas físicas porque é muito comum porque são sensores ou são dispositivos que eles estão.

Speaker A

Que eles estão medindo, então eles podem cometer os pode ter uma variação muito grande. Eu por exemplo na minha iniciação científica eu tive essa questão científica era com dados de telescópio e daí tinha assim umas variações muito absurdas assim de ter

Speaker A

dados muito grandes, então uma grande parte da ministração científica foi focado nessa parte de tratar esses dados que eram grudados.

Speaker A

Então quer dizer que uma coisa muito importante e que é muito presente nesse nesses dados que tem informações de grandezas físicas e o outro tipo de ruído é os Outlander.

Speaker A

50 mil se a gente tem Um se a gente tem um uma loja dados de uma loja e Geralmente as compras São entre 200 300 400, a gente tem uma compra de 50.000, né? É um valor muito grande.

Speaker A

então esse é um outro tipo de ruído e que a gente vai ver aqui, o que é possível de ser feito.

Speaker A

O impacto de ruído é eu, acho que o principal é esse aqui que ele distorce estatísticas, então se você não olhar com atenção para aquele dado e ver que tem um ruído. Por exemplo, se for calcular média a média

Speaker A

acho que vocês devem ter visto na aula estatística, a média ela é muito impactada por um pilar né?

Speaker A

O valor discretante então se você não fizer o tratamento adequado, você vai estar. Fazendo mais a gente errada que tá fazendo uma análise errada. outra questão é o Verifique que a gente vai comentar melhor depois.

Speaker A

Outro impacto do ruído é que se a gente for usar alguma escala que a gente também vai comentar melhor depois que por exemplo um mini Max é uma transformação que a gente aplica nos dados que tem muito Impacto. Se tiver

Speaker A

algum Outlander. Então se a gente não tratar esse ruído ou esse autilar. vai comprometer muito a transformação que a gente está fazendo e não é importante reduzir. Tá usando algum?

Speaker A

ou algo que os de distâncias esse ruído ele ele vai estar impactando na nossa modelagem ou no nosso análise também.

Speaker A

e a gente também tem dados inconsistentes alguns exemplosgrafias diferentes como um vírus. quem já mexeu com dados de formulário sabe? Você coloca ele ai seu estado as pessoas vão escrever assim da forma que elas querem esse texto.

Speaker A

Então a gente tem que fazer esse tratamento porque senão ele vai Nossa análise vai.

Speaker A

processamento da nossa análise vai entender que SPE é diferente de São Paulo que é diferente de São Paulo sem dar certo.

Speaker A

o formato de dados que usam formatos diferentes. Então a gente tem que estar atento a isso uma unidades misturados.

Speaker A

Eu acho que isso é menos comum prioridades misturadas, mas eu acho que os dados têm diversos pontos é possível. E também regras violadas, por exemplo, data de entrega anterior do pedido então se você recebe um dado e você vê que

Speaker A

você consegue criar uma regra, né? Por exemplo a data a data de entrega, tem que ser depois do pedido se você recebe seus dados e você? Achei que você pode criar essa regras sempre bom para você validar para ver se tá fazendo sentido

Speaker A

se não tem nada inconsistente. E os impactos. Foi o que eu falei, né? Categorias fragmentadas que por exemplo naquele caso São Paulo ia ser ia estar em três grupos diferentes cálculos errados. E aqui também tá citando. Se a gente

Speaker A

for fazer um nerd, né? Que quando a gente tem dados que são de fontes diferentes e a gente quer juntar eles então.

Speaker A

se 001 foi diferente de um a gente não vai conseguir. não vai conseguir juntar eles da família. Então a gente tem que fazer um processamento para isso. E daí formas a gente detectar isso é? Ter essa função aqui do pandas que conta.

Speaker A

se a gente tem uma coluna que tem os Estados a gente conta. Quantos que tem de cada um tem essa Unico que ela vai retornar aos únicos. Então se a gente tivesse nesse caso aqui em São Paulo a gente vê se aplicar

Speaker A

essa função aí que a gente logo já ia ver que não ia ter três.

Speaker A

Três São Paulo que deveriam ser a mesma coisa. E por fim a gente tem as duplicatas. que não acho que é tão comum, mas pode acontecer sim é bom a gente observar. Então a gente tem o mesmo cliente com dois

Speaker A

registros. É basicamente isso, né? ter repetição da mesmas coisas então se a gente numa base a gente tem algo que indique.

Speaker A

a ideia seria que em cada linha, a gente tem uma ideia diferente, então é bom a gente verificar se não tem nada repetindo. Se tiver a gente vai ver, né? Qual que a gente tira qual que fica porque a gente não pode ter

Speaker A

dados duplicados não um indivíduo vai estar contando todo para nossa análise. Aqui só um resumo.

Speaker A

Completo são os dados faltantes ruídos são os dados que eles estão com uma variação normal, né?

Speaker A

rottweiler de digitação inconsistente que é um cuidado que não faz sentido, né? Ou que esse caso aqui que são duas coisas que deveriam estar juntos, mas elas estão separados e que a gente tem que padronizar. E também por último

Speaker A

as duplicatas, né? Eu comentei com exemplo do cliente ser cadastrado duas vezes. Alguém tem alguma pergunta?

Speaker A

Nenhuma, né? Daí você vai me interromper e eu respondo. Legal uma coisa que eu achei muito interessante de trazer aqui foi essa parte de integração de dados porque nesse ponto. a questão de Que quem seria na integração de

Speaker A

dados é quando você tem? Você tá fazendo uma análise e você quer pegar dados de diferentes pontos, né? Então às você tem um banco de dados. por exemplo tem um banco de dados de clientes daí eu tô analisando e

Speaker A

tem tem naqueles dados do período, né de alguma transação ou algo assim, às vezes poderia por exemplo ser interessante eu ter dados macroeconômicos para poder enriquecer na minha análise porque isso poderia.

Speaker A

ser interessante. Então eu tenho banco de dados com os dados dos clientes. e eu poderia usar uma API que tem as informações macroeconômicas e daí eu junto nesse para fazer uma análise mais interessante. Isso é muito comum.

Speaker A

É muito bom é muito positivo, né a gente fazer essa integração, só que isso envolvem cuidado a mais porque se a gente tá pegando dados de outras fontes as vezes que não são nós né? A gente não tem responsabilidade

Speaker A

nenhuma com isso. Eles podem estar com inconsistências então. a gente tem que ter esse cuidado é informação.

Speaker A

a mais sim, mas a gente tem que ter um cuidado a mais também porque senão é comprometer a nossa análise. E aqui eu vou trazer um exemplo mais.

Speaker A

estruturado que seria por exemplo se a gente tivesse os dados iFood por exemplo a gente podia ter os pedidos no banco de dados então ia ter o valor do pedido a data o produto. daí a gente tem uma planilha de

Speaker A

CRM, né de métricas é que tivesse cadastro e a gente tivesse uma API para ter os comentários e notas e também logs, né Logs são Que fala.

Speaker A

Então, por exemplo nesse exemplo que a gente a gente ia estar em contato com muitos dados, né?

Speaker A

Se a gente quisesse criar um modelo para prever seu cliente vai cancelar o pedido a gente poderia usar todas as informações porque todas as informações.

Speaker A

seriam informações útil para a gente prever a probabilidade do cliente cancelar aquele pedido. Então a gente vai ter que fazer essa integração de dados. E para isso a gente tem que tomar um cuidado.

Speaker A

com a qualidade desses dados e fazer um pré-processamento ou um tratamento adequado para eles.

Speaker A

Aqui são as etapas da Integração, a gente vai identificar coisas que são as fontes.

Speaker A

Juntar todas as fontes a gente vai tratar cada uma. Então a gente vai excitar melhor, como que vai ser feito, mas padronizar nomes tipos de unidades fazer um tratamento a gente vai definir o campo que vai.

Speaker A

Interligar essas daqui que tem em comum cada uma dessas fontes para a gente conseguir ligar elas.

Speaker A

deve ter a parte de combinar e por fim a gente vai validar para ver se tá tudo certo.

Speaker A

principais desafios que a gente tem são Chaves diferentes que a gente tem que tomar esse cuidado é essa que é bem importante que é redundância muitas vezes Você tem?

Speaker A

várias Barras, às vezes não tem informações repetidas, porque no contexto de cada uma das bases aquela informação importante então quando você junto se vai ter informações repetidas. Então você tem que tratar a gente pode ter conflitos porque essas informações elas

Speaker A

podem divergir, né Às vezes uma base mais atualizada do que outra então por exemplo nesse exemplo interessante que tá ali, né? Endereços diferentes como uma base alta mais desatualizada uma vai ter o endereço desatualizado outro vai ter ele atualizado. Então é

Speaker A

importante a gente estar Tendo isso quando a gente vai fazer uma integração. e a granularidade que seria consistência por exemplo de um lado a gente tem dados diários e todos mensais, a gente tem que pensar como que a gente vai

Speaker A

fazer essa integração, né? Mas beleza Ah que é o nosso data 7 que a gente vai usar de exemplo é uma das sete que tem bastante.

Speaker A

dados faltantes e tem bastante coisa para aplicar tratamento é um data 7 do Titanic são poucos Campos são 12 colunas e também não são tantas passageiros, né?

Speaker A

São 900 e esses dados se vocês tiverem interesse, ele está disponível. Beleza então Como que eu acho que é interessante a gente?

Speaker A

E eu gosto primeiro de usar a função de scribble do pandas porque ela traz as estatísticas principais para cada uma das colunas numéricas que a gente tem e a gente já consegue pegar algumas inconsistências. Então quando a gente usa de Square a

Speaker A

gente vai ter o count que vai contar o número de A gente vai ter.

Speaker A

É uma medida de variabilidade da estatística. Qual que é a variabilidade daquela coluna? mínimo que é o valor mais baixo que a gente tem nossos dados para aquela coluna Vai ter os quartis que vai ser o dia 25,

Speaker A

né? 50% que é mentira 70 por 75% que é o terceiro Partiu e a gente vai ter o valor máximo e daí é bom porque a gente pode identificar várias coisas como tá aqui, né?

Speaker A

A média a gente vai comparar com a mediana para ver se tem muitas simetria nos dados ou se tem alguma. A gente vai. Dizer o padrão para suspeita de outlares.

Speaker A

Valores mínimos né? A gente consegue pegar algumas informações, né? Por exemplo. Às vezes pode ter um valor muito discrepante assim a gente consegue pegar ou por exemplo alguém consistente como uma idade negativa.

Speaker A

É a mediana. Entra muito nisso, né também e o máximo. Que a gente pode achar um valor que é muito discrepante, né que o máximo a gente consegue pegar bastante erro de digitação diretamente.

Speaker A

Daí aqui a gente tem um discrim para algumas colunas do nosso conjunto de dados que é o Titanic. Então, ó, o que que a gente já percebe no cálcio.

Speaker A

essa esse fé é o Nossa esqueceu mas eu acho que é que era o valor que Que foi pago?

Speaker A

algo nesse sentido não lembro qual que era moeda, mas era Nesse sentido porque que foi pago pela hospedagem, né no navio.

Speaker A

Então, o que que a gente observa aqui no count tanto essa? Essa coluna aqui que é sido ou esposo né? Então é filhos ou cônjuges número de filhos 891 e a idade está 714. Então a gente tem bastante dados

Speaker A

assaltantes até para variável idade A gente tem a média aqui uma coisa que eu gosto de fazer bastante que é uma. estatística Nossa esqueci o nome, mas é você, vê a gente pega média e de vídeo para o

Speaker A

desvio padrão, daí a gente consegue interpretar. Quanto que tá variando aqueles dados então aqui tá até ok, né?

Speaker A

Se a gente divide 32 por 49 vai dar uns 60 70%. Então vamos assim. 60% de variabilidade tá ok?

Speaker A

Mínimo Então teve gente que pagou nada máximo que é um valor bem alto, olha parece até onde vai porque olha como nessa coluna. Como esse valor máximo ele tá muito distante do 35%.

Speaker A

Então esse aqui é um possível outlarte seria um ponto de atenção. Deixa eu ver se teve alguma coisa que eu perdi.

Speaker A

Mexidas mediana 14 ah é verdade, a gente pode a gente geralmente compara a mediana, né? Que eu cortei 50% com a média, porque se eles tiverem muito discretantes é um sinal de que tá assim tótico, né? Então acho que não assimétrico são

Speaker A

assimétricas e por algumas análise é importante a gente ter esse conhecimento vocês estão assimétricos também é possível que tenha hotline.

Speaker A

certo, mas Também não pode ser por isso que a gente tem que analisar com cautela. Aqui né o mínimo.

Speaker A

Agora essa aqui parece ok, né? Tem uma pessoa que tem oito filhos ou cônjuges, somados.

Speaker A

A mediana exérita significa 50% das pessoas estão viajando sozinhas, né? Não amigos, mas não tão com nenhum cônjuge de eu ou filhos, né?

Speaker A

Então assim tá fazendo sentido e como é uma variável. inteira, né? Fica meio complicado da gente avaliar a média mas Parece OK, depois o ideal seria olhar com mais cuidado. Então aqui foi o que eu comentei, né?

Speaker A

Calmante abaixo do total que a gente viu que tem dados voltantes possíveis, a gente não viu média longe também Diana que ela pode indicar assimetria e dizia o padrão muito grande.

Speaker A

E daí isso aqui é o que eu tinha comentado. Coloquei aqui que o CV tá alto mas ele tá mais ou menos, né?

Speaker A

Acho que tá É isso mesmo 70% médio. eu acho que tá okay. Mas então, é por isso que é tão legal de Square, a gente consegue já ter vários indícios de Quais que vão ser os nossos?

Speaker A

tratamentos que a gente vai fazer com nossos dados. Ele só funciona para colunas numéricas. então a gente para colunas de Classe. A gente tem que tratar de outro jeito. Ou a gente coloca assim.

Speaker A

Ou a gente usa esse que eu tinha falado que ele vai. olhar para as classes que a gente tem da nossa variável teórica e vai dizer a contagem de cada uma. ou esse único que Vai pegar as informações únicas,

Speaker A

né? Depois a gente pegasse o dado sexy colocar seu Nico e aparecer masculino e feminino e não informado geralmente é isso, né?

Speaker A

então serve para isso a gente usa Essas funções do pandas para Como a gente não consegue usar o discrim? No variáveis que não são numéricas a gente usa isso para ver se a gente consegue identificar.

Speaker A

Aqui o valores faltantes que eu tinha comentado é basicamente valores inconsistentes e a gente vai vai retomando isso porque a gente vai.

Speaker A

Trabalhar com esses valores faltantes, mas que nem eu comentei, né? Eu acho que o ponto mais importante dos valores importantes é quando a gente tá usando o algoritmo porque Ele não vai rodar então tem que ser feito alguma coisa alguns

Speaker A

até alguns algoritmos então podem funcionar. certo detectando valores faltantes a gente tem essa função aqui do plantas que é esse Snow que ele vai fazer true of.

Speaker A

Da gente coloca um ponto Santo para somar, né? Então a gente vai ter a contagem.

Speaker A

E aqui a porcentagem né? Só a gente dividir pelo número de linhas que seria além do tamanho dos dados. Então aqui a gente tem.

Speaker A

A gente tem para os nossos dados esse essa variável que ele tá com 687 números, então é muito.

Speaker A

Editar com 137 que é bastante também é um embarque a gente tem só dois e daí baseado nisso, né?

Speaker A

Na frequência de valores nulos, a gente vai dar um tratamento diferente. se foi poucos poucas coisas não às vezes a gente só tira fora porque não vai comprometer muito a gente assim, a gente não dá tanta importância porque são pequena, né a

Speaker A

frequência que a gente tem desses dados faltantes, mas é muito e aquela informação é importante a gente tem que fazer muito tratamento diferente.

Speaker A

Aqui é bem interessante. Por que que os dados podem faltar? Quando a gente vai fazer outra processamento a gente se encara a gente encara essa situação de ter os dados Fontes, a gente tem que fazer essa reflexão. porque

Speaker A

Por exemplo. aquele exemplo que eu comentei, né? Quem tem renda alta então aquele dado faltante não é não tem vou substituir de alguma forma não aquilo tem uma informação a mais.

Speaker A

Então é interessante a gente considerar isso e fazer essa reflexão se a gente se a gente está num lugar, né? Trabalha para uma empresa e venham os dados faltantes. O ideal seria a gente procurar entender porque esses dados

Speaker A

estão faltantes. e pensar em Qual tratamento que vai ser mais adequado então aqui a gente tem três situações. MCA R que significa que são?

Speaker A

Dados faltantes completamente aleatórios que Depois a gente que não tem muito o que fazer.

Speaker A

Ele é um dado faltante mesmo. é Missing attrandle que significa que ele que é aleatório, mas ele Mas que ele Depende de outra coluna, né?

Speaker A

Por exemplo homens respondem menos sobre peso. então esses dados voltante, né? Ele tá ele não é assim naquele simplesmente falta, mas ele tem um motivo para isso.

Speaker A

e é interessante a gente conseguir trazer isso e também esse aqui é menor. que é quando o motivo da do tecido faltante é do próprio valor daquela coluna. Então esse aqui é o mais importante que a gente tem que tentar trazer essa

Speaker A

informação e daí eu já vou comentar como Beleza, vamos para os tratamentos faltantes tratamento mais simples e o mais comum a gente tentar remover. Quando que a gente faz isso?

Speaker A

é um uma linha ou uma coluna que não é tão relevante assim para o Nosso propósito.

Speaker A

por exemplo, a gente tinha o embarques, né que tem dois indivíduos que Tá com que tá faltando esses dados a gente poderia remover esses dois indivíduos porque né São só dois assim não tem tanto impacto. são poucos ausentes

Speaker A

quando a gente tem. Poucos ausentes a gente pode remover aquela coluna ou a gente pode remover as línguas que tem aquele dados faltantes? e a gente não vai fazer esse tratamento de remover se a gente tiver muito tá desfaltantes, se

Speaker A

for uma informação muito importante tipo. deve estar com um modelo que prever a renda da pessoa está faltando a idade. Você não pode tirar a idade tirar a comunidade é humano é a idade é muito relacionada com a renda

Speaker A

do indivíduo. Então esse é uma informação importante de outra forma E para isso a gente usa a função. remove as linhas que tem alguma informação faltante.

Speaker A

Então aqui por exemplo a gente tinha 891 depois de aplicar o drop em afo com 133% O outro tratamento que a gente pode fazer é tentar Preencher esses valores. Como que a gente pode fazer isso? Pode ser com a

Speaker A

média com a mediana? Por exemplo os nossos dados a gente viu? Que idade. Até voltar lá para vocês ver minha idade, a média era muito parecida com a mediana são Dados que são não são.

Speaker A

muito pouco assimétricas aqui a gente poderia usar média para substituir então é as pessoas que não responderam a idade a gente coloca que tem 29 anos, só que tem um ponto a gente poderia se perguntar. Será que tem um

Speaker A

motivo para pessoa não responsabilidade? Às vezes tem algum motivo, então é? A gente só colocar aquele valor.

Speaker A

agora Se a gente está com dados que são mais assimétricos ou que tem hotlines a gente não vai usar média para substituir se tiver usando mediana porque ela vai ser tanta médio conta mediana são medidas de centralidade.

Speaker A

vão a gente está preenchendo a gente que colocar um valor padrão para para isso. então As duas são muito de centralidade, mas a mediana é uma medida de centralidade que representa melhor aquela variável quando a gente tem acontecido assimétricos ou

Speaker A

Outlets e a média quando a gente não tá nesses contextos. outra forma de Preencher esses valores é com o mínimo com o máximo, mas isso é quando faz sentido, né daquele contexto por exemplo, se você entende que as pessoas não

Speaker A

respondem a renda delas porque é muito alta. Daí você pode pegar o máximo da renda e substituir por aquilo.

Speaker A

Então, né, dependendo do contexto. Às vezes a gente vai usar. Não vai usar um valor Central. Para categoricas a gente pode usar o modo? então por exemplo se a gente tivesse 70% de homens. gente verdade perdão Meu Deus Gente, desculpa aí.

Speaker A

Então retomando a gente nem sempre vai querer usar a média mediana que é o mais comum.

Speaker A

A gente pode por exemplo usar a moda quer dizer quando a gente não tem uma variável numérica a gente não pode simplesmente usar média mediana porque essa variável não é numérica. No caso dela não sendo numérica a gente não não vai poder usar

Speaker A

média e nem mediana porque não existe média mediano de valores que não são numéricos e daí a gente pode usar a moda por exemplo se a gente tem sexo 70% são masculinos e 30% é feminino a gente pode preencher aqueles

Speaker A

faltantes por masculino porque Em alguns contextos a gente pode usar um valor fixo? né outra possível tratamento seria a interpolação só que a interpolação ela é só num contexto que a gente tem dados que são ordenados.

Speaker A

Se a gente tivesse. Um dado macroeconômico a inflação Todo mês a gente tem inflação se a gente quisesse a inflação.

Speaker A

no meio daquele período a gente poderia fazer uma interpretação e a gente contraiu o valor bem no meio então quando a gente tá nesse caso está com dados que tem ordem que são Dados temporais. A gente pode usar

Speaker A

interpolação e funciona muito bem, né? A gente pega os mais próximos Interpol se a gente tem se a gente quer interpolação do meio do mês a gente pega do começo do fim do mês.

Speaker A

E fazem tripulação e a gente tem um valor intermediário para isso. Outra forma que é mais.

Speaker A

complexa em imputação com modelos Por exemplo KNN que que é o KNN é k neears. Então são os vizinhos mais próximos que que isso faz ele vai olhar para o indivíduo que você viu que tá faltante e baseado nas

Speaker A

informações daquele indivíduo ele vai buscar. Quais que são buscar esse carro você escolhe pode ser 5 4 7 11, vem buscar, quais são os indivíduos mais parecidos com ele e vai com uma média baseado nisso então não é simplesmente a média de

Speaker A

todos. Vai ser a média usando aqueles indivíduos que são mais parecidos com ele então se você tá muito preocupado assim com esse dado faltando você acha que vai ter muito Impacto é interessante você usar isso?

Speaker A

Porque ele pode. trazer boas informações assim, mas tem que ter bastante cuidado para ver se tá fazendo sentido isso.

Speaker A

E um tratamento Extra que eu acho muito interessante é a criação de uma Flag então, lembra aquele exemplo que eu tinha comentado da renda Ah por que que não tá vindo a renda no meu conjunto de dados pode

Speaker A

ter um motivo específico. Então eu tinha aquela coluna da renda. Eu queria uma coluna derivada daquela que tem informação se foi faltante ou não, porque por exemplo se eu tiver com um modelo eu tô conseguindo acrescentar uma informação. Extra que o modelo

Speaker A

vai usar se realmente a pessoa não tá informando a renda tem uma informação, traz uma informação importante o modelo que a gente está fazendo.

Speaker A

A tua mão. eu acho muito interessante esse tratamento a gente cria uma Flag para saber se é verdadeiro ou falso a gente simplesmente consegue transformar aquele dado faltante numa informação Extra. E como eu tô colocando aqui é um tratamento Extra, né?

Speaker A

Primeiro a gente tenta preencher. nesse dado faltante para ele poder ser usado e daí a gente cria uma Flag para conseguir adicionar uma informação Extra.

Speaker A

Ai aqui ó, ele é interessante nos casos de Mr. Mr. Mr. Quando Aquele dado tá faltando é por causa de outra outra variável.

Speaker A

MMA é quando aquele lado faltante é por causa daquela mesma variável. Então nesses casos em pensa em dinheiro se a gente tá tendo no modelo a gente criar uma conta de Flag para isso. porque Valores duplicados esse aqui é

Speaker A

bem simples, né? A gente vai usar Essas funções aqui que é para ver se tem voz duplicados.

Speaker A

Quais as variáveis que a gente vai ver se tem duplicado porque por uma variável de aqui nome, né? Se for nome completo a gente não espera que tenha. Duas vezes o indivíduo então.

Speaker A

A gente pode ver se tem duplicata só em alguma coluna que não poderia ter duplicatas e daí a gente remove essas duplicatas porque a gente fica até essa informação dessa forma.

Speaker A

Certo, suavização de ruídos e hotlines agora a gente entra na parte de ruídos. Como que a gente identifica?

Speaker A

Izabela Nascimento: Agora que a gente foi para essa parte de ruídos, a galera no chat perguntou se vai ter uma parte da aula que vai ser um pouco mais prático.

Speaker A

Lucas Sala Battisti: a gente quer que eu não preparei uma parte mais prática, mas tem um notebook com esse código.

Speaker A

Izabela Nascimento: Então, depois a gente disponibiliza para eles eles vão fazendo os testes Lucas Sala Battisti: Pode ser?

Speaker A

Izabela Nascimento: criando. E não usa slides também, já tá mostrando o código em alguns.

Speaker A

Lucas Sala Battisti: no código é hoje em dia eu porque não é com esse negócio de a eu eu acho que é mais interessante a gente focar mais.

Speaker A

na parte teórica porque né, tipo assim se você esse esse conteúdo a gente tem que ter muito cuidado assim com o que a gente está fazendo tem que entender bem porque né como a gente vai estar tratando nossos dados tem muito impacto

Speaker A

na análise posterior ou na modelagem que a gente vai fazer então eu tentei focar mais na teoria mesmo.

Speaker A

para que vocês entendam bem. Como que a gente tem que fazer ou Né? Como que é ou né? Como buscar análise, entendeu? O que tá acontecendo?

Speaker A

Do que realmente a parte mais prática, mas tem os códigos aqui e também tem um notebook que tem todas essa aplicação nesses dados do Titanic que é interessante que vocês vejam.

Speaker A

Mas beleza agora aqui nessa parte de encontrar os o que que é um outline uma regra que a gente usa é esse QR que a gente pega o Como que fala a gente pega o QR, ele é a distância entre o

Speaker A

primeiro e o terceiro quartinho, então é como se fosse uma medida de amplitude assim.

Speaker A

Que é um menos um ponto 5qr e que é 3 - 1,5qr se a gente tiver um valor que for menor que é um -1.5. QR a gente considera ele em outubitular. E se for maior a gente também considera um

Speaker A

hotline que ele vai estar muito distante do do terceiro corte. E uma forma muito legal da gente ver isso é fazendo um box pote.

Speaker A

Aqui a gente tem qual idade a gente vê que não tem nenhum rottweiler, se tivesse um pontinho aqui depois dos braços do box. Mas na idade a gente não tem nenhum.

Speaker A

Mas ok sabendo identificar esses outlines, como que a gente vai tratar? A gente pode manter a gente achar que né que não vai afetar por exemplo no caso de fraude.

Speaker A

Quando a gente tá com problema de fraude é justamente o que a gente quer, né? Porque é um indicativo de fraude, então pode ser interessante a gente simplesmente.

Speaker A

a gente pode fazer esse clique que é se ele for maior que Tanto a gente coloca um valor fixo para ele.

Speaker A

Então aqui por exemplo a gente calculou o quantia de 99% essa variável então, né? O valor que Só um por cento dos dados são maior que eles.

Speaker A

E se a gente tiver algum dado faltante ele vai algum Pernambuco, ele vai substituir por esse teto. Então não vai acontecer de ter nenhum.

Speaker A

Não vai acontecer de ter nenhum anti-ware vai cair nesse contexto. e outra forma é usar o log porque o log como a gente sabe ele pega os rolos e a chata Coloca eles mais próximo para algumas análises pode ser

Speaker A

interessante. Agora a gente vai falar para o tratamento de variáveis categóricas. A gente tem um Geraldo duas formas de tratar.

Speaker A

Tem variáveis categóricas que elas podem ser ordinais por exemplo? Escolaridade tem uma ordem primeira pessoa é? ensino básico incompleto daí seu superior mestrado eu tenho uma ordem então já que tem essa ordem a gente vai usar essa informação e daí a gente usa

Speaker A

cione code que é para a gente vai dizer qual que é Essa ordem. E vai. transformar Isso numa variável inteira Que vai ser muito bem melhor lida por um modelo. Então se a gente tem sei lá ensino médio.

Speaker A

ensino superior e pós doutorado A gente vai transformar o ensino médio zero. o ensino superior e um após doutorado em dois então, a gente pegou essa variável categoria. E transformou em números e manter a ordem ou seja manter aquela

Speaker A

informação. Agora a outra forma da gente tratar essas variáveis categóricas. seria com One Hot em code. Esse tratamento a gente geralmente usa quando não tem ordem. Que que ele faz?

Speaker A

Para cada uma das categorias ele vai criar uma coluna. de 01 que vai dizer se é ou se não é aquela categoria então por exemplo se tivesse avaliado ao sexo a gente tem. Masculino ou feminino e não informado a gente

Speaker A

ia pegar essa coluna e transformar em outras três. Uma ia ser 0. se fosse feminino a outras 601, se fosse masculino e outra esses eram se a pessoa não tivesse respondido com o que é o sexo, então isso aqui é muito usado.

Speaker A

Pode parecer meio estranho, né? Porque você Tem a formação lá bonitinha de qual que é o sexo e tal e você transforma numa variável binária, mas quando a gente tá usando algoritmo ou um modelo que né só lida com variáveis.

Speaker A

numéricas, a gente tem que fazer esse tratamento antes. para conseguir usar o modelo, então isso aqui não é uma limpeza é um tratamento que a gente está fazendo para conseguir aplicar o algoritmo ou um modelo.

Speaker A

Agora eu vou falar da transformação bem mais. é mais para vocês conhecerem porque não é uma coisa que se aplica tanto ela geralmente é aplicada para alguns algoritmos, mas se o algoritmo ele tá implementado geralmente essa normalização já vai ser feita

Speaker A

automaticamente. Mas é para vocês conhecerem. Essa normalização pega. o mínimo máximo e coloca o mínimo máximo e como 01 então por isso que para aplicação normalização a gente tem que tratar os outlanders porque né a ideia disso a gente manter

Speaker A

a distribuição, né dos dados se a gente tem um outvard rottweiler vai ser um que é o ponto de máximo ou 0 nesse Monte vai E daí vai acabar com a nossa distribuição que a gente queria fazer então a gente aplicar

Speaker A

isso aqui a gente tem que conseguir tratar o Outlet. Isso aqui é geralmente utilizado em alguns algoritmos específicos.

Speaker A

Mas então fica mais atitude curiosidade, não é uma coisa que vocês vão aplicar. Assim sem saber é mais para alguns algoritmos específicos.

Speaker A

Então as vantagens que eu comentei que preserva a distribuição original os atributos passam até mesmo escala.

Speaker A

é algo de distâncias é muito usado muito mais e para realizar. ele também é usado muito algoritmos e alguns modelos também.

Speaker A

eles vantagem aqui ele ele vai complicar ali Max, então é interessante tratar. Outra coisa que pode ser feita é a padronização.

Speaker A

Seria pegar o X de diminuir para a média dividido o padrão isso vai fazer com que a nossa coluna tem a média zero e desvio padrão 1.

Speaker A

Então vai deixar o a menos sensível ao ar e novamente, ela é usada em algum.

Speaker A

Em alguns algoritmos que eu lembro assim de cabeça, ela é usado na regressão laço e na Regressão lá na classificação laço logística, a gente tem que fazer esse nos dados, mas que nem eu falei. Tipo assim, você vai pegar um pacote do pai do

Speaker A

que faz algum desses algoritmo todo mundo estudantes, ele já vai fazer esse tratamento antes, mas é bom para vocês saberem que existe. outra transformação que a gente mostrar aqui tem essa função aqui do menino Max Scar e daí

Speaker A

É só criar ela e aplicar na coluna a gente consegue fazer essa transformação e a mesma coisa para padronização, né que é Stander. é bem É bem simples mesmo. Se você ver os códigos eles são bem bem tranquilos.

Speaker A

Mas é mais para mostrar mesmo outro tratamento que a gente pode fazer descritização. a gente pode querer dividir em classes, por exemplo criança jovem adulto idoso porque a gente Significa o quê? A pessoa tem?

Speaker A

Tem 12 anos, você a pessoa tem 24 é o dobro, né? Se a gente joga isso no algoritmo, ele vai entender isso que é o dobro é simplesmente aquilo, mas tem muita diferença entre uma pessoa de 12 anos e de 24 então uma

Speaker A

forma da gente conseguir pegar o dado e trazer informação mais seria isso, né? A gente a gente discretizar e criar. mais informação modelo uma análise que a gente tá querendo fazer.

Speaker A

Certo, a gente está finalizando aqui. Agora, a gente vai falar do último tópico. Que é divisão de conjunto de dados?

Speaker A

isso aqui é para quando a gente vai fazer uma treinamento de modelo que o que acontece.

Speaker A

Por exemplo, a gente quer fazer um modelo que prevê a renda das pessoas. Esse modelo para que que ele vai ser utilizado? para Se a gente tem informação de uma pessoa a gente consegue prever ainda deles dele e vai poder

Speaker A

usar isso para alguma coisa, né? Porque a informação da renda é muito importante. Por exemplo, se a gente quer saber para quem que a gente vai mandar uma campanha.

Speaker A

Então que eu quero dizer com isso, a gente vai criar um modelo que ele funcione para dados que a gente não tem não tem ainda ele vai ter que funcionar para dados que a gente vai adquirir então um novo cliente a gente quer

Speaker A

saber ainda dele a gente não quer saber a renda dos crentes que a gente já tem então o nosso modelo ele tem que ter um poder de generalização.

Speaker A

certo E como que a gente vai fazer ele tem esse poder de generalização a gente vai pegar os nossos dados.

Speaker A

E vamos dizer assim tirar uns 70% desses dados. usar essas 70% desses dados para treinar o modelo ou treinar o algoritmo e daí o modelo automaticamente ele vai aprender os padrões. desses dados E daí a gente vai usar aqueles

Speaker A

outros 30% dos dados que a gente reservou para ver se o modelo tá generalizando bem para eles, porque se a gente se a gente pega um modelo.

Speaker A

E aquele modelo ele conhece muito bem dos dados que ele treinou. Ele é super bem para aqueles dados e a gente avalia.

Speaker A

o modelo no mesmo estado que ele treinou vai parecer que ele tá ótimo agora se a gente vale a gente avalia.

Speaker A

Aquele modelo e um conjunto dessa que ele não viu. Ele vai ter um desempenho pior.

Speaker A

se ele não é capaz de ter um desempenho bom assim ou razoável nos dados que ele não teve contato significa que ele tem um baixo poder de generalização.

Speaker A

Então seria péssimo, aí eu tenho um modelo para prever a renda do cliente, mas eu só consigo prever a renda dos clientes que eu já tenho e que eu já sei a renda para novos clientes, ele não funciona então o modelo

Speaker A

péssimo então a gente faz tratamento de pegar os dados, ele gasta 70% dos dados treinar os 30% a gente avalia se esse modelo tá uma boa generalização.

Speaker A

E aqui a gente usa essa função do que chama train teste. A gente coloca o x o y.

Speaker A

o tamanho que vai ser do teste então 30% a gente pode colocar uma Cid para ser aleatório.

Speaker A

E esse estratify é por exemplo assim. Do navio né que teve as suas sobreviveram acho que era 30% de sua sobreviver. Para a gente ter a gente a gente pode querer que tenha a mesma proporção tanto no conjunto maior, né?

Speaker A

de teste. Então a gente vai vai estratificar para que ele mantenha essa proporção da nossa nosso conjunto de dados tanto no teste quanto no treino para que seja.

Speaker A

não sejam assim duas populações diferentes, porque daí realmente até um modelo com bosta de realização, ele pode ficar ruim porque?

Speaker A

As distribuições dos dois conjuntos são diferentes. Gente, era isso que eu tinha preparado para vocês.

Speaker A

Alguém tem alguma pergunta? nada Izabela Nascimento: Tá tranquilo. Lucas Sala Battisti: Beleza, era isso mesmo, gente. depois eu acho que Izabela Nascimento: sim Lucas Sala Battisti: você vai mandar os slides também para eles os slides daí vocês podem

Speaker A

ver com mais calma também. Espero não ter sido tão rápido. Izabela Nascimento: Pessoal tá agradecendo na Live pela aula.

Speaker A

Lucas Sala Battisti: gente Izabela Nascimento: Obrigado, Lucas pela aula incrível muito importante que você aqui é Agradeço também pelo pessoal que tá na Live pela presença de vocês.

Speaker A

e é isso pessoal, até quarta que vem com a nossa próxima aula, né? A gente não falta porque a gente vai falar sobre o projeto final e vocês vão precisar deles para conseguir o certificado, tá bom? É isso?

Speaker A

Você fecha a Live.

Topics:pré-processamentolimpeza de dadosdados faltantesoutliersciência de dadosimputaçãonormalizaçãodivisão treino e testeTitanicanálise de dados

Get More with the SozAI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries and speaker detection. 30 minutes free.

App Store Google Play

Or transcribe another YouTube video here →

Free tools: TXT to SRT · SRT Validator · Merge SRT · Subtitle to Text · All tools