Análise Exploratória dos Dados

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib as m
import seaborn as sns
%matplotlib inline
from scipy.stats import ranksums
import glob # busca os arquivos em um caminho (path)
import os
import re
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
from biokit.viz import corrplot
import seaborn as sns
from sklearn.model_selection import train_test_split
import statsmodels.api as sm
from matplotlib.colors import ListedColormap
from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator
from PIL import Image
import pygal

df_cbo_cidadao = pd.read_csv('site/github/Dados/df_cbo_cidadao.csv')
df_prest = pd.read_csv('site/github/Dados/df_prest.csv')

%reload_ext watermark
%watermark -a "Data Scientist: Data Tree" --iversions

Author: Data Scientist: Data Tree

re         : 2.2.1
biokit     : 0.5.0
statsmodels: 0.12.2
PIL        : 8.3.2
numpy      : 1.21.2
matplotlib : 3.4.3
seaborn    : 0.11.2
pandas     : 1.3.3

df_cbo_cidadao.head(3)

df_nacionalidade = pd.DataFrame(df_empregos['NACIONALIDADE'].value_counts())
df_nacionalidade.reset_index(inplace=True)
df_nacionalidade = df_nacionalidade.rename(columns = {'index':'Nacionalidade', 'NACIONALIDADE':'Candidatos'})
df_nacionalidade['Percentual'] = df_nacionalidade['Candidatos'] / df_nacionalidade['Candidatos'].sum()
df_nacionalidade = df_nacionalidade.style.set_table_styles(contorno)
df_nacionalidade.format("{:7.2%}", subset=["Percentual"])

print("\n {}{:^55}{}".format(color.BOLD, 'Quantidade de Candidatos por Nacionalidade', color.END))
display(df_nacionalidade)

plt.style.use('ggplot')
plt.rcdefaults()
fig, ax = plt.subplots()

y_pos = np.arange(len(df_empregos['NOME_MUNICIPIO'].value_counts().head(15)))
values = df_empregos['NOME_MUNICIPIO'].value_counts().head(15)
segmentos = df_empregos['NOME_MUNICIPIO'].value_counts().keys()[:15]

ax.barh(y_pos, values, align='center')
ax.set_yticks(y_pos)
ax.set_yticklabels(segmentos)
ax.invert_yaxis()
ax.set_xlabel('Quantidade de Cantidados')
ax.set_title('15 cidades com maiores cquantidade de \nCandidatos em Santa Catarina')
plt.show()

def ordem(x):
ordem_esc = {}
ordem_esc['Analfabeto'] = 1
ordem_esc['Fundamental Incompleto'] = 2
ordem_esc['Fundamental Completo'] = 3
ordem_esc['Médio Incompleto'] = 4
ordem_esc['Médio Completo'] = 5
ordem_esc['Superior Incompleto'] = 6
ordem_esc['Superior Completo'] = 7
ordem_esc['Especialização'] = 8
ordem_esc['Mestrado'] = 9
ordem_esc['Doutorado'] = 10
return ordem_esc.get(x,0)

df_escolaridade = pd.DataFrame(df_empregos['ESCOLARIDADE'].value_counts())
df_escolaridade = df_escolaridade.reset_index().rename(columns={'index':'Escolaridade', 'ESCOLARIDADE':'Qtd. Candidatos'})
df_escolaridade['ordem'] = df_escolaridade['Escolaridade'].apply(ordem)
df_escolaridade = df_escolaridade[df_escolaridade['ordem'] != 0]
df_escolaridade = df_escolaridade.sort_values('ordem')
df_escolaridade.drop('ordem', inplace=True, axis=1)
df_escolaridade = df_escolaridade.reset_index(drop=True)
print(color.BOLD+"\nRelação de escolaridade com quantidade de candidatos\n")
df_escolaridade_s = df_escolaridade.style.set_table_styles(contorno)

display(df_escolaridade_s)

df_estudante = pd.DataFrame(df_empregos['ESTUDANTE'].value_counts()).rename(columns={'ESTUDANTE':'Estudante'})
print("\nÉ Estudante?\n")
df_estudante_s = df_estudante.style.set_table_styles(contorno)
display(df_estudante_s)
fig1, ax1 = plt.subplots()
explode = [0, 0.2]
ax1.pie(df_estudante['Estudante'], explode=explode, labels=df_estudante.index, autopct='%1.1f%%',
    shadow=True, startangle=90)
ax1.axis('equal')  # Equal aspect ratio ensures that pie is drawn as a circle.

plt.show()

maior = 0
cursos_prof = []
t_pret = [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
for emprego in df_empregos.values:
    aux = emprego[8]
    qtd_pret = 0
    #   print(type(aux))

    if isinstance(aux, str):
        aux = aux + "|"
        ind1 = 0
        ind2 = 0 
        x = len(aux)
        while ind1 < x:
            qtd_pret += 1
            ind2 = aux.find("|", ind1)
            if ind2 == 0:
                ind2 = x + 1
            cursos_prof.append(unidecode.unidecode(aux[ind1:ind2].lower()))
            ind1 = ind2 + 1

        t_pret[qtd_pret] += 1     
        if qtd_pret > maior:
            maior = qtd_pret
    else:
        t_pret[0] += 1

df_x = pd.DataFrame(cursos_prof)
print(len(pd.unique(df_x[0])))
df_x.value_counts().head(15)

import unidecode
maior = 0
graduacoes = []
t_pret = [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
for emprego in df_empregos.values:
    aux = emprego[9]
    qtd_pret = 0

    if isinstance(aux, str):
        aux = aux + "|"
        ind1 = 0
        ind2 = 0 
        x = len(aux)
        while ind1 < x:
            qtd_pret += 1
            ind2 = aux.find("|", ind1)
            if ind2 == 0:
                ind2 = x + 1
            graduacoes.append(unidecode.unidecode(aux[ind1:ind2].lower()))
            ind1 = ind2 + 1
        t_pret[qtd_pret] += 1
        if qtd_pret > maior:
            maior = qtd_pret
    else:
        t_pret[0] += 1

print("\n============================================\n")
print("Maior número de graduacoes por candidato: ",maior, "\n")

print("Graduações   Candidatos")
for i in range(len(t_pret)):
    if t_pret[i] > 0:
        print ("  ", i, "\t", "     ", t_pret[i])
print("=" * 35, "\n")

print ("\nTotal de Graduacoes: ", len(graduacoes))

df_x = pd.DataFrame(graduacoes)<
df_x.value_counts().head(20)

habilitação = df_empregos['HABILITACAO'].value_counts()
print("\nPossui que tipo de habilitação?\n")
print(habilitação)

habilitação = habilitação.reset_index()
hab = habilitação.copy()
hab['index'][hab['index'] != 'Nenhum'] = 'Possuem habilitação'
(hab.groupby('index')['HABILITACAO'].sum()/hab['HABILITACAO'].sum()*100).round(2)

index
Nenhum                 74.66
Possuem habilitação    25.34
Name: HABILITACAO, dtype: float64

import pygal 

pie_chart = pygal.Pie(inner_radius = .5) 
pie_chart.title = 'Percentual de Tipo de Carteira para \nos Candidato com habilitação'
pie_chart.add(habilitação.iloc[1,0], habilitação.iloc[1,1])
pie_chart.add(habilitação.iloc[2,0], habilitação.iloc[2,1])
pie_chart.add(habilitação.iloc[3,0], habilitação.iloc[3,1])
pie_chart.add(habilitação.iloc[4,0], habilitação.iloc[4,1])
pie_chart.add(habilitação.iloc[5,0], habilitação.iloc[5,1])
pie_chart.add(habilitação.iloc[6,0], habilitação.iloc[6,1])
pie_chart.add(habilitação.iloc[7,0], habilitação.iloc[7,1])
pie_chart.add(habilitação.iloc[8,0], habilitação.iloc[8,1])
pie_chart.add(habilitação.iloc[9,0], habilitação.iloc[9,1])

pie_chart 

graf = pd.DataFrame(df_prest['Horario'].value_counts().reset_index())
graf.columns = ['Horario','Quantidade']
graf1.plot(x='Horario', y='Quantidade', kind = 'bar', color = 'g')
plt.title("Opção de Horário")
plt.ylabel("Quantidade de Pessoas")
plt.xlabel("Período")

graf2.plot(x='Horario', y='Quantidade', kind = 'bar' , color= 'g')
plt.title("Opção de Horário")
plt.ylabel("Quantidade de Pessoas")
plt.xlabel("Período")

hora_trab = pd.DataFrame(df_prest[['Horario']].value_counts()/df_prest.shape[0]*100).round(4)
hora_trab = hora_trab.reset_index().sort_values(by = 0, ascending = False)
hora_trab.columns = ['Hora de trabalho', 'Perc.']
hora_trab

# Idiomas

maior = 0
idiomas = []
t_pret = [0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
for emprego in df_prest.values:
    aux = emprego[12]
    qtd_pret = 0

    if isinstance(aux, str):
        aux = aux + "|"
        ind1 = 0
        ind2 = 0 
        x = len(aux)
        while ind1 < x:
            qtd_pret += 1
            ind2 = aux.find("|", ind1)
            if ind2 == 0:
                ind2 = x + 1
            idiomas.append(unidecode.unidecode(aux[ind1:ind2].lower()))
            ind1 = ind2 + 1

        t_pret[qtd_pret] += 1
        if qtd_pret > maior:
            maior = qtd_pret
    else:
        t_pret[0] += 1

print("\n============================================\n")
print("Maior número de idiomas por candidato: ",maior, "\n")

print("Idiomas   Candidatos")
for i in range(len(t_pret)):
    if t_pret[i] > 0:
        print ("  ", i, "\t", "     ", t_pret[i])
print("=" * 35, "\n")

print ("\nTotal de idiomas: ", len(idiomas))

df_x = pd.DataFrame(idiomas)
valores = list(df_x.value_counts())
Idioma = list(df_x[0].unique())
df_idioma = pd.DataFrame({'Idioma': Idioma,
                    "Qtd": valores})
df_idioma['Nível'] = ""
for i in range(df_idioma.shape[0]):
    n = df_idioma.loc[i,'Idioma'].find(' ')
    df_idioma.loc[i,'Nível'] = df_idioma.loc[i,'Idioma'][n+1:]
    df_idioma.loc[i,'Idioma'] = df_idioma.loc[i,'Idioma'][:n]

df2 = df_idioma.groupby(['Idioma', 'Nível'])['Qtd'].sum().unstack('Nível').fillna(0)
df2.plot(kind='bar', stacked=True,
        title = 'Nível de Idiomas',
        mark_right = True)

colunas = str(df_x.index)
colunas = colunas.replace('MultiIndex([(',"").replace(')','').replace('"','').replace('\n','').replace('(','').replace(']','').replace("'",'').replace(",,",',')
colunas = colunas.strip()
valores = list(df_x.value_counts())
Idioma = list(df_x[0].unique())
df_idioma = pd.DataFrame({'Idioma': Idioma,
                                "Qtd. Pessoas": valores})
df_idioma['Qtd. Pessoas'] = (df_idioma['Qtd. Pessoas']/df_idioma['Qtd. Pessoas'].sum()*100).round(2)
df_idioma.set_index('Idioma', inplace = True)
quantidade = []

for i in df_idioma['Qtd. Pessoas']:
    quantidade.append(i)
posicao = []
for i in range(0,10,1): 
    posicao.append(i)

#criando uma figure, axes, alterando tamanho
fig, ax = plt.subplots(figsize=(15,10))
#criando o gráfico de barras
sns.barplot(y= df_idioma.index, x= df_idioma['Qtd. Pessoas'], ax=ax, data=df_idioma,  palette='RdPu')
#adicionando título
ax.set_title("Quantidade de Pessoas e idiomas", fontdict={'fontsize':15})
#mudando e nome e tamanho do label x
ax.set_xlabel('Idiomas', fontdict={'fontsize':14})
#mudando tamanho do label eixo y
ax.set_ylabel('')
#mudando tamanho dos labels dos ticks
ax.tick_params(labelsize=14)
#aumentando espessura linha inferior
ax.spines['bottom'].set_linewidth(2.5)

#remoção dos outros três axis
for axis in ['top', 'right', 'left']:
    ax.spines[axis].set_color(None)

#remoção dos ticks
ax.tick_params(axis='x', labelleft=False, left=None)

#Colocando a quantidade em cada barra
for i in range(15):
    ax.text(y=posicao[i]+0.2, x=quantidade[i]+1, s=str(quantidade[i]),
            fontsize=15)

#otimizar espaço da figure
fig.tight_layout();

pd_reg_pib = pd.DataFrame((df_prest.groupby('Regiao')['pib'].sum()/(df_prest['pib'].sum())*100).round(2)).reset_index()

lebels = list(pd_reg_pib['Regiao'])
pib = list(pd_reg_pib['pib'])
pie_chart = pygal.Pie(inner_radius = .5) 
pie_chart.title = 'Participação do PIB por região de Santa Catarina'
pie_chart.add(lebels[0], pib[0]) 
pie_chart.add(lebels[1], pib[1]) 
pie_chart.add(lebels[2], pib[2]) 
pie_chart.add(lebels[3], pib[3]) 
pie_chart.add(lebels[4], pib[4]) 
pie_chart.add(lebels[5], pib[5]) 

pie_chart

sal_media = df_cbo_cidadao.groupby('id_cidadao')[['Média Salarial']].agg(['min','mean','max','std'])
sal_media = sal_media.stack(level = 0)
sal_media.reset_index(inplace = True)
sal_media = sal_media[['min','mean','max','std']]
sal_media.describe()

sal_media = df_prest.join(sal_media)
sal_media['mean'].dropna(inplace = True)
sns.kdeplot(sal_media['mean'], shade=True)
plt.suptitle('Histograma do salário Médio por Profissão')
plt.xlabel('Média Salarial')
bplt.show()

sal_media['mean'].describe()

grafic2 = sal_media[(sal_media['mean']>2000) & (sal_media['mean']<10000)]
sns.distplot(grafic2['mean'])
plt.title('Selário Médio a parti de R$ 2.000,00')

plt.show()

salario = pd.DataFrame(
    [sal_media[sal_media['mean']<2000].shape[0]/sal_media.shape[0]*100,sal_media[sal_media['mean']>=2000].shape[0]/sal_media.shape[0]*100],
        ['Abaixo','Acima']).reset_index()
salario.columns = ['Salário (R$ 2.000,00)','Percentual']
salario.Percentual = salario.Percentual.round(2)
salario

ax = sns.boxplot(x = 'max', data = c_estagio[(c_estagio['mean']< 5000)], orient = 'h')
ax.figure.set_size_inches(12, 4)
ax.set_title('Salário Médio para aquele que aceitam estágio', fontsize=18)
ax.set_xlabel('Valores Reais', fontsize=14)
ax

ax = sns.boxplot(x = 'max', data = s_estagio[(s_estagio['mean']< 5000)], orient = 'h')
ax.figure.set_size_inches(12, 4)
ax.set_title('Salário Médio para aquele que aceitam estágio', fontsize=18)
ax.set_xlabel('Valores Reais', fontsize=14)
ax

sns.boxplot(x='Estagio', y='max', data=df_sal_media[df_sal_media['max'] < 2000])
plt.title('Boxplot do salário Máximo pretendido\na categoria de estágio', fontsize=18)

r = ranksums(c_estagio['mean'], s_estagio['mean'])
print('O valor do p-value é {}'.format(r.pvalue))

piso_salarial = df_cbo_cidadao.groupby('id_cidadao')['Piso Salarial'].agg(['min','median','mean','max','std'])
piso_salarial = df_prest.join(piso_salarial)
c_estagio = piso_salarial[piso_salarial['Estagio'] == "S"]
s_estagio = piso_salarial[piso_salarial['Estagio'] == "N"]
r = ranksums(c_estagio['max'], s_estagio['max'])
print('O valor do p-value é {}'.format(r.pvalue))

sal_teto = df_cbo_cidadao.groupby('id_cidadao')[['Teto Salarial']].agg(['max','std'])
sal_teto = sal_teto.stack(level = 0)
sal_teto.reset_index(inplace = True)
sal_teto = sal_teto[['max','std']]
sal_teto = df_prest.join(sal_teto)

sns.boxplot(x='Nivel_esc', y='max', data=piso_salarial[piso_salarial['max']<10000])

pd.DataFrame(piso_salarial[['ESCOLARIDADE','Nivel_esc']].value_counts())

classe = pd.DataFrame(piso_salarial['Nivel_esc'].value_counts()/piso_salarial.shape[0]*100).round(2).reset_index().sort_values(by = 'index', ascending = False)
classe.columns = ['Classificação Escolaridade','Percentual da População']
classe

c_superior = piso_salarial[piso_salarial['Nivel_esc'] == 3]
s_superior = piso_salarial[piso_salarial['Nivel_esc'] != 3]
r = ranksums(c_superior['max'], s_superior['max'])
print('O valor do p-value é {}'.format(r.pvalue))

pd.DataFrame(piso_salarial[['Regiao','Nivel_esc']].value_counts()/piso_salarial.shape[0]*100).round(2).sort_values(by = [0,'Nivel_esc'], ascending = False)

classes = [0,1300, 1400,1600,1800,50000]
		labels = ['Até R$ 1300,00','De R$1.300,00 a R$ 1.400,00', 
				  'De R$1.400,00 a R$ 1.600,00', 'De R$1.600,00 a R$ 1.800,00', 'Acima de 2 s.m']
		
		classe = pd.cut(x = sal_media['mean'], bins = classes, labels = labels)
		sal_media['Classificação'] = classe
		sal_media['Classificação'].value_counts(sort = False)

piso_salarial.groupby('Regiao')['mean'].mean().round(2)

reg_g = piso_salarial[piso_salarial['Regiao'] == 'Grande Florianópolis']
reg_n = piso_salarial[piso_salarial['Regiao'] == 'Norte']
reg_o = piso_salarial[piso_salarial['Regiao'] == 'Oeste']
reg_se = piso_salarial[piso_salarial['Regiao'] == 'Serrana']
reg_su = piso_salarial[piso_salarial['Regiao'] == 'Sul']
reg_vi = piso_salarial[piso_salarial['Regiao'] == 'Vale do Iajaí']
print("Comparando o Salário Médio entre as Regiões")
print("===========================================\n")

r = ranksums(reg_g['mean'], reg_n['mean'])
print('Entre Grande Florianópolies e a Reigão Norte \n* O valor do p-value é {}\n'.format(r.pvalue))
print("--------------------------------------------\n")

r = ranksums(reg_o['mean'], reg_se['mean'])
print('Entre Região Oeste e a Reigão Serrana \n* O valor do p-value é {}'.format(r.pvalue))
print("--------------------------------------------\n")

r = ranksums(reg_su['mean'], reg_vi['mean'])
print('Entre Região Sul e a Reigão do Vale de Itajaí \n* O valor do p-value é {}'.format(r.pvalue))
print("===========================================")

fig = px.treemap(prest_media_salarial, path=[px.Constant("Mapeamento por: Região, Escolaridade, e Disponibilidade de Horário para trabalho"),
'Regiao_y', 'ESCOLARIDADE','Horario'], values='max')
fig.update_traces(root_color="lightgrey")
fig.update_layout(margin = dict(t=50, l=25, r=25, b=25))
fig.show()