Recolher dados
Os dados são coletados de mais de 100 fontes web validadas. As fontes web incluem portais de emprego, redes sociais e pesquisas disponíveis publicamente. Todos os dados coletados são consolidados num único banco de dados. Esta é nossa fonte de dados.
Normalizar dados
Os dados são padronizados para análise. As informações são encontradas em diferentes idiomas, campos e podem ser apresentadas de formas diferentes. Nesta etapa transformamos os dados em formatos padrão em preparação para análises posteriores.
Desduplicar dados
Os dados duplicados são removidos por meio de verificação cruzada de fontes. As ofertas de emprego podem ser publicadas em vários sites ou repetidas a cada poucas semanas. Por esse motivo, incluímos apenas dados únicos no banco de dados. Após a extração dos dados, o algoritmo da TalentUp é responsável por validar esses dados.
Validar dados
Os dados são validados comparando padrões entre fontes. Após a normalização dos dados, na próxima etapa os dados são validados para garantir precisão. Por exemplo, para entender se o salário é preciso, precisamos de mais contexto: nível de senioridade, anos de experiência, habilidades requeridas, etc.
