Daten sammeln
Daten werden aus über 100 validierten Webquellen gesammelt. Webquellen umfassen Jobbörsen, soziale Netzwerke und öffentlich zugängliche Umfragen. Alle gesammelten Daten werden in einer einzigen Datenbank konsolidiert. Dies ist unsere Datenquelle.
Daten normalisieren
Daten werden für die Analyse standardisiert. Informationen sind in verschiedenen Sprachen und Feldern vorhanden und können auf verschiedene Arten präsentiert werden. In diesem Schritt transformieren wir die Daten in Standardformate zur Vorbereitung auf weitere Analysen.
Daten deduplizieren
Doppelte Daten werden durch Querprüfung der Quellen entfernt. Stellenangebote können auf mehreren Websites veröffentlicht oder alle paar Wochen wiederholt werden. Aus diesem Grund nehmen wir nur eindeutige Daten in die Datenbank auf. Nach der Extraktion der Daten ist der Algorithmus von TalentUp für die Validierung dieser Daten verantwortlich.
Daten validieren
Daten werden durch Vergleich von Mustern über Quellen hinweg validiert. Nachdem die Daten normalisiert wurden, werden sie im nächsten Schritt validiert, um die Genauigkeit zu gewährleisten. Z.B.: Um zu verstehen, ob das Gehalt korrekt ist, benötigen wir mehr Kontext — Seniorenebene, Berufserfahrung, erforderliche Fähigkeiten usw.
