Ingeniero de Datos – Pipelines y Plataforma
Compañía: Ciudad de partes
Categoría: IT
Addison
Tipo: Tiempo completo
Parts Town busca un Ingeniero de Datos (Procesamiento de Datos y Plataformas) que se centre en la creación y el mantenimiento de flujos de datos fiables y escalables en su ecosistema de datos de Google Cloud Platform (GCP). Garantizará que los datos de SAP, Salesforce, comercio electrónico, WMS y otros sistemas fluyan sin problemas a BigQuery mediante procesos automatizados, monitorizados y seguros. Desempeñará un papel fundamental en la definición de una misión basada en datos e IA, desarrollando los flujos de datos, productos y plataformas que impulsan la próxima generación de distribución digital.
El rango salarial para este puesto es de $118,679.40 a $137,799.97, basado en, entre otros factores, las cualificaciones, la experiencia y la ubicación geográfica. El paquete integral de beneficios incluye seguro médico, dental y de la vista, plan 401(k) con aportación equivalente, programas de asistencia al empleado, tiempo libre remunerado, licencia por enfermedad remunerada, días festivos pagados, licencia parental remunerada y oportunidades de desarrollo profesional.
Responsabilidades:
- Diseñe, cree y mantenga canalizaciones ETL/ELT en GCP utilizando Dataflow, Dataproc o Cloud Data Fusion.
- Administre la orquestación del flujo de trabajo con Cloud Composer (Airflow) para programar, realizar reintentos y supervisar.
- Optimice la ingesta de datos de SAP, Salesforce, eCommerce y WMS en BigQuery.
- Implemente canales de transmisión Pub/Sub para casos de uso casi en tiempo real.
- Desarrollar y gestionar capas de bronce/plata (sin procesar + limpias) con las mejores prácticas para el diseño y partición de esquemas.
- Implemente marcos de calidad de datos (Grandes Expectativas, pruebas DBT o verificaciones de Python personalizadas) con alertas automatizadas.
- Automatice CI/CD para canalizaciones de datos mediante Cloud Build o GitHub Actions.
- Supervise el costo y el rendimiento de las tuberías con Cloud Monitoring & Logging.
- Documente la arquitectura de la canalización y mantenga el linaje de datos a través de la integración de Dataplex o Collibra.
