Mô Tả Công Việc
Infrastructure Management:Design, develop, and maintain robust and scalable data pipelines to handle large datasets using both on-premise and cloud platforms (e.g., AWS, GCP, Azure).Implement and manage data storage solutions, including databases and data lakes, ensuring data integrity and performance.Data Integration:Integrate data from various internal and external sources such as databases, APIs, flat files, and streaming data.Ensure data consistency, quality, and reliability through rigorous validation and transformation processes.ETL Development:Develop and implement ETL (Extract, Transform, Load) processes to automate data ingestion, transformation, and loading into data warehouses and lakes.Optimize ETL workflows to ensure efficient processing and minimize data latency.Data Quality & Governance:Implement data quality checks and validation processes to ensure data accuracy and completeness.Develop data governance frameworks and policies to manage data lifecycle, metadata, and lineage.Collaboration and Support:Work closely with data scientists, AI engineers, and developers to understand their data needs and provide technical support.Facilitate effective communication and collaboration between the AI and data teams and other technical teams.Continuous Improvement:Identify areas for improvement in data infrastructure and pipeline processes.Stay updated with the latest industry trends and technologies related to data engineering and big data
Xem toàn bộ Mô Tả Công Việc
Yêu Cầu Công Việc
Bachelor’s degree in Computer Science, Engineering, Data Science, or a related field. A Master’s degree is a plus.5+ years of experience in data engineering or a similar role.Proven experience with on-premise and cloud platforms (AWS, GCP, Azure).Strong background in data integration, ETL processes, and data pipeline development.Led the design and development of high-performance AI and data platforms, including IDEs, permission management, data pipelines, code management and model deployment systems.Proficiency in scripting and programming languages (e.g., Python, SQL, Bash).Strong knowledge of data storage solutions and databases (e.g., SQL, NoSQL, data lakes).Experience with big data technologies (e.g., Apache Spark, Hadoop).Experience with CI/CD tools (e.g., Jenkins, GitLab CI, CircleCI).Understanding of data engineering and MLOps methodologies.Awareness of security best practices in data environments.Excellent problem-solving skills and attention to detail.Managed on-premise Spark cluster for hands-on big data processing - focuses on both deployment and usage.
Xem toàn bộ Yêu Cầu Công Việc
Hình thức
Full-time
Quyền Lợi
Thời gian làm việc: Từ thứ Hai đến thứ Sáu: 08h – 17h00 ( Linh hoạt 8h/ngày)Thử việc 02 tháng, nhận 100% lương thử việc. 14 ngày phép/năm, tính theo tháng làm việc thực tế.Phụ cấp ăn trưa, gửi xe, điện thoại, công tác phí. Cung cấp Macbook, điện thoại từ thời gian thử việcTeambuilding, du lịch hằng năm. Happy hours, Snack & Cafeteria hàng tháng tại văn phòng.Tham gia BHXH, gói Bảo hiểm sức khoẻ nhân viên và người thân.Thưởng tháng 13, hiệu quả công việc, thưởng lễ/Tết, quà tết.
Mức lương
Thỏa thuận
Báo cáo tin tuyển dụng: Nếu bạn thấy rằng tin tuyển dụng này không đúng hoặc có dấu hiệu lừa đảo,
hãy phản ánh với chúng tôi.
Tham khảo: 10 Dấu hiệu nhận biết hành vi lừa đảo qua tin tuyển dụng.
Tham khảo: 10 Dấu hiệu nhận biết hành vi lừa đảo qua tin tuyển dụng.