Data Engineer (Apache Spark, PostgreSQL, Python, Java)

Tìm kiếm một Data Engineer có kinh nghiệm để thiết kế, xây dựng và vận hành các hệ thống xử lý dữ liệu quy mô lớn. Làm việc với các công nghệ big data hiện đại, phát triển pipeline real-time và hỗ trợ các hệ thống xử lý ngôn ngữ tự nhiên (NLP) ❖ Trách nhiệm chính: Thiết kế và phát triển các data pipeline xử lý real-time và batch processing sử dụng Apache Spark và Apache Flink Xây dựng và tối ưu hóa kiến trúc data lakehouse với Apache Iceberg và Nessie catalog Phát triển các luồng streaming data với Apache Kafka Thiết kế và quản lý cơ sở dữ liệu PostgreSQL phục vụ cho các ứng dụng analytics Xây dựng ETL pipeline hỗ trợ hệ thống xử lý ngôn ngữ tự nhiên (NLP) Đảm bảo chất lượng dữ liệu, hiệu năng và độ tin cậy của hệ thống Hợp tác với team Data Science và ML Engineering để triển khai các giải pháp dữ liệu Viết documentation và chia sẻ kiến thức với team