Mô tả công việc

• Xây dựng Kiến trúc & Hệ thống Dữ liệu:

  • Thiết kế, xây dựng và quản trị hệ thống dữ liệu dựa trên kiến trúc Delta Lake / Lakehouse.

  • Áp dụng và vận hành thực tế các khái niệm cốt lõi về Data Modeling, Data Warehouse, Data Lake và Lakehouse để tối ưu hóa cấu trúc lưu trữ và truy xuất dữ liệu.

• Phát triển Pipeline (ETL/ELT):

  • Thiết kế và triển khai các hệ thống đường ống dữ liệu (ETL/ELT pipeline) tự động, hiệu năng cao để thu thập, xử lý và làm sạch dữ liệu lớn từ nhiều nguồn khác nhau.

  • Sử dụng thành thạo Python và PySpark để lập trình các tác vụ xử lý dữ liệu phân tán một cách tối ưu.

• Vận hành & Đảm bảo Chất lượng Hệ thống (Data Operations):

  • Xây dựng và cấu hình các cơ chế kiểm soát chất lượng dữ liệu (Data Quality), hệ thống giám sát (Monitoring), ghi vết (Logging), tự động thử lại (Retry) và cảnh báo lỗi (Alerting) nhằm đảm bảo hệ thống pipeline vận hành ổn định và liên tục.

  • Tập trung tối ưu hóa hiệu năng (Performance tuning) và quản lý, tối ưu chi phí vận hành (Cost optimization) trên nền tảng Data Platform (đặc biệt là Databricks).

• Hợp tác & Phát triển Sản phẩm Dữ liệu:

  • Phối hợp chặt chẽ với các đội ngũ Data Analyst (DA), Business Analyst (BA) và Data Scientist (DS) để tiếp nhận, phân tích yêu cầu bài toán kinh doanh và chuyển hóa thành các tài sản dữ liệu (Data Assets) hoàn chỉnh, sẵn sàng đưa vào khai thác và sử dụng.

Yêu cầu 

• Kinh nghiệm: ≥ 5 năm làm Data Engineer / Analytics Engineer.

• Tech Stack: Thành thạo Databricks, Delta Lake, Lakehouse architecture, PySpark & SQL nâng cao (tối ưu query/big data).

• Data Expertise: Nắm chắc Dimensional Modeling, Data Warehouse/Lake; thành thạo thiết kế ETL/ELT pipeline & công cụ BI (Looker/Mode/Hex…).

• DataOps: Có kinh nghiệm Data Quality, Monitoring, Alerting & tối ưu Cost/Performance.

• Mindset: Tư duy chủ động, tự dẫn dắt dự án End-to-End; phối hợp tốt với DA/BA/DS để tạo ra Data Assets thực chiến.