Senior/Expert Data Engineer

Tính chất công việc

Full-time

Vị trí/chức vụ

Nhân viên/Chuyên viên

Yêu cầu bằng cấp (tối thiểu)

Đại Học

Yêu cầu kinh nghiệm

Trên 3 năm

Ngày đăng tuyển

17/09/2024

Yêu cầu giới tính

N/A

Ngành nghề

IT Phần Mềm

Kĩ năng

Data Analytics , SQL

Địa điểm làm việc

- Tòa N01A, tầng M, 275 Nguyễn Trãi, P. Thanh Xuân Trung, Q. Thanh Xuân, Hà Nội

Mô tả công việc

Tham gia triển khai dự án Data Lake: migrate dữ liệu từ hệ thống DWH cũ sang hệ thống Data Lake của AWS (bao gồm cả dữ liệu gần thời gian thực (near real-time) và dữ liệu batch (t-1))
Tiếp tục thiết kế, bảo trì Data Lake: tham gia xây dựng và tối ưu Data Marts cho các đơn vị F88.
Tham gia xây dựng luồng ETL và quản lý luồng ETL sử dụng tool quản lý ETL (Airflow).
Làm việc với team Phân tích và Khoa học Dữ liệu để làm giàu dữ liệu cho Data Lake, Data Mart và hoàn thiện các yêu cầu dữ liệu từ các Đơn vị của F88.
Cùng với team Khoa học dữ liệu xây dựng các luồng dữ liệu cho các sản phẩm về dữ liệu để vận hành tự động theo luồng nghiệp vụ của F88.
Thực hiện việc tài liệu hóa các mapping về dữ liệu Data Lake, MetaData của các hệ thống tác nghiệp được đẩy lên Data Lake đảm bảo sự ổn định, minh bạch của dữ liệu và các logic nghiệp vụ.
Tham gia vào các hoạt động làm sạch dữ liệu trên hệ thống Data Lake, nghiệp vụ F88.
Tham gia vào hoạt động vận hành, báo cáo về chất lượng dữ liệu theo mô hình Data Steward Models và Khung Quản trị Dữ liệu.

Tốt nghiệp Đại học các chuyên ngành về Công nghệ thông tin, Dữ liệu…
Có chứng chỉ liên quan đến các chuyên ngành như Khoa học Máy tính (Computer Science), Kỹ sư phần mềm (Software Engineering) hoặc các ngành về Khoa học Dữ liệu (Data Science), Quản lý Hệ thống Thông tin (Managing Information Systems) là một lợi thế
Có Mindset data-driven và sự tỷ mẩn (detail-oriented) của người xây dựng hạ tầng dữ liệu
Có từ 03 - 05năm kinh nghiệm với việc xây dựng luồng ETL trên các hệ thống lưu trữ dữ liệu có cấu trúc (Relations Databases) và thiết kế Data Marts, DataWarehouse hoặc Data Lake..
Có kinh nghiệm trong việc khởi tạo và vận hành hạ tầng về BI và nắm rõ các vấn đề về bảo mật, phân quyền cho hạ tầng BI là một lợi thế
Có kinh nghiệm về hệ thống dữ liệu có cấu trúc như: MSSQL, PostgreSQL, MySQL/Oracle
Có kinh nghiệm sâu sắc với các nền tảng Cloud như: AWS, Google Cloud, Azure…
Thuần thục với các ngôn ngữ Python hoặc Java và sử dụng thành thạo Bash script.
Có kinh nghiệm với các công cụ quản lý luồng ETL chung như: Airflow, Luigi hoặc các công cụ tương tự là một lợi thế.
Có kinh nghiệm với các công cụ về stream dữ liệu thời gian thực như: Kafka, Spark, Storm là một lợi thế.