Nhân Viên Data Crawler/Web Scraping

III. GIỚI THIỆU VỊ TRÍ

Chúng tôi đang tìm kiếm một chuyên viên Data Scraping chuyên nghiệp, có khả năng vận hành hệ thống thu thập dữ liệu quy mô lớn, đảm bảo tính ổn định, chính xác và hiệu quả.

1. Phát Triển Hệ Thống Scraping Chuyên Nghiệp

Yêu Cầu Kỹ Thuật:

Kiến Trúc Hệ Thống:

• Thiết kế script Python crawling đa nền tảng
• Xây dựng hệ thống có khả năng mở rộng
• Phát triển giải pháp crawling song song
• Quản lý luồng dữ liệu lớn, đa luồng

Công Nghệ:

• Scrapy, BeautifulSoup
• Selenium
• Asyncio, Multiprocessing
• Proxy management
• IP rotation techniques

2. Xử Lý và Chuẩn Hóa Dữ Liệu

Phương Pháp Xử Lý:

• Phát triển quy trình làm sạch dữ liệu API
• Thuật toán chuyển đổi dữ liệu
• Kiểm tra tính toàn vẹn
• Loại bỏ dữ liệu nhiễu

Công Cụ:

• Pandas
• Data validation techniques
• Machine Learning preprocessing

3. Quản Lý Cơ Sở Dữ Liệu

Kỹ Năng Chuyên Môn:

SQL Nâng Cao:

• Truy vấn phức tạp
• Tối ưu hóa hiệu năng

4. Giám Sát & Tối Ưu Hóa

Chiến Lược:

• Quản lý vận hành hệ thống scraping.
• Theo dõi hiệu suất scraping
• Xử lý thách thức:
• Chặn IP
• Giới hạn tốc độ
• CAPTCHA

1. YÊU CẦU CHUYÊN MÔN

Trình Độ Học Vấn

• Tốt nghiệp Đại học (GPA > 3.0)
• Chuyên ngành:
• Khoa học dữ liệu
• Kỹ thuật máy tính
• Hoặc các ngành liên quan đến dữ liệu
• Tiếng Anh: TOEIC > 600 hoặc IELTS >5.5

Kỹ Năng Kỹ Thuật

Python Ecosystem

• Asyncio, Multiprocessing
• Data cleaning techniques
• Machine Learning preprocessing
• Advanced error handling

Database & Big Data

• SQL (Trung cấp đến Nâng cao)
• NoSQL database management
• PySpark
• Data warehousing

Kinh Nghiệm Chuyên Sâu

• Tối thiểu 1-2 năm
• Từng triển khai dự án:
• Web scraping
• Xử lý dữ liệu tự động
• Crawling dữ liệu lớn

1. KỸ NĂNG MỀM

• Phân tích hệ thống
• Giải quyết vấn đề
• Làm việc độc lập & nhóm
• Quản lý thời gian
• Tư duy logic

1. ĐIỂM CỘNG

• Kinh nghiệm Big Data
• Thiết kế data pipeline
• Làm việc với API đa dạng
• Chứng chỉ chuyên môn
• Tính sáng tạo và chủ động đề xuất ý tưởng