Lộ trình · Junior → Middle · lõi 12 tuần
Middle Data Engineer
Lộ trình này đi theo đường đi của dữ liệu, không theo danh sách công cụ. Mỗi nguyên lý được học một lần, ở đúng chỗ nó phát sinh, rồi bạn nhận ra nó trong Spark, Kafka, ClickHouse, ScyllaDB mà bạn đang dùng. Dữ liệu thị trường chứng khoán Việt Nam là ví dụ xuyên suốt.
- 9 chặng · 63 chủ đề
- Tier 1: 125 giờ, vừa 12 tuần
- mở rộng Tier 2 và 3: 21,5 giờ
- nguyên lý trước, công cụ sau
- soạn 11/2026
Cách dùng trang này
- BƯỚC 1Tự trả lời trướcMở một chủ đề, đọc "Câu hỏi cốt lõi" và thử trả lời thành tiếng. Chỗ nào ấp úng là chỗ cần học.
- BƯỚC 2Học nguyên lýĐọc phần được chỉ trong "Nguồn chính thức" cho tới khi giải thích được từng dòng ở "Khái niệm phải nắm".
- BƯỚC 3Làm trên dữ liệu thậtLàm đề ở "Trên dữ liệu chứng khoán VN". Đây là phần chiếm nhiều thời gian nhất.
- BƯỚC 4Soi lại công cụĐọc "Nhìn thấy ở đâu", mở công cụ bạn đang dùng và tìm đúng cơ chế đó. Cuối cùng trả lời câu phỏng vấn trong 1 đến 2 phút.
- Tier 1Bắt buộc. Hỏi trong hầu hết phỏng vấn Middle và dùng hằng ngày. Toàn bộ Tier 1 vừa 12 tuần.
- Tier 2Quan trọng. Hiểu đúng bản chất ở mức khái niệm. Học sau tuần 12 hoặc khi công việc cần.
- Tier 3Tham khảo. Biết nó tồn tại, đọc khi ứng tuyển vị trí chuyên sâu.
Chín chặng
Số giờ là thời gian đọc nguồn và tự thực hành, không phải thời gian đọc thẻ. Thứ tự chặng theo vòng đời dữ liệu. Thứ tự nên học nằm ở lịch 12 tuần.
Nghề Data Engineer
5 CHỦ ĐỀ · 6 GIỜData Engineer giao cho người khác thứ gì, cam kết bằng con số nào, và Middle khác Junior ở cách nhận trách nhiệm cho thứ đó.
Học xong chặng này, bạn mô tả công việc của mình bằng vòng đời dữ liệu và bằng con số SLA thay vì bằng tên công cụ, đặt được một hệ thống bất kỳ lên bản đồ OLTP/OLAP, và biết những đặc thù của dữ liệu chứng khoán VN sẽ làm pipeline gãy ở đâu. Chặng 1 tiếp theo mở nắp các hệ thống trên bản đồ đó để xem dữ liệu thực sự nằm và di chuyển thế nào.
0.1Data Engineer tồn tại để làm gì: vòng đời dữ liệu và các mạch ngầmTier 11,5 giờ
Câu hỏi cốt lõi
Nếu bỏ hết tên công cụ khỏi CV, bạn mô tả công việc của mình thế nào? Dữ liệu đi qua những chặng nào từ lúc sinh ra tới lúc có người dùng, và ở mỗi chặng điều gì có thể sai?
Khái niệm phải nắm
- Vòng đời dữ liệu: generation, ingestion, transformation, serving, với storage nằm dưới cả ba chặng sau chứ không phải một bước riêng.
- Mạch ngầm (undercurrents): security, data management, DataOps, data architecture, orchestration, software engineering. Chúng không thuộc chặng nào mà chạy xuyên mọi chặng.
- Sản phẩm của Data Engineer là dataset đáng tin: đúng, đủ, kịp lúc, tìm được. Một job chạy xanh nhưng ra số sai thì chưa giao được gì.
- Upstream và downstream: bạn đứng giữa hệ thống nguồn mà bạn không kiểm soát và người dùng dữ liệu mà bạn phải cam kết. Phần lớn sự cố bắt đầu ở hai biên này.
- Công cụ là hiện thực của một chặng: đổi công cụ thì câu hỏi của chặng vẫn giữ nguyên.
Vì sao quan trọng
Khi được hỏi "kể về pipeline bạn từng làm", Junior liệt kê công cụ, còn Middle kể đường đi của dữ liệu, yêu cầu của người dùng và chỗ pipeline hay gãy. Khung vòng đời là thứ cho bạn cách kể đó, và cũng là mục lục của toàn bộ lộ trình này.
Nhìn thấy ở đâu
Xếp stack bạn đang dùng vào khung: NiFi và Kafka làm ingestion. MinIO/S3 là storage. Spark làm transformation. ClickHouse, ScyllaDB và Elasticsearch vừa lưu vừa phục vụ, mỗi cái cho một kiểu truy vấn. Airflow là orchestration, tức một mạch ngầm chứ không phải một chặng.
Trên dữ liệu chứng khoán VN
Vẽ lại đường đi hiện có: pull_tcbs.py và pull_dnse.py gọi API, ghi JSON thô kèm _manifest.json, rồi chuẩn hóa thành fact_daily_bar và dim_symbol trong data/canonical/. Gắn mỗi bước vào một chặng của vòng đời, rồi đánh dấu những mạch ngầm đang thiếu: ai lên lịch chạy, ai phát hiện khi một ngày giao dịch bị thiếu, chạy lại hai lần thì có nhân đôi dữ liệu không (cơ chế ở 1.5).
Phỏng vấn hay hỏi
- Mô tả một pipeline bạn từng làm, đi từ nguồn tới người dùng cuối. Nếu nó hỏng lúc 2 giờ sáng thì khả năng cao hỏng ở đâu trước?
- Trách nhiệm của Data Engineer khác Data Analyst và Backend Engineer ở điểm nào?
Nguồn chính thức
- Fundamentals of Data Engineering (Reis & Housley): chương 1 và chương 2, phần data engineering lifecycle và undercurrents
0.2Từ yêu cầu nghiệp vụ tới SLA: freshness, latency, correctness, costTier 11 giờ
Câu hỏi cốt lõi
Người dùng nói "cần dữ liệu realtime". Bạn hỏi lại những câu gì để biến câu đó thành con số đo được? Khi freshness, correctness và cost kéo về ba hướng, bạn hy sinh cái nào trước và lấy gì làm căn cứ?
Khái niệm phải nắm
- SLI, SLO, SLA: SLI là con số đo được, SLO là ngưỡng mục tiêu cho SLI đó, SLA là cam kết với người dùng kèm hệ quả khi vi phạm. Không có SLI thì SLO chỉ là mong muốn.
- Freshness khác latency: freshness là dữ liệu mới nhất trong bảng cũ bao lâu so với thực tế, latency là thời gian một truy vấn trả lời. Báo cáo cuối ngày cần freshness theo giờ, API giá cần latency dưới giây, và đó là hai thiết kế khác nhau.
- Correctness và completeness: đúng giá trị và đủ dòng. Một bảng tươi nhưng thiếu vài mã là vi phạm cam kết, không phải "gần đúng".
- Cost là một chiều của SLA: kéo freshness từ một giờ xuống một phút thường biến batch thành streaming, chi phí hạ tầng và vận hành tăng nhiều lần. Người yêu cầu phải thấy giá của yêu cầu.
- Error budget: phần vi phạm được phép trong một kỳ. Nó biến tranh luận cảm tính "có nên đổi pipeline lúc này không" thành câu hỏi "còn bao nhiêu ngân sách lỗi".
Vì sao quan trọng
Nhiều pipeline bị làm lại vì nhận yêu cầu "càng nhanh càng tốt" rồi dựng streaming cho một báo cáo chỉ được mở lúc 8 giờ sáng. Trong phỏng vấn thiết kế, người hỏi chờ bạn hỏi ra các con số này trước, ai nhảy vào chọn công nghệ ngay là mất điểm.
Nhìn thấy ở đâu
Kafka: consumer lag đo bằng số bản ghi. Đổi ra thời gian (bản ghi cũ nhất chưa xử lý đã chờ bao lâu) mới thành SLI freshness của pipeline streaming. Airflow: lịch chạy đặt trần freshness của mọi bảng batch, chạy mỗi ngày một lần thì freshness tệ nhất gần 24 giờ cộng thời gian chạy. ClickHouse: đo freshness bằng chênh lệch giữa now() và giá trị thời gian lớn nhất trong bảng, đặt thành truy vấn kiểm tra định kỳ.
Trên dữ liệu chứng khoán VN
Viết SLO cho hai người dùng của cùng bộ dữ liệu: (a) API trả match_vnd và bid1_vnd..offer3_vnd từ fact_market_snapshot cho app giao dịch, (b) báo cáo cuối ngày từ fact_daily_bar. Với mỗi người dùng, định nghĩa một SLI freshness bằng cột cụ thể (chênh lệch ingest_ts và event_ts trong fact_tick, hoặc max(trade_date) so với ngày gần nhất trong dim_trading_calendar), một SLI completeness (số mã có dữ liệu so với 436 mã trong dim_symbol), rồi ghi ra những gì phải đổi trong pipeline nếu (a) đòi freshness 1 giây.
Phỏng vấn hay hỏi
- Stakeholder xin một dashboard realtime. Bạn làm gì trước khi viết dòng code đầu tiên?
- Pipeline A trễ 2 giờ nhưng số đúng, pipeline B đúng giờ nhưng thiếu 1% dòng. Cái nào nghiêm trọng hơn, và bạn quyết định dựa trên gì?
Nguồn chính thức
- Google SRE Book, chương Service Level Objectives: các mục Service Level Terminology (indicators, objectives, agreements) và Choosing Targets
- Fundamentals of Data Engineering: chương 4, phần cost optimization và total cost of ownership
0.3OLTP vs OLAP và bản đồ các loại hệ thống dữ liệuTier 11,5 giờ
Câu hỏi cốt lõi
Vì sao "giá khớp hiện tại của một mã" và "khối lượng trung bình 20 phiên của mọi mã" nên chạy trên hai loại hệ thống khác nhau, dù cùng một dữ liệu giá? Nếu chỉ được giữ một hệ thống, bạn mất gì?
Khái niệm phải nắm
- OLTP: rất nhiều truy vấn nhỏ đọc hoặc ghi vài dòng theo khóa, cần độ trễ thấp và transaction. Tối ưu cho truy cập theo dòng và index điểm.
- OLAP: ít truy vấn hơn nhưng mỗi truy vấn quét hàng triệu dòng, chỉ vài cột, rồi gom nhóm. Tối ưu cho đọc tuần tự, nén và lưu theo cột (1.1).
- Access pattern quyết định hệ thống: ghi nhiều hay đọc nhiều, đọc theo khóa hay quét theo khoảng, có sửa tại chỗ hay chỉ append. Hỏi access pattern trước, chọn hệ thống sau.
- Bản đồ các loại hệ thống: database quan hệ (OLTP), kho phân tích cột (OLAP), wide-column (ghi nhiều, đọc theo partition key), search engine (inverted index cho lọc linh hoạt và tìm văn bản), log (dòng sự kiện có thứ tự), object storage (file rẻ, bền, không tự truy vấn), engine xử lý (tính toán, không sở hữu dữ liệu).
- Tách compute khỏi storage: khi engine đọc thẳng file trên object storage, "lưu ở đâu" và "tính bằng gì" thành hai quyết định riêng (3.1).
- Không hệ nào giỏi cả hai: tối ưu ghi điểm và tối ưu quét kéo về hai hướng ngược nhau. Pipeline tồn tại để chuyển dữ liệu giữa các hệ đó.
Vì sao quan trọng
Câu "sao không chạy báo cáo thẳng trên database của app" xuất hiện ở mọi dự án. Trả lời bằng access pattern và cách dữ liệu nằm trên đĩa thì thuyết phục được, trả lời bằng "vì công cụ kia nhanh hơn" thì không. Chọn storage cụ thể theo access pattern học ở 3.6.
Nhìn thấy ở đâu
ClickHouse là OLAP lưu cột. ScyllaDB là wide-column, ghi rất nhanh và đọc tốt theo partition key, quét toàn bảng thì kém. Elasticsearch là search engine với inverted index, mạnh ở lọc nhiều điều kiện tùy ý và full-text, không nên là nơi giữ bản gốc. Kafka là log. MinIO/S3 là object storage. Spark và NiFi là engine xử lý và di chuyển, không sở hữu dữ liệu. Hệ thống giao dịch của TCBS và DNSE là OLTP, bạn chỉ thấy nó qua API.
Trên dữ liệu chứng khoán VN
Gán mỗi yêu cầu sau cho một loại hệ thống trên bản đồ, kèm lý do bằng access pattern: (1) match_vnd và ba mức giá mua bán hiện tại của một symbol trong fact_market_snapshot. (2) Tổng volume theo tháng của mọi mã trong fact_daily_bar_synth. (3) Lọc mã theo is_vn30, khoảng change_pct và ngưỡng room, điều kiện do người dùng tự chọn. (4) Mọi tick của SHB trong một ngày từ fact_tick. (5) Lưu JSON thô của mỗi lần gọi API. Yêu cầu nào cần hai hệ thống?
Phỏng vấn hay hỏi
- Vì sao không chạy truy vấn phân tích thẳng trên database giao dịch của ứng dụng? Nếu buộc phải làm thì bạn giảm thiệt hại thế nào?
- Cần lưu lịch sử tick và phục vụ hai kiểu truy vấn: tick của một mã trong một khoảng thời gian, và thống kê toàn thị trường theo phút. Bạn chọn loại lưu trữ nào cho từng kiểu, vì sao?
Nguồn chính thức
- Designing Data-Intensive Applications (Kleppmann): chương 3, mục Transaction Processing or Analytics? và Data Warehousing
- Fundamentals of Data Engineering: chương 6 Storage, phần các hệ thống lưu trữ và trừu tượng lưu trữ
0.4Junior khác Middle ở đâu: ownership và trade-offTier 11 giờ
Câu hỏi cốt lõi
Bạn được giao "thêm cột change_pct vào API". Junior làm xong ticket rồi đóng. Middle hỏi thêm gì trước khi làm, kiểm tra gì trước khi đóng, bàn giao gì sau khi xong, và ai sẽ phát hiện nếu cột đó ra số sai mà job vẫn xanh?
Khái niệm phải nắm
- Phạm vi nhận việc: Junior nhận task đã được chia nhỏ và làm đúng task. Middle nhận một vấn đề (một pipeline, một nhóm dataset), tự chia thành task, ước lượng, và nêu rủi ro trước khi bắt đầu.
- Sở hữu dataset, không phải sở hữu code: có kiểm tra chất lượng sau mỗi lần nạp, có alert tới chính mình, có runbook, biết downstream nào đọc bảng và báo trước khi đổi schema.
- Trade-off được viết ra: mỗi quyết định thiết kế có ít nhất hai phương án, tiêu chí chọn (SLA, chi phí, độ phức tạp vận hành) và điều kiện khiến phải đổi ý. Junior chọn thứ mình đã biết dùng.
- Xử lý sự cố đến cùng: Junior sửa triệu chứng rồi chạy lại. Middle khoanh vùng dữ liệu bị ảnh hưởng, backfill đúng phần đó, báo người dùng, viết postmortem không đổ lỗi và thêm kiểm tra để lỗi không lặp lại (7.3).
- Hiểu một tầng dưới công cụ: giải thích job chậm hay dữ liệu trùng bằng cơ chế (partition, shuffle, retry), không bằng cách thử cấu hình ngẫu nhiên. Chặng 1 tồn tại cho việc này.
- Giao tiếp có con số: đổi yêu cầu thành SLA (0.2), review code người khác bằng câu hỏi vận hành: chạy lại thì sao, dữ liệu gấp mười thì sao.
Vì sao quan trọng
Vòng phỏng vấn Middle chấm phần lớn ở cách bạn kể: "tôi được giao" là giọng Junior, "tôi phát hiện, đề xuất hai phương án, chọn A vì..., kết quả đo được là..." là giọng Middle. Câu chuyện chỉ thuyết phục khi hành vi đó có thật trong công việc hằng ngày (8.3).
Nhìn thấy ở đâu
Kafka: consumer chậm thì Junior tăng số partition, Middle kiểm tra key có lệch không và biết tăng partition làm đổi ánh xạ key sang partition. Spark: gặp OOM thì Junior tăng memory, Middle mở Spark UI xem stage nào spill, task nào lệch. ClickHouse: query chậm thì Junior tạo thêm bảng, Middle xem ORDER BY có khớp điều kiện lọc không. Airflow: task lỗi thì Junior bấm Clear, Middle biết task có idempotent không trước khi bấm.
Trên dữ liệu chứng khoán VN
Đóng vai owner của fact_daily_bar: viết một trang mô tả gồm grain (một dòng là gì), khóa duy nhất, SLO freshness, ai dùng, và kiểm tra nào chạy sau mỗi lần nạp. Khi viết khóa duy nhất bạn sẽ gặp một vấn đề có thật: TCB có dòng từ cả source = tcbs lẫn dnse cho cùng trade_date, và close_vnd hai nguồn lệch nhau vài đồng. Ghi ra hai phương án xử lý, tiêu chí chọn, và ai cần được báo.
Phỏng vấn hay hỏi
- Kể một lần bạn phát hiện vấn đề dữ liệu trước khi người dùng báo. Bạn phát hiện bằng cách nào, và đã thay đổi gì để nó không lặp lại?
- Kể một quyết định kỹ thuật bạn đề xuất mà có phương án thay thế. Vì sao chọn nó, và điều gì sẽ khiến bạn đổi ý?
Nguồn chính thức
- Fundamentals of Data Engineering: chương 1 (data engineering skills and activities, data maturity) và chương 3 (principles of good data architecture, reversible decisions)
- Google SRE Book, chương Postmortem Culture: Learning from Failure: toàn chương, đặc biệt phần blameless postmortem
0.5Dữ liệu xuyên suốt: thị trường chứng khoán Việt NamTier 11 giờ
Câu hỏi cốt lõi
Vì sao không thể coi chuỗi giá của một mã là "mỗi ngày làm việc một dòng, giá là số thực liên tục"? Quy tắc nào của thị trường phải nằm trong pipeline dưới dạng kiểm tra, và quy tắc nào thay đổi theo thời gian nên phải là dữ liệu chứ không phải code?
Khái niệm phải nắm
- Phiên giao dịch: trên HOSE, khớp lệnh định kỳ mở cửa (ATO) 09h00 đến 09h15, khớp lệnh liên tục 09h15 đến 11h30 và 13h00 đến 14h30, khớp lệnh định kỳ đóng cửa (ATC) 14h30 đến 14h45, giao dịch thỏa thuận chạy song song tới 15h00. Ở phiên định kỳ nhiều lệnh khớp cùng một giá, cùng một thời điểm, nên timestamp không phải khóa duy nhất.
- Tham chiếu, trần, sàn: trần và sàn tính từ giá tham chiếu theo biên độ (cổ phiếu HOSE ±7%) rồi làm tròn theo đơn vị yết giá. Ngày giao dịch đầu tiên, ngày trở lại sau khi bị tạm ngừng từ 25 phiên, và một số ngày không hưởng quyền dùng biên độ ±20%. Giá khớp lô chẵn ngoài khoảng sàn tới trần là dấu hiệu lỗi dữ liệu.
- Đơn vị yết giá và lô: cổ phiếu dưới 10.000 đồng bước 10 đồng, từ 10.000 đến 49.950 bước 50 đồng, từ 50.000 trở lên bước 100 đồng. Lô chẵn 100 cổ phiếu, lô lẻ 1 đến 99. Giao dịch thỏa thuận yết giá theo bước 1 đồng, nên đừng áp kiểm tra bước giá cho nó.
- Lịch giao dịch là dữ liệu: thứ Hai đến thứ Sáu trừ ngày nghỉ theo Bộ luật Lao động, và sở có thể bổ sung ngày nghỉ giữa năm. Ví dụ ngày 11/11/2026 HOSE thông báo thêm ngày nghỉ thứ Ba 24/11/2026. Công thức "trừ thứ Bảy, Chủ nhật" sẽ sai.
- Giá điều chỉnh: khi trả cổ tức, phát hành thêm hay tách cổ phiếu, giá tham chiếu ngày không hưởng quyền được điều chỉnh, tạo bước nhảy giả trong chuỗi giá gốc. Chuỗi điều chỉnh ngược về quá khứ do từng nhà cung cấp tự tính, nên mỗi nguồn một khác, và lịch sử bị viết lại sau mỗi sự kiện quyền.
Vì sao quan trọng
Pipeline không biết các quy tắc này sẽ báo "thiếu dữ liệu" vào ngày lễ, gộp nhầm hai nguồn có cách điều chỉnh khác nhau, hoặc tính lợi suất sai ở ngày chia cổ tức. Kiến thức miền biến thành kiểm tra dữ liệu cụ thể cũng là chất liệu tốt nhất để kể trong phỏng vấn.
Nhìn thấy ở đâu
JSON thô của TCBS và DNSE mô tả cùng khái niệm bằng tên trường khác nhau. Trong Spark, các quy tắc trên thành bước kiểm tra sau chuẩn hóa. Trong ClickHouse, CONSTRAINT ... CHECK chặn bản ghi vi phạm ngay lúc INSERT. Trong Airflow, lịch giao dịch nên là bảng được đọc khi chạy, không phải danh sách ngày hard-code trong DAG.
Trên dữ liệu chứng khoán VN
Kiểm chứng quy tắc bằng chính dữ liệu. (1) Trong fact_market_snapshot, tính ceil_vnd / ref_vnd cho 436 mã và giải thích các mã lệch khỏi 1,07 (AMY, BMJ, DRH lệch nhiều, PTL, VPG lệch ít). (2) Kiểm tra bid1_vnd..offer3_vnd có đúng bước giá, tách riêng chứng chỉ quỹ và ETF (mã FUE…, E1VFVN30) và các mức giá rỗng. (3) dim_trading_calendar chỉ chứa ngày giao dịch và dừng ở 2026-11-20: tìm các khoảng trống, gán tên ngày lễ, rồi giải thích vì sao bảng không thể cho biết 24/11/2026 là ngày nghỉ, và sửa thiết kế bảng thế nào để biết. (4) Vì sao close_vnd của TCB nguồn tcbs có giá như 22168, lệch bước giá? (5) Vì sao cả 100 dòng fact_tick_sample đều có match_time 14:45?
Phỏng vấn hay hỏi
- Thiết kế bảng giá ngày phục vụ cả biểu đồ (cần giá điều chỉnh) lẫn đối soát giao dịch (cần giá gốc). Bạn lưu gì, và cập nhật thế nào khi có sự kiện chia cổ tức?
- Pipeline báo thiếu dữ liệu vào một ngày thứ Ba. Bạn kiểm tra gì trước khi gọi đó là sự cố?
Nguồn chính thức
- HOSE: Quy chế Niêm yết và giao dịch chứng khoán niêm yết (22/QĐ-HĐTV, 16/03/2026): tệp đính kèm PLQD22, Phụ lục III mục 1 (thời gian giao dịch, đơn vị giao dịch, đơn vị yết giá, biên độ dao động giá)
- HOSE: Lịch giao dịch: các thông báo lịch nghỉ giao dịch năm 2026, gồm thông báo bổ sung ngày nghỉ 24/11/2026
Nền móng: dữ liệu trên một máy và nhiều máy
8 CHỦ ĐỀ · 15 GIỜDữ liệu thực sự nằm trên đĩa và chạy giữa các máy thế nào, và vì sao mọi hệ thống phân tán đều phải chọn đánh đổi.
Đây là chặng duy nhất giảng các nguyên lý nền: lưu theo cột, storage engine, partitioning, replication, idempotency. Học xong, bạn giải thích được bằng cùng một bộ khái niệm vì sao kho phân tích quét nhanh, vì sao hệ wide-column ghi nhanh, vì sao log chỉ giữ thứ tự trong một partition, và vì sao "exactly-once" luôn có điều kiện. Các chặng 2 đến 6 áp dụng những nguyên lý này vào thu nạp, lưu trữ, biến đổi, điều phối và link về đây thay vì giảng lại.
1.1Dữ liệu nằm trên đĩa thế nào: row vs columnar, encoding, compressionTier 12 giờ
Câu hỏi cốt lõi
Một truy vấn đọc 3 trên 30 cột của 100 triệu dòng. Vì sao lưu theo cột nhanh hơn hàng chục lần cho truy vấn này nhưng lại vụng về khi sửa một dòng? Vì sao chỉ đổi thứ tự sắp xếp dữ liệu mà dung lượng có thể giảm nhiều lần?
Khái niệm phải nắm
- Row-oriented: các giá trị của một dòng nằm cạnh nhau. Đọc hay ghi cả dòng theo khóa rất rẻ, nhưng quét một cột buộc phải đọc qua mọi cột khác.
- Column-oriented: mỗi cột lưu liền thành khối riêng. Truy vấn chỉ đọc cột cần (column pruning), giá trị cùng kiểu đứng cạnh nhau nên nén tốt và xử lý vector hóa được. Đổi lại, ghi một dòng phải chạm vào nhiều khối, nên hệ cột thích ghi theo lô lớn và tránh sửa tại chỗ.
- Encoding: biến đổi dựa trên kiểu và phân bố giá trị, chạy trước khi nén. Dictionary thay chuỗi lặp bằng mã số nhỏ. Run-length lưu giá trị kèm số lần lặp. Delta lưu chênh lệch với giá trị trước, hợp với timestamp và chuỗi tăng dần. Bit-packing chỉ dùng đúng số bit cần.
- Compression: lớp nén tổng quát chạy sau encoding, LZ4 ưu tiên tốc độ, ZSTD ưu tiên tỉ lệ. Bạn trả CPU giải nén để bớt byte đọc từ đĩa và mạng, và với dữ liệu phân tích thì I/O gần như luôn là nút cổ chai.
- Thứ tự sắp xếp quyết định độ nén: sắp theo cột ít giá trị phân biệt trước làm các đoạn lặp dài ra và chênh lệch nhỏ đi, run-length và delta làm việc tốt hơn hẳn.
- File cột mở (Parquet, ORC): mang các ý tưởng trên vào file nằm trên object storage, ai cũng đọc được. Cấu trúc bên trong một file Parquet học ở 3.2.
Vì sao quan trọng
Mọi câu "vì sao query này chậm" trên kho phân tích bắt đầu bằng: nó đọc bao nhiêu cột, bao nhiêu byte. Câu phỏng vấn kinh điển "vì sao Parquet hợp với analytics" cần đủ ba ý: column pruning, encoding theo kiểu dữ liệu, nén trên dữ liệu đồng nhất.
Nhìn thấy ở đâu
ClickHouse MergeTree lưu mỗi cột một file .bin nén riêng, mặc định LZ4 ở bản tự vận hành, cho khai báo codec theo cột như CODEC(DoubleDelta, ZSTD) cho cột thời gian, và LowCardinality(String) là dictionary encoding cho cột chuỗi ít giá trị. Spark đọc Parquet theo cột và chỉ lấy cột cần, xem ReadSchema trong plan của FileScan. ScyllaDB lưu theo dòng trong partition, và _source của Elasticsearch là document nguyên khối, nên cả hai quét một cột trên toàn bộ dữ liệu rất kém. Elasticsearch bù bằng doc_values, một bản lưu theo cột trên đĩa phục vụ sort và aggregation. MinIO/S3 chỉ giữ byte, lợi ích của định dạng cột nằm ở engine đọc file.
Trên dữ liệu chứng khoán VN
Lấy một ngày của fact_tick (khoảng 266 nghìn dòng) và ghi ra ba bản: CSV, Parquet giữ nguyên thứ tự, Parquet sắp theo symbol, event_ts. So kích thước ba bản. Đọc metadata của hai file Parquet để xem mỗi cột được encoding thế nào và kích thước nén từng cột, rồi giải thích vì sao session nhỏ gần như bằng không, còn symbol chỉ co lại mạnh khi file được sắp theo symbol, và vì sao price_vnd nhỏ đi khi đã sắp theo symbol.
Phỏng vấn hay hỏi
- Vì sao định dạng cột hợp với phân tích, còn database giao dịch vẫn lưu theo dòng?
- Cùng một bảng, đổi thứ tự sắp xếp làm dung lượng giảm một nửa. Giải thích cơ chế.
Nguồn chính thức
- Designing Data-Intensive Applications: chương 3, mục Column-Oriented Storage (Column Compression, Sort Order in Column Storage)
- Apache Parquet: Encodings: Dictionary, RLE/Bit-Packing Hybrid, DELTA_BINARY_PACKED
- ClickHouse: Column compression codecs: general-purpose codecs, specialized codecs (Delta, DoubleDelta, Gorilla, T64)
1.2Storage engine và index: B-Tree, LSM-Tree, sparse indexTier 12,5 giờ
Câu hỏi cốt lõi
Vì sao có engine ghi rất nhanh nhưng đọc một khóa phải dò qua nhiều file, còn engine khác đọc ổn định nhưng ghi ngẫu nhiên lại đắt? Một index chỉ giữ một entry cho mỗi vài nghìn dòng vẫn tìm nhanh được nhờ điều kiện gì, và khi nào nó vô dụng?
Khái niệm phải nắm
- B-Tree: cây các trang kích thước cố định, sửa tại chỗ, kèm write-ahead log để sống sót qua crash. Đọc theo khóa ổn định, nhưng mỗi ghi ngẫu nhiên có thể phải ghi lại nhiều trang.
- LSM-Tree: ghi vào memtable trong RAM cùng commit log, đầy thì xả thành file đã sắp xếp và bất biến (SSTable), nền chạy compaction gộp file. Ghi là tuần tự nên rất nhanh, đọc có thể phải kiểm tra nhiều file, nên cần bloom filter và compaction.
- Ba loại khuếch đại: write amplification (một byte ghi thành nhiều byte do compaction hay ghi lại trang), read amplification (phải đọc bao nhiêu chỗ để trả một khóa), space amplification (bản cũ chiếm chỗ tới khi được gộp). Chọn chiến lược compaction là chọn một điểm trên tam giác này.
- Xóa trong hệ bất biến: xóa hay sửa là ghi bản mới hoặc tombstone. Dữ liệu cũ chỉ biến mất khi compaction chạy, nên "đã xóa" và "đã giải phóng chỗ" là hai thời điểm khác nhau, và nhiều tombstone làm đọc chậm.
- Sparse index: dữ liệu đã sắp theo khóa thì chỉ cần lưu khóa của dòng đầu mỗi khối vài nghìn dòng, binary search tìm khối rồi quét khối. Index nhỏ vừa RAM, nhưng chỉ hiệu quả khi điều kiện lọc khớp tiền tố của khóa sắp xếp.
- Dense và secondary index: một entry cho mỗi dòng, cho phép tìm theo cột không phải khóa chính, đổi lại tốn chỗ và làm chậm ghi.
Vì sao quan trọng
Chọn sai khóa sắp xếp cho bảng phân tích là lỗi đắt nhất vì phải dựng lại bảng mới sửa được. Câu phỏng vấn "vì sao xóa nhiều mà dung lượng không giảm, đọc lại chậm đi" chỉ trả lời được khi bạn biết tombstone và compaction. Áp dụng khi chọn storage ở 3.6 và tối ưu truy vấn ở 5.4.
Nhìn thấy ở đâu
ScyllaDB là LSM thuần: commit log, memtable, SSTable, và các compaction strategy STCS, LCS, ICS, TWCS, trong đó TWCS hợp dữ liệu chuỗi thời gian có TTL. ClickHouse MergeTree ghi theo kiểu LSM: mỗi INSERT tạo một part bất biến đã sắp theo ORDER BY, nền merge các part, và primary index là sparse index với một mark cho mỗi granule (mặc định index_granularity = 8192 dòng). Đây là lý do INSERT từng dòng một làm ClickHouse quá tải part. Elasticsearch qua Lucene ghi segment bất biến rồi merge, xóa chỉ là đánh dấu. Database quan hệ ở hệ nguồn thường dùng B-Tree.
Trên dữ liệu chứng khoán VN
Giả sử lưu một ngày fact_tick (khoảng 266 nghìn dòng) trong bảng sắp theo (symbol, event_ts), sparse index 8192 dòng một khối. Tính số entry của index. Dự đoán số khối phải đọc cho: (a) tick của SHB trong 30 phút, (b) mọi tick có qty > 100000 bất kể mã, (c) mọi tick trong phiên ATC. Kiểm chứng bằng cách sắp dữ liệu theo đúng thứ tự đó, chia khối 8192 dòng, ghi min/max từng cột mỗi khối, rồi đếm số khối có thể chứa kết quả.
Phỏng vấn hay hỏi
- So sánh B-Tree và LSM-Tree. Với workload ghi tick liên tục và đọc theo mã trong khoảng thời gian, bạn chọn gì, chiến lược compaction nào?
- Bảng phân tích có khóa sắp xếp
(trade_date, symbol). Truy vấn lọc theosymbolchạy chậm. Vì sao, và có những cách sửa nào?
Nguồn chính thức
- Designing Data-Intensive Applications: chương 3, mục SSTables and LSM-Trees, B-Trees, Comparing B-Trees and LSM-Trees
- ClickHouse: A practical introduction to primary indexes: phần data is organized into granules, primary index has one entry per granule, mark files
- ScyllaDB: Compaction Strategies: so sánh STCS, LCS, ICS, TWCS theo read, write, space amplification
1.3Chia dữ liệu ra nhiều máy: partitioning, sharding, hot keyTier 12 giờ
Câu hỏi cốt lõi
Bạn chia dữ liệu tick ra 12 máy theo hash của mã. Vì sao một máy vẫn quá tải, và vì sao đổi sang chia theo thời gian lại sinh ra một kiểu điểm nóng khác? Thêm máy thứ 13 thì bao nhiêu dữ liệu phải di chuyển?
Khái niệm phải nắm
- Partitioning (sharding): chia một tập dữ liệu thành nhiều phần, mỗi phần do một node phụ trách, để dung lượng và thông lượng vượt giới hạn một máy. Partition key quyết định bản ghi nằm ở đâu và một truy vấn phải hỏi bao nhiêu node.
- Chia theo khoảng (range): giữ thứ tự khóa nên quét theo khoảng rẻ, nhưng nếu khóa là thời gian thì mọi ghi mới dồn vào partition cuối.
- Chia theo hash: rải đều tải ghi, nhưng mất thứ tự giữa các key, nên truy vấn theo khoảng phải hỏi mọi partition rồi gộp (scatter-gather).
- Hot key và skew: hash rải đều key chứ không rải đều tải. Một key chiếm phần lớn bản ghi vẫn nằm trọn trên một partition. Cách xử lý: thêm hậu tố ngẫu nhiên vào key (salting) rồi gộp lại khi đọc, tách riêng key nóng, hoặc dùng key ghép.
- Rebalancing:
hash(key) mod Nlàm gần như mọi key đổi chỗ khi N đổi. Hệ thật dùng số partition cố định lớn hơn nhiều so với số node, hoặc consistent hashing, để chỉ một phần dữ liệu phải di chuyển. - Thứ tự gắn với partition: thứ tự chỉ được bảo đảm trong một partition. Chọn partition key cũng là chọn phạm vi giữ thứ tự.
Vì sao quan trọng
Partition key là quyết định khó đổi nhất trong hệ phân tán, đổi là phải ghi lại toàn bộ dữ liệu. "Một consumer lag mãi trong khi các consumer khác rảnh" và "một task chạy 40 phút, 199 task kia 10 giây" là cùng một nguyên lý. Áp dụng cho log ở 2.3, bố cục file ở 3.3, skew khi tính toán ở 4.5.
Nhìn thấy ở đâu
Kafka: topic chia partition, producer băm key để chọn partition, thứ tự chỉ giữ trong partition, tăng số partition làm đổi ánh xạ key sang partition. ScyllaDB: partition key băm Murmur3 thành token trên ring, bản hiện hành mặc định dùng tablets để tự tách, gộp và di chuyển dữ liệu giữa node. Một large partition trong ScyllaDB chính là hot key ở dạng lưu trữ. Elasticsearch: số primary shard cố định lúc tạo index, document vào shard theo hash của _routing (mặc định là _id), muốn đổi phải split, shrink hoặc reindex. Spark: số partition khi đọc file theo spark.sql.files.maxPartitionBytes (mặc định 128 MB), sau shuffle theo spark.sql.shuffle.partitions (mặc định 200). ClickHouse: PARTITION BY chia part theo khoảng để quản lý, còn chia ra nhiều máy là việc của bảng Distributed với sharding key. Trên MinIO/S3, thư mục trade_date=... chỉ là tiền tố tên object, engine đọc mới biến nó thành partition.
Trên dữ liệu chứng khoán VN
Trên 20 ngày fact_tick medium (khoảng 5,3 triệu dòng, 394 mã, mã nhiều nhất là SHB chiếm gần 6%), giả lập chia theo hash(symbol) mod 12: đếm số dòng mỗi partition và tỉ lệ partition lớn nhất trên trung bình. Làm lại với hash(symbol, phút của event_ts) và với chia theo giờ của event_ts. Cách nào đều nhất, cách nào giữ được thứ tự tick của một mã, cách nào biến phiên ATO và ATC (cột session) thành điểm nóng? Cuối cùng đổi 12 thành 13 và đếm bao nhiêu mã đổi partition.
Phỏng vấn hay hỏi
- Thiết kế partition key cho dòng tick toàn thị trường, biết vài mã chiếm tỉ trọng lớn và người dùng cần thứ tự tick theo từng mã. Bạn đánh đổi gì?
- Vì sao
hash(key) mod Nlà cách rebalance tệ? Hệ thống bạn đang dùng giải quyết thế nào?
Nguồn chính thức
- Designing Data-Intensive Applications: chương 6, mục Partitioning of Key-Value Data, Skewed Workloads and Relieving Hot Spots, Rebalancing Partitions
- ScyllaDB: Ring Architecture: partitioner, token ring, replication factor
- Elastic Docs: Clusters, nodes, and shards: primary và replica shard, vì sao số primary shard cố định
1.4Replication và consistency: leader/follower, quorum, CAP ở mức áp dụngTier 12,5 giờ
Câu hỏi cốt lõi
Ghi thành công vào một hệ có 3 bản sao, ngay sau đó đọc lại không thấy. Hệ đang hỏng hay đang chạy đúng thiết kế? Bạn chỉnh gì để đổi kết quả, và trả giá bằng gì khi một node chết hoặc mạng bị chia cắt?
Khái niệm phải nắm
- Single-leader: mọi ghi đi qua leader, follower chép lại log của leader. Thứ tự ghi rõ ràng. Rủi ro nằm ở failover: nếu chép bất đồng bộ, leader mới có thể thiếu những ghi cuối đã báo thành công.
- Đồng bộ và bất đồng bộ: chờ follower xác nhận thì bền hơn nhưng chậm và kẹt khi follower chết. Không chờ thì nhanh nhưng có thể mất ghi. Replication lag sinh ra lỗi không đọc thấy ghi của chính mình (read-your-writes).
- Leaderless và quorum: ghi tới N bản sao, thành công khi W bản xác nhận, đọc từ R bản. Khi R + W > N thì tập đọc và tập ghi giao nhau, nên trong điều kiện bình thường đọc thấy ghi mới nhất. Bản lệch được sửa bằng read repair và anti-entropy repair.
- Multi-leader: nhiều node cùng nhận ghi nên phải giải quyết xung đột. Last-write-wins dựa trên đồng hồ làm mất ghi một cách im lặng.
- CAP ở mức áp dụng: khi mạng bị chia cắt, hệ phải chọn từ chối một số request để giữ nhất quán, hoặc tiếp tục trả lời với dữ liệu có thể cũ. Câu hỏi đúng không phải "hệ này là CP hay AP" mà là "lúc chia cắt, hệ làm gì với ghi và đọc, ở cấu hình nào".
- Linearizable và eventual: linearizable cư xử như chỉ có một bản dữ liệu. Eventual chỉ hứa các bản sẽ hội tụ khi ngừng ghi, không hứa lúc nào. Các mức ở giữa học ở 1.7.
Vì sao quan trọng
"API trả số cũ ngay sau khi pipeline báo ghi xong" và "mất message sau khi broker failover" đều đến từ cấu hình replication mà người viết pipeline không biết là mình đang chọn. Người phỏng vấn hỏi CAP để xem bạn mô tả được hành vi của hệ thật lúc có sự cố, không phải để nghe định nghĩa.
Nhìn thấy ở đâu
Kafka: single-leader theo từng partition, follower theo kịp nằm trong ISR. acks=all chỉ chờ các bản đang trong ISR, nên phải đi cùng min.insync.replicas để biết tối thiểu bao nhiêu bản giữ dữ liệu. unclean.leader.election.enable=true chọn availability và chấp nhận mất ghi. ScyllaDB: leaderless, chọn consistency level theo từng truy vấn (ONE, QUORUM, LOCAL_QUORUM, ALL), RF=3 với QUORUM chờ 2 xác nhận. ClickHouse ReplicatedMergeTree: bất đồng bộ, multi-master, INSERT vào replica nào cũng được, insert_quorum để đòi nhiều replica xác nhận. Elasticsearch: primary-backup, primary chuyển ghi tới các bản in-sync, và document chỉ tìm thấy sau lần refresh. S3 cam kết strong read-after-write cho PUT và DELETE. Spark không tự replicate dữ liệu, nó kế thừa mức nhất quán của hệ mà nó đọc.
Trên dữ liệu chứng khoán VN
Giả lập replication bất đồng bộ trên một ngày fact_tick: tạo 3 "bản sao", mỗi bản nhận từng dòng sau một độ trễ ngẫu nhiên tính từ event_ts (tự sinh, có đuôi dài vài giây). Hỏi "giá khớp mới nhất của HPG lúc 10:00:00" tới một bản ngẫu nhiên và đếm tỉ lệ trả giá cũ, rồi lặp lại khi hỏi 2 bản và lấy dòng có event_ts lớn hơn. Liên hệ với R + W > N: W trong giả lập của bạn bằng bao nhiêu?
Phỏng vấn hay hỏi
- RF=3, ghi ở mức ONE, đọc ở mức ONE. Kể một kịch bản đọc ra dữ liệu cũ. Đổi mức nào để hết, và bạn mất gì khi một node chết?
- Producer báo gửi thành công, nhưng sau khi leader chết thì message biến mất. Những cấu hình nào cho phép chuyện đó xảy ra?
Nguồn chính thức
- Designing Data-Intensive Applications: chương 5 (Leaders and Followers, Problems with Replication Lag, Leaderless Replication) và chương 9, mục Linearizability và The Cost of Linearizability
- Apache Kafka 4.4: Design, mục Replication: ISR, unclean leader election, Availability and Durability Guarantees
- ScyllaDB: Fault Tolerance: replication factor, coordinator, consistency level
1.5Lỗi là mặc định: retry, timeout, idempotency và "exactly-once" thực chất là gìTier 12 giờ
Câu hỏi cốt lõi
Một lệnh ghi bị timeout và bạn không biết bên kia đã ghi hay chưa. Retry thì có thể trùng, không retry thì có thể mất. Thiết kế thế nào để retry luôn an toàn? Khi một hệ quảng cáo "exactly-once", nó thực sự bảo đảm điều gì và trong phạm vi nào?
Khái niệm phải nắm
- Lỗi một phần (partial failure): timeout không cho biết thao tác thất bại hay đã thành công mà phản hồi bị mất. Mọi thiết kế phải đúng với cả hai khả năng.
- Timeout và retry: timeout ngắn quá gây retry thừa, dài quá làm treo pipeline. Retry cần exponential backoff có jitter và giới hạn số lần, nếu không một sự cố nhỏ thành bão request dồn vào hệ đang yếu.
- Delivery semantics: at-most-once (không retry, có thể mất), at-least-once (retry tới khi được xác nhận, có thể trùng), exactly-once (hiệu ứng cuối cùng như thể mỗi bản ghi được xử lý đúng một lần).
- Idempotency: áp dụng nhiều lần cho kết quả như một lần. Cách làm: upsert hoặc MERGE theo khóa tự nhiên hay idempotency key, ghi đè cả partition thay vì append, sequence number để bên nhận bỏ bản trùng.
- "Exactly-once" thực chất là: at-least-once cộng idempotency hoặc transaction, và chỉ đúng trong ranh giới một hệ kiểm soát được cả đọc, xử lý, ghi. Hiệu ứng ra ngoài ranh giới đó (gửi email, gọi API không idempotent) vẫn có thể lặp.
- Zombie và fencing: tiến trình cũ tưởng mình còn sống vẫn ghi tiếp sau khi đã bị thay thế. Bên nhận cần epoch hoặc fencing token để từ chối ghi từ thế hệ cũ.
Vì sao quan trọng
"Chạy lại job thì số liệu nhân đôi" là sự cố phổ biến nhất của pipeline do Junior viết. Với câu "làm sao bảo đảm exactly-once", đáp án sai phổ biến là "bật một cấu hình", đáp án đúng nói rõ ranh giới và cơ chế idempotency ở sink. Các chặng sau áp dụng cho log ở 2.5, stream ở 4.8, batch ở 6.3.
Nhìn thấy ở đâu
Kafka: producer idempotent (enable.idempotence) gán producer ID và sequence number để broker bỏ bản gửi lại trùng. Transaction cùng isolation.level=read_committed cho exactly-once trong vòng đọc từ Kafka, xử lý, ghi về Kafka, ghi ra hệ ngoài vẫn cần sink idempotent. Spark: task lỗi được chạy lại (spark.task.maxFailures mặc định 4) và spark.speculation có thể chạy hai bản cùng một task, nên mọi side effect trong task phải idempotent. ClickHouse: ReplicatedMergeTree bỏ qua block INSERT giống hệt khi retry, còn ReplacingMergeTree chỉ khử trùng lúc merge vào thời điểm không xác định, nên truy vấn vẫn có thể thấy bản trùng. ScyllaDB: INSERT là upsert theo primary key nên ghi lại cùng khóa là idempotent, cột counter thì không. Elasticsearch: index với _id tự chọn là ghi đè, để hệ tự sinh _id thì mỗi lần retry thành document mới. MinIO/S3: PUT cùng key ghi đè nguyên object, nên ghi file với tên xác định là idempotent, tên chứa UUID ngẫu nhiên thì không.
Trên dữ liệu chứng khoán VN
Tự gây lỗi: viết bước nạp một ngày fact_tick vào bảng đích, cho nó chết sau khi ghi được một nửa, rồi chạy lại. Đếm số dòng trùng theo trade_id. Sau đó sửa để chạy lại bao nhiêu lần cũng ra cùng kết quả, theo hai cách: ghi đè cả partition trade_date, và upsert theo trade_id. So sánh hai cách khi nguồn của ngày đó bị sửa và một tick bị xóa hẳn.
Phỏng vấn hay hỏi
- Pipeline đọc từ một log, xử lý, ghi vào database. Làm sao bảo đảm mỗi sự kiện ảnh hưởng đúng một lần tới kết quả? Chỗ nào trong chuỗi vẫn có thể lặp?
- Retry với exponential backoff và jitter giải quyết vấn đề gì mà retry cách đều không giải quyết được?
Nguồn chính thức
- Designing Data-Intensive Applications: chương 8 (Faults and Partial Failures, Unreliable Networks, mục fencing tokens) và chương 11, mục Fault Tolerance (exactly-once, idempotence)
- Apache Kafka 4.4: Design, mục Message Delivery Semantics và Using Transactions
- Google SRE Book, chương Addressing Cascading Failures: mục Retries và Latency and Deadlines
1.6Consensus (Raft) ở mức khái niệmTier 21,5 giờ
Câu hỏi cốt lõi
Vì sao một cụm Raft cần đa số node còn sống mới tiến lên được, và điều gì ngăn hai leader cùng commit ghi sau khi mạng bị chia cắt?
Khái niệm phải nắm
- Consensus: nhiều node thống nhất một chuỗi quyết định (replicated log) dù có node chết. Thường dùng cho metadata, bầu leader, cấu hình cụm, ít khi cho dữ liệu khối lượng lớn.
- Term và bầu chọn: mỗi term có tối đa một leader, ứng viên cần phiếu của đa số, election timeout ngẫu nhiên để tránh chia phiếu.
- Commit theo đa số: entry được commit khi đa số node đã ghi. Cụm 2f+1 node chịu được f node chết, nên 4 node không chịu lỗi tốt hơn 3.
- Phía thiểu số không commit được: khi chia cắt, Raft chọn nhất quán thay vì sẵn sàng (1.4). Entry chưa commit có thể bị leader mới ghi đè.
Vì sao quan trọng
Giải thích được vì sao cụm điều phối luôn có số node lẻ và vì sao mất đa số thì cả hệ ngừng nhận thay đổi metadata là câu hỏi vận hành có thật.
Nhìn thấy ở đâu
Kafka 4.x chỉ chạy KRaft: các controller tạo một quorum Raft quản lý metadata, 3 controller chịu được 1 controller chết, 5 chịu được 2. ClickHouse Keeper hiện thực Raft (qua NuRaft) để điều phối replication. ScyllaDB dùng Raft cho schema và topology. Elasticsearch bầu master bằng quorum các node master-eligible.
Trên dữ liệu chứng khoán VN
Dùng 100 dòng fact_tick_sample theo thứ tự seq làm chuỗi entry cần sao chép trong cụm 5 node. Cho leader chết ngay sau khi entry seq = 6550 mới tới 2 node, bầu leader mới, và xác định entry đó còn hay mất, vì sao điều này không vi phạm an toàn.
Phỏng vấn hay hỏi
- Vì sao cụm consensus nên có 3 hoặc 5 node chứ không phải 4? Mất đa số thì chuyện gì xảy ra?
Nguồn chính thức
- In Search of an Understandable Consensus Algorithm (Ongaro & Ousterhout): mục 5.1 đến 5.4 (basics, leader election, log replication, safety)
- Apache Kafka 4.4: KRaft: process roles, controller quorum
1.7PACELC và các mô hình consistency chi tiếtTier 31 giờ
Câu hỏi cốt lõi
Khi mạng bình thường, hệ của bạn đánh đổi gì giữa độ trễ và nhất quán?
Khái niệm phải nắm
- PACELC: có Partition thì chọn A hoặc C, Else (bình thường) chọn Latency hoặc Consistency.
- Thang mô hình: linearizable, sequential, causal, read-your-writes, monotonic reads, eventual. Càng yếu càng nhanh và càng sẵn sàng.
Vì sao quan trọng
Giúp đọc tài liệu sản phẩm và nhận ra chữ "consistent" mơ hồ.
Nhìn thấy ở đâu
ScyllaDB ở consistency level thấp là PA/EL, nâng lên QUORUM thì dịch về phía EC. Quorum Raft của Kafka KRaft là PC/EC.
Trên dữ liệu chứng khoán VN
Với API đọc fact_market_snapshot, chọn mô hình tối thiểu chấp nhận được cho bảng giá và cho màn hình lệnh của chính người dùng.
Phỏng vấn hay hỏi
- CAP bỏ sót điều gì mà PACELC bổ sung?
Nguồn chính thức
- Abadi, Consistency Tradeoffs in Modern Distributed Database System Design (IEEE Computer, 2012): toàn bài
- Jepsen: Consistency Models: sơ đồ phân cấp các mô hình
1.8Transaction, ACID và isolation levelTier 11,5 giờ
Câu hỏi cốt lõi
Hai job cùng ghi vào một bảng và một job chết giữa chừng: người đang đọc bảng lúc đó thấy gì, và điều đó phụ thuộc vào lời hứa nào của hệ lưu trữ? Vì sao "có transaction" chưa đủ để nói hai lần ghi đồng thời cho kết quả đúng?
Khái niệm phải nắm
- Transaction: gom nhiều thao tác thành một đơn vị, hoặc tất cả có hiệu lực, hoặc không gì cả. Chính tính "không ghi dở" này cho phép retry an toàn sau lỗi (1.5).
- ACID là bốn lời hứa khác nhau: atomicity (không ghi dở), consistency (ràng buộc của ứng dụng được giữ, phần lớn là việc của bạn), isolation (các transaction đồng thời không giẫm lên nhau), durability (đã commit thì không mất khi máy chết).
- Isolation có nhiều mức: read committed chỉ chặn đọc dữ liệu chưa commit. Snapshot isolation cho mỗi transaction đọc một ảnh chụp nhất quán. Serializable cho kết quả như thể các transaction chạy lần lượt. Mức càng mạnh thì càng hay phải chờ hoặc retry.
- Các hiện tượng phải gọi được tên: dirty read, non-repeatable read, lost update, write skew. Mỗi mức isolation chặn một tập con trong số đó, và snapshot isolation vẫn để lọt write skew.
- MVCC: giữ nhiều phiên bản của một dòng để người đọc không chặn người ghi. Mỗi người đọc thấy phiên bản thuộc ảnh chụp của mình. Snapshot của table format ở 3.4 là cùng ý tưởng, áp cho cả file.
- Optimistic và pessimistic concurrency: khóa trước khi ghi, hoặc cứ ghi rồi kiểm tra xung đột lúc commit. Hệ ít ghi đồng thời thường chọn optimistic.
- Khi không có transaction nhiều dòng: nhiều hệ phân tích và hệ wide-column chỉ đảm bảo nguyên tử cho một lần ghi nhỏ. Lúc đó tính đúng phải đến từ cách ghi idempotent (6.3).
Vì sao quan trọng
"ACID là gì" chỉ là câu mở. Câu chấm điểm là "isolation level mặc định của database bạn dùng là gì, và nó để lọt lỗi nào". Trong công việc, một dashboard đọc ra số thiếu vì bảng đang bị job ghi đè nửa chừng là lỗi isolation, không phải lỗi SQL.
Nhìn thấy ở đâu
PostgreSQL dùng MVCC và mặc định ở read committed. Kafka có transaction gom nhiều lần ghi, consumer đặt isolation.level=read_committed để không thấy bản ghi chưa commit. ClickHouse đảm bảo một lần INSERT vào một partition của MergeTree thành một part nguyên tử, nhưng không phải database transaction kiểu OLTP. ScyllaDB ghi nguyên tử trong một partition và có lightweight transaction cho ghi có điều kiện. Iceberg cho người đọc luôn thấy một snapshot đã commit. Một thư mục Parquet trần trên MinIO/S3 không có lời hứa nào trong số này.
Trên dữ liệu chứng khoán VN
Lấy partition trade_date=2026-11-20 của data/synth/medium/fact_tick/ làm một thư mục Parquet trần. Cho một tiến trình ghi đè thư mục đó nhiều lần, trong khi tiến trình khác liên tục đọc và đếm dòng. Ghi lại các con số người đọc thấy và gọi tên hiện tượng. Sau đó nạp fact_daily_bar vào PostgreSQL trong Docker, mở hai phiên cùng cộng thêm vào volume của TCB ở một trade_date theo kiểu đọc rồi ghi: ở read committed chuyện gì xảy ra, ở repeatable read thì sao, và bạn phải viết câu lệnh thế nào để không mất cập nhật?
Phỏng vấn hay hỏi
- Snapshot isolation khác serializable ở đâu? Cho một ví dụ write skew.
- Bảng trên data lake đang được một job ghi đè, dashboard đọc ra số thiếu. Lỗi nằm ở tầng nào và bạn sửa thế nào?
Nguồn chính thức
- Designing Data-Intensive Applications: chương 7 (The Meaning of ACID, Weak Isolation Levels, Serializability)
- PostgreSQL: Transaction Isolation: bảng các mức isolation và hiện tượng mỗi mức cho phép
- ClickHouse: Transactional (ACID) support: các trường hợp INSERT được đảm bảo nguyên tử
Nguồn & thu nạp
8 CHỦ ĐỀ · 13,5 GIỜDữ liệu vào hệ thống của bạn bằng đường nào, theo thứ tự nào, và bao nhiêu lần.
Học xong chặng này, bạn chọn được cách thu nạp từ hình dạng của nguồn và SLA, giải thích được thứ tự và số lần mỗi bản ghi đi qua pipeline, và chặn được thay đổi schema trước khi nó làm bẩn dữ liệu. Chặng này áp dụng partitioning, replication và idempotency của chặng 1 vào một trừu tượng duy nhất là log, và chuẩn bị đầu vào cho chặng 3 về lưu trữ.
2.1Hệ thống nguồn và hình dạng dữ liệu: database, API, file, eventTier 11,5 giờ
Câu hỏi cốt lõi
Cùng một thông tin giá, lấy từ bảng database, từ API phân trang, từ file đổ theo lịch hay từ luồng sự kiện thì bạn phải hỏi những câu khác nhau nào trước khi viết dòng code đầu tiên? Nguồn có thể "nói dối" bạn theo những cách nào mà không báo lỗi?
Khái niệm phải nắm
- Bốn hình dạng nguồn: database cho trạng thái hiện tại và có thể bị UPDATE, DELETE. API trả theo trang, có rate limit, hợp đồng do bên kia giữ. File là một lô đóng gói, đến theo lịch, có thể đến muộn hoặc bị ghi đè. Event là dòng bản ghi bất biến, không có điểm kết thúc, có thể lặp và lệch thứ tự.
- State và event: đọc bảng là chụp trạng thái, mọi thay đổi xảy ra giữa hai lần đọc đều mất. Event giữ được lịch sử, đổi lại bạn phải tự gộp thành trạng thái.
- Snapshot bất biến kèm manifest: mỗi lần kéo ghi ra một thư mục mới cùng metadata (thời điểm, tham số, mã HTTP). Đó là bằng chứng để chạy lại, đối soát và debug.
- Phân trang theo offset trên dữ liệu đang tăng bị trôi: bản ghi mới chen vào đầu danh sách làm trang sau lặp hoặc sót. Cursor hoặc khóa tăng dần ổn định hơn.
- Ngữ nghĩa ngầm: đơn vị tiền, múi giờ, giá kiểu số thực, giờ không kèm ngày, thứ tự mới nhất trước. Thứ gì tài liệu không ghi là rủi ro của bạn.
Vì sao quan trọng
Phần lớn sự cố ingest không nằm trong code mà nằm ở một giả định sai về nguồn: API đổi đơn vị, trang bị trôi, file đến hai lần. Câu phỏng vấn "nguồn của bạn có rate limit không, bạn xử lý ra sao" là để thử đúng điều này.
Nhìn thấy ở đâu
NiFi: InvokeHTTP cho API, ListS3/FetchS3Object hoặc ListFile/FetchFile cho file (processor List* giữ state để không lấy lại file cũ), QueryDatabaseTableRecord cho database. Kafka là nguồn dạng event. Ghi dữ liệu thô vào MinIO theo prefix thời điểm kéo là cách giữ snapshot bất biến.
Trên dữ liệu chứng khoán VN
Mở price_history_tcb.json trong một snapshot vn_trading_market_data/data/tcbs/<timestamp>/: để ý total, headIndex, page, size, và mỗi bản ghi chỉ có t dạng "14:45:00", p dạng số thực. So với quote_HPG.json của DNSE, nơi price là 20.4. Liệt kê các giả định cần đặt để ra được seq, match_time, price_vnd của fact_tick_sample. Rồi trả lời: nếu kéo page=1 khi phiên vẫn đang khớp lệnh thì seq có bị lặp hoặc sót không.
Phỏng vấn hay hỏi
- Bạn kéo dữ liệu từ API phân trang của bên thứ ba, có rate limit. Thiết kế thế nào để chạy lại an toàn và không sót bản ghi?
- Đọc thẳng database production của team khác có rủi ro gì? Bạn đề xuất cách nào thay thế?
Nguồn chính thức
- Fundamentals of Data Engineering (Reis & Housley): chương 5 Data Generation in Source Systems, phần các loại source system (files, APIs, OLTP databases, message queues và event streams)
- NiFi QueryDatabaseTableRecord: phần mô tả và thuộc tính Maximum-value Columns, để thấy processor giữ state thế nào
2.2Chiến lược thu nạp: batch vs streaming, full / incremental / CDCTier 12 giờ
Câu hỏi cốt lõi
Khi nào full load rẻ hơn incremental? Incremental theo cột updated_at sai ở những trường hợp nào mà CDC đọc từ log của database thì không, và CDC đẻ ra rủi ro mới gì?
Khái niệm phải nắm
- Full load: đọc lại toàn bộ, đơn giản, tự sửa mọi lỗi cũ, nhưng chi phí tỉ lệ với kích thước bảng chứ không với lượng thay đổi.
- Incremental theo high-water mark: nhớ giá trị lớn nhất của một cột tăng dần đã đọc. Sót DELETE, sót bản ghi của transaction commit muộn mang giá trị nhỏ hơn mốc, sai khi cột không thật sự tăng đơn điệu.
- CDC dựa trên log: đọc transaction log của database nên thấy INSERT, UPDATE, DELETE theo đúng thứ tự commit. Cần một snapshot ban đầu nối liền với vị trí log, và database phải giữ log chưa đọc, nên consumer đứng lâu thì đĩa nguồn đầy.
- Batch và streaming là trục độ trễ, không phải trục công cụ: micro-batch mỗi phút vẫn là batch. Chọn theo SLA freshness (0.2), không theo sở thích.
- Push và pull: pull cho bạn kiểm soát nhịp đọc, push buộc bạn có chỗ đệm và cơ chế từ chối (2.7).
- Chạy lại được là yêu cầu của mọi chiến lược: ghi theo cửa sổ hoặc theo khóa để lần chạy thứ hai không nhân đôi. Nguyên lý ở 1.5.
Vì sao quan trọng
Câu "bảng 500 triệu dòng, mỗi ngày đổi 1%, bạn ingest thế nào" gần như luôn có ở vòng Middle. Trả lời "dùng updated_at" mà không nhắc tới DELETE và transaction commit muộn là mất điểm.
Nhìn thấy ở đâu
NiFi QueryDatabaseTableRecord với Maximum-value Columns là incremental theo high-water mark, mốc lưu trong state của processor. Debezium đọc WAL của PostgreSQL qua logical decoding và replication slot (hoặc binlog của MySQL), chạy snapshot ban đầu rồi chuyển sang streaming, đẩy sự kiện thay đổi vào Kafka. Spark đọc JDBC với partitionColumn, lowerBound, upperBound là full hoặc incremental dạng batch.
Trên dữ liệu chứng khoán VN
Giả sử fact_daily_bar_synth nằm trong một PostgreSQL nguồn và bị sửa lại khi có điều chỉnh giá (is_adjusted). Viết ba phương án nạp hằng ngày: full, incremental theo trade_date, CDC. Với mỗi phương án, nêu chuyện gì xảy ra khi một bar của ba tháng trước được điều chỉnh, và khi một mã bị xóa khỏi dim_symbol. Ước lượng số dòng mỗi phương án phải đọc mỗi ngày.
Phỏng vấn hay hỏi
- Incremental load theo
updated_atcó những lỗ hổng nào? CDC lấp được lỗ nào và tạo ra vấn đề vận hành gì mới? - Ổ đĩa của PostgreSQL nguồn đầy dần sau khi bật CDC. Nguyên nhân khả dĩ nhất là gì?
Nguồn chính thức
- Fundamentals of Data Engineering (Reis & Housley): chương 7 Ingestion, phần batch và streaming considerations, change data capture
- Debezium connector for PostgreSQL: mục How the connector works, phần snapshots và streaming changes
- PostgreSQL: Logical Decoding Concepts: phần replication slots, vì sao slot giữ WAL lại
2.3Log là trừu tượng trung tâm: partition, offset, key, orderingTier 12 giờ
Câu hỏi cốt lõi
Vì sao một chuỗi bản ghi chỉ ghi nối đuôi và đánh số tăng dần lại đủ để làm hàng đợi, nguồn sự thật và cơ chế replication cùng lúc? Muốn giữ thứ tự xử lý cho từng mã chứng khoán thì bạn trả giá bằng gì?
Khái niệm phải nắm
- Log: chuỗi bản ghi append-only, bất biến, mỗi bản ghi có offset tăng dần. Đọc không xóa dữ liệu, nên nhiều bên đọc độc lập và đọc lại từ bất kỳ vị trí nào.
- Partition: log được chia thành nhiều log con để mở rộng ghi và đọc. Thứ tự chỉ đảm bảo trong một partition, không có thứ tự toàn cục giữa các partition.
- Key quyết định partition: cùng key luôn vào cùng partition (hash của key chia lấy dư cho số partition), nên thứ tự được giữ theo key. Đổi số partition là đổi ánh xạ, phá thứ tự đó. Hash partitioning và hot key ở 1.3.
- Offset là vị trí, không phải thời gian: offset cho biết thứ tự ghi vào log, không cho biết sự kiện xảy ra lúc nào. Thứ tự ghi có thể lệch khỏi event time (4.7).
- Retention và compaction: log giữ theo thời gian hoặc dung lượng, hoặc compaction chỉ giữ bản ghi mới nhất cho mỗi key, biến log thành bản ghi trạng thái.
- Log là nền của replication và CDC: follower chép log của leader (1.4), CDC là đọc log của database (2.2).
Vì sao quan trọng
"Làm sao đảm bảo các lệnh của cùng một mã được xử lý đúng thứ tự" là câu kinh điển. Câu trả lời đủ phải nói tới key, partition và cái giá: một mã nóng dồn toàn bộ tải vào một partition và một consumer.
Nhìn thấy ở đâu
Kafka: topic gồm partition, mỗi partition là chuỗi segment file trên đĩa broker. Producer mặc định hash key bằng murmur2 để chọn partition. retention.ms, retention.bytes cho retention, cleanup.policy=compact cho log compaction. Kafka 4.x lưu metadata cluster trong một log được replicate bằng KRaft (1.6). WAL của PostgreSQL và binlog của MySQL là log cùng bản chất.
Trên dữ liệu chứng khoán VN
Dùng kết quả chia partition đã tính ở 1.3. Sắp tick của một ngày trong data/synth/medium/fact_tick/ theo ingest_ts và đếm số lần hai tick liền nhau của cùng một mã bị ngược thứ tự event_ts. Kết quả nói gì về việc coi offset là thứ tự thời gian? Tiếp theo, sắp tick theo ingest_ts và đếm số lần hai tick liền nhau của cùng một mã bị ngược thứ tự event_ts. Kết quả nói gì về việc coi offset là thứ tự thời gian?
Phỏng vấn hay hỏi
- Kafka đảm bảo thứ tự ở mức nào? Tăng số partition của một topic đang chạy thì thứ tự theo key bị ảnh hưởng ra sao?
- Log compaction khác retention thế nào? Bạn dùng compaction cho bài toán nào?
Nguồn chính thức
- Apache Kafka: Introduction: phần Main Concepts and Terminology (topic, partition, ordering)
- Apache Kafka: Design: mục Log Compaction
- Designing Data-Intensive Applications (Kleppmann): chương Stream Processing, phần Partitioned Logs
2.4Đọc từ log: consumer group, commit offset, rebalanceTier 11,5 giờ
Câu hỏi cốt lõi
Xử lý xong rồi mới commit offset, hay commit rồi mới xử lý: mỗi cách mất gì khi process chết giữa chừng? Vì sao thêm một consumer vào group có lúc làm cả group xử lý lại dữ liệu cũ?
Khái niệm phải nắm
- Consumer group: các consumer chia nhau partition, mỗi partition tại một thời điểm chỉ thuộc một consumer trong group, nên số consumer làm việc được tối đa bằng số partition và thứ tự được giữ trong partition. Mô hình hàng đợi (share group từ Kafka 4.2) bỏ giới hạn này bằng cách chia từng bản ghi, đổi lại mất thứ tự.
- Committed offset: vị trí group đã xử lý xong, lưu bên ngoài consumer. Restart thì đọc tiếp từ đây. Commit sau khi xử lý cho at-least-once, commit trước cho at-most-once (2.5).
- Auto commit chạy theo đồng hồ: nó không biết bạn đã ghi xong ra sink chưa, nên có thể commit trước khi ghi xong.
- Rebalance: khi consumer vào, ra, hoặc bị coi là chết (mất heartbeat, hoặc quá lâu không poll), partition được chia lại. Phần đã xử lý mà chưa commit sẽ được consumer mới xử lý lại.
- Consumer lag: khoảng cách giữa offset cuối của partition và committed offset. Đây là chỉ số sức khỏe đầu tiên của một luồng đọc (7.2).
- Offset không nhất thiết lưu ở log: lưu offset cùng kết quả ở sink là một cách đạt hiệu ứng exactly-once, học ở 2.5.
Vì sao quan trọng
Sự cố hay gặp: một lô xử lý lâu vượt hạn poll, consumer bị đá khỏi group, rebalance, lô đó bị xử lý lại, lặp mãi và lag tăng đều. Không hiểu rebalance thì bạn chỉ biết tăng timeout.
Nhìn thấy ở đâu
Kafka consumer: enable.auto.commit (mặc định bật), auto.commit.interval.ms, max.poll.interval.ms, max.poll.records, auto.offset.reset. Từ Kafka 4.0, giao thức rebalance mới (KIP-848, group.protocol=consumer) là GA: broker điều phối và gán lại từng phần, không còn barrier dừng cả group. Spark Structured Streaming không commit offset vào Kafka, offset nằm trong checkpoint của query. NiFi ConsumeKafka có thuộc tính Commit Offsets.
Trên dữ liệu chứng khoán VN
Giả sử topic chứa một ngày fact_tick, 6 partition, key là symbol, một consumer group ghi vào ClickHouse theo lô 10.000 bản ghi. Vẽ dòng thời gian khi consumer thứ hai join đúng lúc lô thứ ba đã ghi nhưng chưa commit: những trade_id nào bị ghi hai lần? Dùng cách chia partition đã tính ở 2.3: consumer nào mang nhiều tick nhất, và thêm consumer thứ 7 có giúp gì không.
Phỏng vấn hay hỏi
- Consumer lag tăng liên tục. Bạn kiểm tra những gì, theo thứ tự nào?
- Topic có 6 partition, group có 10 consumer. Chuyện gì xảy ra, và khi nào cấu hình này vẫn có lý?
Nguồn chính thức
- Apache Kafka: Design: mục The Consumer, phần Consumer Position
- Apache Kafka: Consumer Rebalance Protocol: toàn trang, so sánh giao thức classic và consumer
- Spark: Structured Streaming + Kafka Integration: phần Kafka Specific Configurations, vì sao source không commit offset
2.5Delivery semantics end-to-end: từ producer tới sinkTier 12 giờ
Câu hỏi cốt lõi
Producer đã idempotent, log có transaction, vậy vì sao báo cáo cuối vẫn đếm trùng? "Exactly-once" của cả pipeline được quyết định ở mắt xích nào?
Khái niệm phải nắm
- Ba mức: at-most-once có thể mất, at-least-once có thể lặp, exactly-once hiệu lực là mỗi bản ghi tác động lên kết quả đúng một lần. Vì sao exactly-once thực chất là at-least-once cộng idempotency: xem 1.5.
- Ba chặng xét riêng: producer → log, log → bộ xử lý, bộ xử lý → sink. Đảm bảo của cả tuyến bằng chặng yếu nhất.
- Producer → log: retry sau timeout có thể ghi lặp. Cơ chế sequence number ở 1.5 chỉ chống lặp trong một partition và một phiên producer, nên producer restart hoặc ghi qua nhiều partition vẫn có thể lặp.
- Đọc, xử lý, ghi trong cùng log: transaction gộp việc ghi output và commit offset thành một đơn vị nguyên tử. Bên đọc phía sau phải chỉ đọc transaction đã commit.
- Ra sink ngoài log: transaction của log không bao được database hay object storage. Phải ghi idempotent (upsert theo khóa, overwrite partition) hoặc lưu offset cùng dữ liệu trong transaction của sink.
Vì sao quan trọng
"Pipeline của bạn có exactly-once không" là câu bẫy. Middle đi qua từng chặng và chỉ ra chỗ dedup. Junior trả lời "có, vì Kafka hỗ trợ exactly-once".
Nhìn thấy ở đâu
Kafka producer: enable.idempotence=true và acks=all là mặc định, transactional.id để dùng transaction, consumer đặt isolation.level=read_committed. Kafka Streams có processing.guarantee=exactly_once_v2. Kafka Connect hỗ trợ exactly-once cho source connector (KIP-618). Docs của Spark ghi rõ ghi ra Kafka chỉ đạt at-least-once. ClickHouse ReplacingMergeTree chỉ gộp bản trùng khi merge nền, nên truy vấn cần FINAL hoặc dedup lúc đọc. NiFi giao hàng theo kiểu at-least-once.
Trên dữ liệu chứng khoán VN
Tuyến giả định: NiFi đọc snapshot JSON, đẩy vào Kafka, Spark đọc và ghi vào ClickHouse thành fact_tick. Với từng chặng, chỉ ra tình huống một tick bị ghi hai lần. Chọn khóa dedup: trade_id có đủ không, hay cần bộ (symbol, trade_date, seq) như trong fact_tick_sample? Tự nhân đôi 1% dòng của một partition trade_date rồi viết truy vấn cho thấy tổng qty theo symbol lệch bao nhiêu.
Phỏng vấn hay hỏi
- Thiết kế pipeline Kafka → ClickHouse không đếm trùng khi consumer restart hoặc rebalance.
- Idempotent producer chống được lặp trong trường hợp nào và không chống được trường hợp nào?
Nguồn chính thức
- Apache Kafka: Design: mục Message Delivery Semantics và Using Transactions
- Spark: Structured Streaming + Kafka Integration: phần Writing Data to Kafka
- Designing Data-Intensive Applications (Kleppmann): chương Stream Processing, phần Fault Tolerance (exactly-once, idempotence)
2.6Schema ở biên: serialization, schema evolution, data contractTier 12 giờ
Câu hỏi cốt lõi
Upstream thêm một trường, đổi kiểu một trường, xóa một trường: trường hợp nào consumer cũ vẫn đọc được, trường hợp nào pipeline gãy, và trường hợp nào dữ liệu sai mà không gì báo lỗi? Ai được đổi schema, và ai phải biết trước?
Khái niệm phải nắm
- Serialization: JSON tự mô tả nhưng kiểu lỏng và tốn chỗ. Avro, Protobuf tách schema khỏi dữ liệu, mã hóa nhị phân gọn, kiểu rõ ràng. Parquet là định dạng lưu trữ, không phải định dạng truyền tin (1.1).
- Backward và forward compatibility: backward là schema mới đọc được dữ liệu ghi bằng schema cũ, nên nâng consumer trước. Forward là schema cũ đọc được dữ liệu ghi bằng schema mới, nên nâng producer trước. Full là cả hai.
- Quy tắc tiến hóa an toàn: thêm trường phải có giá trị mặc định, không đổi kiểu tùy tiện, không dùng lại tên hoặc số hiệu của trường đã xóa. Đổi tên thực chất là xóa cộng thêm.
- Schema registry: lưu các phiên bản schema, gắn ID schema vào mỗi message, từ chối schema mới vi phạm mức tương thích đã đặt.
- Data contract: thỏa thuận giữa bên sinh và bên dùng dữ liệu gồm schema, ngữ nghĩa (đơn vị, múi giờ), ràng buộc chất lượng, SLA và người chịu trách nhiệm. Schema chặn lỗi kiểu, contract chặn lỗi nghĩa. Kiểm tra contract tự động thuộc 7.1.
- Validate ở biên, cách ly bản ghi lỗi: bản ghi không khớp đi vào dead letter queue thay vì làm dừng hoặc làm bẩn cả luồng.
Vì sao quan trọng
Sự cố kinh điển: nguồn đổi giá từ VND sang nghìn VND, kiểu vẫn là số nên không gì báo lỗi, dashboard sai cả tuần. Schema không cứu được trường hợp này, contract thì có thể.
Nhìn thấy ở đâu
Confluent Schema Registry hỗ trợ Avro, Protobuf, JSON Schema, mức tương thích mặc định là BACKWARD. NiFi dùng Record Reader/Writer gắn schema, ValidateRecord với relationship invalid làm DLQ. Kafka Connect có errors.deadletterqueue.topic.name cho sink connector. Spark có from_avro/to_avro, và tùy chọn mergeSchema khi đọc Parquet.
Trên dữ liệu chứng khoán VN
TCBS trả giá khớp p: 21200.0 theo đồng, DNSE trả giá sổ lệnh price: 20.4 theo nghìn đồng. Viết schema Avro (hoặc Protobuf) cho message tick chuẩn hóa, ánh xạ được về trade_id, symbol, event_ts, ingest_ts, price_vnd, qty, side, session của fact_tick. Rồi tiến hóa nó ba bước: thêm source, đổi qty từ int sang long, bỏ session. Với mỗi bước, ghi rõ là backward, forward hay không tương thích. Cuối cùng viết data contract một trang cho fact_tick: đơn vị giá, múi giờ Asia/Ho_Chi_Minh, khóa duy nhất, độ trễ tối đa từ event_ts tới ingest_ts.
Phỏng vấn hay hỏi
- Thêm một trường vào Avro schema thì cần điều kiện gì để không làm gãy consumer? Deploy producer trước hay consumer trước?
- Data contract khác schema ở điểm nào? Ai sở hữu nó?
Nguồn chính thức
- Designing Data-Intensive Applications (Kleppmann): chương Encoding and Evolution, phần Avro, Protocol Buffers và schema evolution
- Apache Avro Specification: mục Schema Resolution
- Confluent: Schema Evolution and Compatibility: phần compatibility types và thứ tự nâng cấp client
2.7Backpressure và flow controlTier 21 giờ
Câu hỏi cốt lõi
Khi sink chậm hơn nguồn, dữ liệu dồn đi đâu? Nên đệm, chặn nguồn hay bỏ bớt, và bạn quyết định dựa vào đâu?
Khái niệm phải nắm
- Ba lựa chọn khi vào nhanh hơn ra: đệm (tốn bộ nhớ hoặc đĩa, tăng độ trễ), chặn nguồn (backpressure lan ngược lên trên), bỏ hoặc lấy mẫu (mất dữ liệu).
- Hàng đợi phải có giới hạn: đệm vô hạn chỉ dời lỗi hết bộ nhớ hoặc đầy đĩa ra sau.
- Pull tự có flow control: consumer đọc theo nhịp của mình, log là chỗ đệm bền. Push cần tín hiệu ngược như credit hoặc demand.
- Queue đầy và lag là triệu chứng: việc chính là tìm stage chậm nhất.
Vì sao quan trọng
Một API đích chậm lại có thể làm đầy đĩa node ingest nếu không có giới hạn hàng đợi, và sự cố khi đó lan sang mọi flow khác trên cùng node.
Nhìn thấy ở đâu
NiFi: mỗi connection có Back Pressure Object Threshold (mặc định 10.000 FlowFile) và Back Pressure Data Size Threshold (mặc định 1 GB), vượt ngưỡng thì processor phía trước ngừng được lập lịch. Kafka đóng vai đệm bền giữa producer và consumer, có quota. Spark maxOffsetsPerTrigger giới hạn lượng đọc mỗi micro-batch. Flink lan backpressure qua network buffer theo cơ chế credit.
Trên dữ liệu chứng khoán VN
Đếm số tick theo từng giây của event_ts trong một ngày fact_tick, tìm giây cao điểm (để ý session = ATC). Nếu sink nhận 2.000 bản ghi mỗi giây, hàng đợi đầy tới đâu và mất bao lâu để xả? Chọn ngưỡng backpressure cho connection NiFi tương ứng.
Phỏng vấn hay hỏi
- Một queue trong NiFi flow đầy và đứng yên. Bạn xử lý thế nào mà không mất dữ liệu?
Nguồn chính thức
- Apache NiFi User Guide: mục Back Pressure trong phần cấu hình Connection
- Designing Data-Intensive Applications (Kleppmann): chương Stream Processing, phần Messaging Systems (producer nhanh hơn consumer)
2.8Vì sao log nhanh: sequential I/O, page cache, zero-copy, batchingTier 31,5 giờ
Câu hỏi cốt lõi
Vì sao một hệ thống ghi mọi bản ghi xuống đĩa lại đạt throughput cao hơn nhiều hàng đợi giữ trong RAM? Bật mã hóa đường truyền thì mất tối ưu nào?
Khái niệm phải nắm
- Sequential I/O: chỉ append và đọc tuần tự, tránh truy cập ngẫu nhiên, nên đĩa cho throughput gần mức tối đa.
- Page cache: dựa vào cache của hệ điều hành thay vì cache trong heap, tránh giữ hai bản và tránh áp lực GC. Consumer bắt kịp đọc thẳng từ cache, gần như không chạm đĩa.
- Zero-copy: chuyển dữ liệu từ page cache ra socket mà không copy qua user space. Làm được vì định dạng trên đĩa giống định dạng trên mạng.
- Batching và nén theo batch: gom nhiều bản ghi, nén một lần, giảm số request. Đổi lại là tăng độ trễ.
Vì sao quan trọng
Đây là câu hỏi "bên trong công cụ" quen thuộc. Nó cũng giải thích vì sao tune linger.ms là đánh đổi throughput với latency chứ không phải tối ưu miễn phí.
Nhìn thấy ở đâu
Kafka dùng sendfile cho zero-copy, nhưng docs ghi rõ khi bật SSL thì không dùng được sendfile. Producer có batch.size, linger.ms, compression.type. Cùng ý tưởng gom lô xuất hiện ở ClickHouse (insert lô lớn) và Parquet (3.2).
Trên dữ liệu chứng khoán VN
Đẩy một ngày fact_tick (khoảng 266 nghìn dòng) vào Kafka chạy trong Docker với linger.ms bằng 0, 5, 50 và compression.type là none, zstd. Đo throughput, latency p99 và dung lượng topic trên đĩa, rồi giải thích chênh lệch bằng bốn khái niệm trên.
Phỏng vấn hay hỏi
- Kafka ghi mọi thứ xuống đĩa mà vẫn nhanh. Vì sao?
Nguồn chính thức
- Apache Kafka: Design: mục Persistence và Efficiency
- Apache Kafka: Hardware and OS: phần filesystem, page cache và flush
Lưu trữ
8 CHỦ ĐỀ · 15 GIỜĐặt dữ liệu ở đâu, xếp nó thế nào, để mỗi kiểu truy vấn đọc ít byte nhất.
Học xong chặng này, bạn đọc được footer của một file Parquet, giải thích được vì sao một truy vấn lọc vẫn quét cả bảng, chọn được bố cục partition bằng con số, và suy ra nên dùng ClickHouse, ScyllaDB hay Elasticsearch từ kiểu truy vấn. Chặng này đứng trên nguyên lý lưu trữ và index của chặng 1, và tạo nền cho chặng 4, nơi engine biến đổi đọc chính những file này.
3.1Object storage và việc tách compute khỏi storageTier 11,5 giờ
Câu hỏi cốt lõi
Object storage không có thư mục thật, không có rename nguyên tử, mỗi request tốn hàng chục mili giây: vậy vì sao nó thành nền của data lake? Tách compute khỏi storage đổi lấy những gì?
Khái niệm phải nắm
- Mô hình object: key phẳng trong bucket, "thư mục" chỉ là prefix. LIST là thao tác tốn kém và chậm khi prefix có nhiều object.
- Object ghi nguyên khối: không append, không sửa giữa chừng. Rename là copy rồi delete, không nguyên tử, nên kiểu commit "ghi vào thư mục tạm rồi rename" thừa hưởng từ HDFS trở nên chậm và rủi ro.
- Consistency: S3 hiện cho strong read-after-write với PUT và DELETE. Hệ tương thích S3 khác cần kiểm tra riêng, đừng mặc định.
- Throughput đến từ song song: độ trễ từng request cao, nhưng nhiều request song song cho băng thông lớn. Có giới hạn số request mỗi giây theo prefix.
- Tách compute và storage: dữ liệu nằm một chỗ, nhiều engine cùng đọc, scale compute độc lập, tắt cluster không mất dữ liệu. Giá phải trả là mọi lần đọc đi qua mạng, nên cần file đủ lớn và đọc ít byte (3.2, 3.3).
Vì sao quan trọng
Job Spark ghi ra object storage chậm bất thường ở bước commit cuối, hoặc bảng mất file khi hai job ghi cùng một prefix. Hiểu mô hình object là bước đầu để hiểu vì sao cần table format (3.4).
Nhìn thấy ở đâu
MinIO là object storage tương thích S3 chạy on-prem. Spark truy cập qua connector s3a:// của Hadoop, với các S3A committer (directory, partitioned, magic) để tránh commit bằng rename. ClickHouse đọc trực tiếp bằng table function s3 và dùng được S3 làm disk cho MergeTree. Kafka tiered storage đẩy segment cũ lên object storage.
Trên dữ liệu chứng khoán VN
Upload data/synth/medium/fact_tick/ lên MinIO trong Docker. Đọc cả 20 partition trade_date bằng Spark và đếm số request LIST và GET trong log hoặc metrics của MinIO. Sau đó ghi đè một partition và quan sát các object tạm sinh ra trong lúc ghi. Nếu job bị kill giữa chừng, một reader khác đọc partition đó sẽ thấy gì?
Phỏng vấn hay hỏi
- Vì sao rename trên S3 là vấn đề với Spark? S3A committer giải quyết bằng cách nào?
- Tách compute khỏi storage có nhược điểm gì? Khi nào bạn vẫn để dữ liệu trên đĩa local của engine?
Nguồn chính thức
- Amazon S3: What is Amazon S3: phần How Amazon S3 works và Amazon S3 data consistency model
- Amazon S3: Optimizing performance: giới hạn request theo prefix và đọc song song
- Hadoop: Committing work to S3 with the S3A Committers: phần vấn đề của rename và so sánh các committer
3.2Bên trong file columnar (Parquet): row group, page, statistics → predicate pushdown, column pruningTier 12,5 giờ
Câu hỏi cốt lõi
Câu WHERE symbol = 'HPG' trên một file Parquet bỏ qua được bao nhiêu byte, và điều gì quyết định con số đó? Vì sao cùng dữ liệu nhưng sắp xếp khác nhau khi ghi lại làm truy vấn nhanh hơn nhiều lần?
Khái niệm phải nắm
- Cấu trúc file: file gồm các row group (lát ngang theo dòng), mỗi row group gồm column chunk (một cột), mỗi chunk gồm page (đơn vị mã hóa và nén). Footer ở cuối file chứa schema và vị trí mọi chunk, nên reader đọc footer trước. Nền row và columnar ở 1.1.
- Column pruning: chỉ đọc column chunk của cột được chọn.
SELECT *vứt bỏ lợi ích này. - Statistics và predicate pushdown: mỗi column chunk có min, max, null count, page index có thống kê cho từng page. Reader bỏ qua row group hoặc page có khoảng từ min tới max không chứa giá trị cần tìm.
- Statistics chỉ có ích khi dữ liệu gom cụm theo cột lọc: nếu row group nào cũng chứa đủ mọi mã thì min, max của
symbolluôn trải từ đầu tới cuối bảng chữ cái và không loại được gì. - Dictionary encoding và bloom filter: cột ít giá trị khác nhau được mã hóa từ điển, từ điển quá lớn thì rơi về plain. Bloom filter giúp bỏ qua chunk khi lọc bằng cột nhiều giá trị khác nhau.
- Kích thước row group là đánh đổi: lớn thì đọc tuần tự hiệu quả và nén tốt, nhỏ thì bỏ qua được mịn hơn nhưng tốn metadata và bộ nhớ khi ghi.
Vì sao quan trọng
Junior nói "Parquet nhanh vì là columnar". Middle giải thích được vì sao một truy vấn có điều kiện lọc vẫn quét toàn bộ file, và sửa bằng cách sắp dữ liệu khi ghi thay vì tăng tài nguyên.
Nhìn thấy ở đâu
Spark: spark.sql.parquet.filterPushdown (mặc định bật), dòng PushedFilters trong physical plan, metric số file và dung lượng đọc của node scan trong SQL UI. parquet.block.size đặt kích thước row group khi ghi. pyarrow.parquet.ParquetFile(...).metadata soi footer. ClickHouse và Iceberg dùng cùng ý tưởng min, max để bỏ qua dữ liệu ở mức granule và mức file.
Trên dữ liệu chứng khoán VN
Mở footer của data/synth/medium/fact_tick/trade_date=2026-11-20/part-0.parquet bằng pyarrow: file có bao nhiêu row group, min và max của symbol, event_ts là gì, mỗi cột dùng encoding nào? Dự đoán WHERE symbol = 'HPG' bỏ qua được gì. Rồi ghi lại file, sắp theo (symbol, event_ts) với row group khoảng 50 nghìn dòng, đọc bằng Spark với cùng điều kiện, so dung lượng đọc thật trong SQL UI giữa hai file.
Phỏng vấn hay hỏi
- Predicate pushdown trên Parquet hoạt động thế nào? Khi nào nó không giúp được gì?
- Vì sao
SELECT *trên một bảng Parquet rộng lại đắt hơn nhiều so với chọn ba cột?
Nguồn chính thức
- Apache Parquet: File Format: sơ đồ file và các trang con Metadata, Page Index
- Apache Parquet: Configurations: Row Group Size và Data Page Size
- Spark: Parquet Files: phần Configuration, các tùy chọn pushdown
3.3Bố cục partition và vấn đề small filesTier 12 giờ
Câu hỏi cốt lõi
Bảng tick nên phân vùng theo trade_date hay theo (trade_date, symbol), và bạn dùng con số nào để quyết định? Vì sao hàng chục nghìn file nhỏ làm một truy vấn đơn giản chậm hẳn dù tổng dữ liệu không đổi?
Khái niệm phải nắm
- Partition theo thư mục: kiểu
col=value/, engine bỏ qua cả thư mục khi điều kiện lọc chạm cột partition (partition pruning). Đây là partitioning áp vào lưu trữ, nguyên lý chung ở 1.3. - Chọn cột partition: theo điều kiện lọc phổ biến nhất và cardinality thấp, sao cho mỗi partition đủ dữ liệu cho vài file cỡ hàng trăm MB. Cardinality cao gây bùng nổ partition.
- Small files: mỗi file tốn một lần liệt kê, mở, đọc footer, một task và một mục metadata. Chi phí cố định nhân với số file lấn át thời gian đọc dữ liệu thật.
- Nguồn sinh file nhỏ: streaming ghi theo micro-batch, mỗi task ghi vào nhiều partition (số file xấp xỉ số task nhân số partition), partition quá mịn.
- Cách chữa: gom theo cột partition trước khi ghi, giới hạn số bản ghi mỗi file, compaction định kỳ (3.7). Một partition lớn bất thường là skew (4.5).
- Partition và sort bổ sung cho nhau: partition cắt thô theo thư mục, sort trong partition giúp statistics cắt mịn trong file (3.2).
Vì sao quan trọng
"Bảng của bạn partition theo gì, vì sao" gần như chắc chắn xuất hiện ở vòng Middle. Sự cố hay gặp: job streaming chạy vài tuần sinh hàng triệu file, Spark mất nhiều phút chỉ để liệt kê file trước khi đọc.
Nhìn thấy ở đâu
Spark: partitionBy khi ghi, maxRecordsPerFile, spark.sql.sources.partitionOverwriteMode=dynamic, spark.sql.files.maxPartitionBytes (mặc định 128 MB) khi đọc, AQE gộp partition sau shuffle. NiFi MergeContent/MergeRecord gom FlowFile nhỏ trước PutS3Object. ClickHouse báo lỗi "too many parts" khi insert lô nhỏ dày đặc hoặc PARTITION BY quá mịn. Iceberg tách partition khỏi đường dẫn bằng hidden partitioning (3.4).
Trên dữ liệu chứng khoán VN
data/synth/medium/fact_tick/ có 20 partition trade_date, mỗi partition một file khoảng 2,7 MB. Tính: nếu phân vùng thêm theo symbol thì có bao nhiêu thư mục, file trung vị chứa bao nhiêu dòng (dùng phân phối tick theo symbol)? Ghi thử bằng Spark với partitionBy("trade_date", "symbol") mà không repartition trước, đếm số file sinh ra, rồi so thời gian count() với bố cục gốc. Cuối cùng đề xuất bố cục cho ba năm dữ liệu và chứng minh bằng số.
Phỏng vấn hay hỏi
- Bảng có hai triệu file Parquet nhỏ trên S3. Ảnh hưởng gì, và bạn xử lý thế nào mà không làm gián đoạn người đọc?
- Partition bảng giao dịch theo mã chứng khoán có vấn đề gì? Nếu truy vấn hay lọc theo mã thì bạn làm gì thay thế?
Nguồn chính thức
- Spark: Parquet Files: phần Partition Discovery
- Spark: Performance Tuning: phần Tuning Partitions và Coalescing Post Shuffle Partitions
- Apache Iceberg: Maintenance: phần Compact data files
3.4Table format: ACID, snapshot, time travel trên object storageTier 13,5 giờ
Câu hỏi cốt lõi
Hai job cùng ghi vào một bảng trên object storage, một job chết giữa chừng: người đọc thấy gì nếu bảng chỉ là thư mục Parquet, và thấy gì nếu có table format? Time travel tốn gì, và ai trả chi phí đó?
Khái niệm phải nắm
- Bảng là danh sách file, không phải thư mục: lớp metadata ghi rõ phiên bản nào của bảng gồm những file nào. Reader đọc metadata thay vì LIST prefix.
- Snapshot và atomic commit: mỗi lần ghi tạo một snapshot mới, commit là thay con trỏ "metadata hiện tại" bằng một thao tác nguyên tử ở catalog. Chưa commit thì file mới vô hình với reader.
- Optimistic concurrency: writer giả định không xung đột, lúc commit kiểm tra snapshot gốc còn là hiện tại không. Xung đột thì thử lại trên snapshot mới hoặc thất bại. Đây là một mức isolation cụ thể, nguyên lý ở 1.8.
- Time travel và rollback: snapshot cũ vẫn trỏ tới file cũ, nên đọc lại được trạng thái quá khứ, cho tới khi snapshot hết hạn và file bị dọn.
- Schema evolution và partition evolution: cột được định danh bằng ID nên đổi tên không cần ghi lại dữ liệu. Đổi cách partition chỉ áp cho dữ liệu mới. Hidden partitioning suy partition từ cột (ví dụ ngày của
event_ts), người truy vấn không cần biết bố cục. - Update và delete theo dòng: copy-on-write ghi lại cả file chứa dòng bị đổi, merge-on-read ghi file đánh dấu xóa và gộp lúc đọc. Đánh đổi chi phí ghi với chi phí đọc.
Vì sao quan trọng
"Lakehouse giải quyết vấn đề gì của data lake" thực chất là câu hỏi về atomic commit và snapshot. Ở công việc, đây là thứ cho phép backfill một ngày mà dashboard không bao giờ thấy nửa dữ liệu (6.3).
Nhìn thấy ở đâu
Iceberg: metadata file trỏ tới manifest list của mỗi snapshot, manifest list trỏ tới manifest, manifest liệt kê data file kèm thống kê cột. Catalog (REST, Hive, JDBC, Nessie) giữ con trỏ tới metadata hiện tại. Spark SQL: VERSION AS OF, TIMESTAMP AS OF, bảng metadata snapshots, files, procedure rollback_to_snapshot. Partition transform days(event_ts), bucket(16, symbol). Chạy được trên MinIO. Delta Lake và Hudi giải cùng bài toán theo thiết kế khác (3.8).
Trên dữ liệu chứng khoán VN
Dựng Iceberg trên MinIO bằng Spark trong Docker. Tạo bảng tick từ fact_tick với partition days(event_ts), nạp 19 ngày đầu rồi nạp ngày 2026-11-20, soi bảng snapshots và files. Ghi đè một ngày bằng dữ liệu có price_vnd nhân 1.000, phát hiện bằng truy vấn TIMESTAMP AS OF, rồi rollback. Cuối cùng thêm bucket(16, symbol) vào partition spec và kiểm tra file cũ có bị ghi lại không.
Phỏng vấn hay hỏi
- Iceberg đảm bảo atomic commit trên S3 thế nào khi S3 không có rename nguyên tử?
- Time travel giữ được bao lâu, ai dọn snapshot cũ, và dọn sai thì chuyện gì xảy ra?
Nguồn chính thức
- Apache Iceberg: Table Spec: phần Overview, Optimistic Concurrency, Snapshots
- Apache Iceberg: Partitioning: hidden partitioning, và trang Evolution cho schema và partition evolution
- Apache Iceberg: Spark Queries: phần Time travel và Inspecting tables
3.5Data lake, warehouse, lakehouse và phân lớp medallionTier 21,5 giờ
Câu hỏi cốt lõi
Bronze, silver, gold khác nhau ở cam kết gì với người dùng, chứ không phải ở tên thư mục? Khi nào warehouse vẫn là lựa chọn tốt hơn lakehouse?
Khái niệm phải nắm
- Warehouse: storage và engine gắn chặt, schema-on-write, quản trị tốt, khó mang dữ liệu sang engine khác.
- Data lake: file định dạng mở trên object storage, schema-on-read, rẻ và linh hoạt, dễ thành đầm lầy khi thiếu ACID và quản trị.
- Lakehouse: table format (3.4) trên data lake để có ACID, snapshot, và nhiều engine cùng đọc một bản dữ liệu.
- Medallion: bronze giữ dữ liệu gần nguồn để chạy lại, silver đã làm sạch, chuẩn hóa, dedup, gold phục vụ một nhu cầu cụ thể. Mỗi lớp là một mức cam kết chất lượng.
Vì sao quan trọng
Khi backfill, bạn phải biết lớp nào là nguồn sự thật để tính lại. Phỏng vấn hay hỏi lớp nào được sửa tay, lớp nào chỉ được ghi thêm.
Nhìn thấy ở đâu
MinIO cộng Iceberg cộng Spark là một lakehouse tự dựng. ClickHouse đóng vai warehouse và lớp phục vụ. Thuật ngữ medallion do Databricks phổ biến. dbt chia staging, intermediate, marts theo cùng tinh thần (4.10).
Trên dữ liệu chứng khoán VN
Xếp dữ liệu hiện có vào ba lớp: snapshot JSON trong vn_trading_market_data/data/, các bảng trong data/canonical/, và fact_daily_bar đang trộn hai source. Bảng nào đang ở sai lớp? Đề xuất một bảng gold phục vụ API giá ngày.
Phỏng vấn hay hỏi
- Có nên dedup ở bronze không? Vì sao?
Nguồn chính thức
- Lakehouse (Armbrust và cộng sự, CIDR 2021): mục 1 đến 3, vấn đề của kiến trúc hai tầng lake cộng warehouse
- Databricks: Medallion architecture: vai trò từng lớp
3.6Chọn storage theo access pattern: OLAP, wide-column, searchTier 12,5 giờ
Câu hỏi cốt lõi
Cùng dữ liệu giao dịch, ba yêu cầu: tổng khối lượng theo mã theo phút trên ba năm, 100 giao dịch gần nhất của một mã trong vài mili giây, và tìm mã khi người dùng gõ sai. Vì sao không hệ nào làm tốt cả ba, và bạn suy ra lựa chọn từ đâu?
Khái niệm phải nắm
- Bắt đầu từ truy vấn: liệt kê kiểu truy cập (quét nhiều dòng ít cột, tra theo khóa, tìm theo nội dung), độ trễ yêu cầu, tần suất, tỷ lệ đọc và ghi. Lựa chọn lưu trữ suy ra từ danh sách này.
- OLAP columnar: lưu theo cột, sắp theo khóa sắp xếp, sparse index chỉ đánh dấu mỗi khối vài nghìn dòng. Quét và tổng hợp hàng tỷ dòng nhanh, tra một dòng hay sửa từng dòng thì kém (1.1, 1.2).
- Wide-column trên LSM: partition key quyết định node và vị trí, clustering key sắp dòng trong partition. Đọc ghi theo khóa với độ trễ thấp, nhưng chỉ cho truy vấn đã thiết kế trước: một bảng cho một query, chấp nhận nhân bản dữ liệu. Partition quá lớn là hot key (1.3).
- Search trên inverted index: ánh xạ term về danh sách document, analyzer cho tìm mờ và chấm điểm liên quan. Mạnh ở full-text và lọc nhiều chiều, yếu ở join và tổng hợp chính xác quy mô lớn, và chỉ near real-time.
- Một nguồn sự thật, nhiều bản phục vụ: các hệ phục vụ là bản dẫn xuất từ log hoặc lakehouse, xây lại được khi đổi thiết kế (2.3).
Vì sao quan trọng
Middle sẽ bị hỏi "sao không dùng một hệ cho cả dashboard lẫn API tra cứu". Câu trả lời phải dựa vào cơ chế index và bố cục dữ liệu, không phải "vì team quen".
Nhìn thấy ở đâu
ClickHouse MergeTree: ORDER BY là sparse primary index, index_granularity mặc định 8192 dòng, part bất biến được merge nền. ScyllaDB: PRIMARY KEY ((symbol, trade_date), event_ts) gồm partition key và clustering column, truy vấn không có partition key phải thêm ALLOW FILTERING, compaction TWCS dành cho chuỗi thời gian. Elasticsearch: segment Lucene bất biến, mặc định refresh mỗi giây, doc_values là lưu trữ dạng cột cho sort và aggregation.
Trên dữ liệu chứng khoán VN
Từ fact_tick và dim_symbol, thiết kế ba bảng: ClickHouse cho tổng qty theo symbol theo phút (ORDER BY gì, PARTITION BY gì), ScyllaDB cho "N tick mới nhất của một mã" (partition key, clustering key, mã nhiều tick nhất ngày có làm partition quá lớn không), Elasticsearch cho tìm mã theo symbol gõ sai, lọc theo is_vn30, index_membership. Trước đó, kiểm tra cột name của dim_symbol có đủ dữ liệu cho full-text không. Với mỗi bảng, viết một truy vấn nó làm tốt và một truy vấn nó làm dở.
Phỏng vấn hay hỏi
- Thiết kế lưu trữ cho API trả lịch sử giá theo mã và dashboard tổng hợp toàn thị trường. Một hệ hay hai hệ, đồng bộ bằng cách nào?
- Vì sao ScyllaDB bắt bạn biết partition key khi truy vấn, còn ClickHouse thì không?
Nguồn chính thức
- ClickHouse: A practical introduction to primary indexes: toàn bài, phần granule và vì sao index thưa
- ScyllaDB: Data Definition (CQL): phần The Primary key, partition key và clustering columns
- Elasticsearch: Near real-time search: segment, refresh và vì sao tài liệu mới chưa tìm thấy ngay
3.7Vòng đời dữ liệu lưu trữ: retention, tiering, compactionTier 21 giờ
Câu hỏi cốt lõi
Với năm năm dữ liệu tick, phần nào cần nóng, phần nào xóa được, và làm sao đảm bảo việc xóa không làm gãy time travel hay backfill?
Khái niệm phải nắm
- Retention: giữ bao lâu do nghiệp vụ và pháp lý quyết định, không phải do đĩa đầy.
- Tiering: dữ liệu nguội chuyển sang lớp rẻ hơn, đọc chậm hơn hoặc tốn phí truy xuất.
- Compaction: gộp file, part hay segment nhỏ thành lớn, loại bản ghi đã bị ghi đè hoặc xóa. Có ở LSM (1.2), table format và log.
- Xóa trong table format có hai bước: xóa logic tạo snapshot mới, file vật lý chỉ mất khi snapshot hết hạn và file mồ côi được dọn.
Vì sao quan trọng
Chi phí lưu trữ tăng đều mỗi ngày (7.6), và nhiều sự cố mất dữ liệu đến từ chính job dọn dẹp đặt retention sai.
Nhìn thấy ở đâu
Lifecycle rule của S3 và MinIO (expiration, transition). ClickHouse TTL ... DELETE và TTL ... TO VOLUME. Elasticsearch ILM với các pha hot, warm, cold, frozen, delete và rollover. Iceberg rewrite_data_files, expire_snapshots, remove_orphan_files. Kafka retention.ms và tiered storage.
Trên dữ liệu chứng khoán VN
Viết chính sách cho fact_tick (thô trên MinIO, Iceberg, ClickHouse) và fact_daily_bar: giữ bao lâu ở mỗi nơi, khi nào chuyển lớp, compaction chạy lúc nào để tránh giờ giao dịch. Viết lifecycle rule cho prefix snapshot JSON thô và một câu TTL cho bảng ClickHouse.
Phỏng vấn hay hỏi
- Chạy
expire_snapshotsvới retention quá ngắn thì rủi ro gì cho job đang đọc và cho backfill?
Nguồn chính thức
- Apache Iceberg: Maintenance: Expire Snapshots, Remove old metadata files, Delete orphan files
- ClickHouse: Manage data with TTL: TTL xóa dòng và chuyển dữ liệu giữa volume
- MinIO: Object Lifecycle Management: expiration và transition rule
3.8So sánh Iceberg / Delta / HudiTier 30,5 giờ
Câu hỏi cốt lõi
Ba format cùng mang ACID lên object storage, chúng khác nhau ở điểm xuất phát nào?
Khái niệm phải nắm
- Iceberg: cây metadata gồm manifest list và manifest, hidden partitioning, spec độc lập với engine.
- Delta Lake: transaction log
_delta_loggồm commit JSON đánh số tuần tự và checkpoint Parquet. - Hudi: sinh ra cho upsert và đọc gia tăng, quản lý bằng timeline, có bảng Copy-on-Write và Merge-on-Read.
Vì sao quan trọng
Phỏng vấn vị trí lakehouse hay hỏi lý do chọn format.
Nhìn thấy ở đâu
Cả ba có connector cho Spark. ClickHouse có table function iceberg, deltaLake, hudi để đọc.
Trên dữ liệu chứng khoán VN
Nếu bảng tick nhận upsert liên tục theo trade_id từ CDC, format nào hợp hơn, vì sao?
Phỏng vấn hay hỏi
- Bạn chọn table format nào cho team, theo tiêu chí gì?
Nguồn chính thức
- Delta Lake Protocol: phần Delta Table Specification
- Apache Hudi: Table Types: Copy On Write và Merge On Read
Biến đổi
11 CHỦ ĐỀ · 30,5 GIỜBiến dữ liệu thô thành kết quả đúng, và hiểu máy tính nó trên nhiều máy ra sao để biết vì sao nó chậm hoặc chết.
Học xong chặng này bạn viết được SQL cho các bài theo nhóm và theo chuỗi thời gian, vẽ được DAG và stage của một job trước khi chạy, và đọc UI để nói một job chậm vì shuffle, vì skew hay vì thiếu bộ nhớ. Chặng 1 cho bạn nguyên lý chia dữ liệu và chịu lỗi, chặng này dùng chúng để tính toán, còn chặng 5 quyết định kết quả tính ra có hình dạng gì để phục vụ.
4.1SQL nâng cao: window function, CTE, dedup, gaps-and-islands, top-N theo nhómTier 14 giờ
Câu hỏi cốt lõi
Vì sao AVG(close_vnd) OVER (PARTITION BY symbol ORDER BY trade_date) không phải đường trung bình 20 phiên, và vì sao ROW_NUMBER, RANK, DENSE_RANK cho ba đáp án khác nhau cho cùng một bài top-N? Khi nào bài toán "theo từng nhóm" cần window function thay vì GROUP BY rồi join ngược lại?
Khái niệm phải nắm
- Window function: tính trên một tập dòng liên quan mà không gộp dòng. Nó chạy sau
WHERE,GROUP BY,HAVING, nên muốn lọc theo kết quả window phải bọc trong CTE hoặc subquery. - Frame:
ROWSđếm dòng vật lý,RANGEđo theo giá trị của cột sắp xếp (ví dụ 2 ngày về trước) và luôn kéo theo các dòng hòa giá trị. CóORDER BYmà không ghi frame thì mặc định làRANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW: từ đầu partition tới dòng hiện tại cùng mọi dòng hòa với nó, nên ra trung bình lũy kế chứ không phải trung bình trượt, và lệch thêm khi khóa sắp xếp bị trùng. - Bẫy NULL và fan-out:
NOT INgặp NULL trả rỗng,COUNT(col)bỏ NULL, join hai bảng khác grain nhân dòng mà không báo lỗi (5.1). - Hàm xếp hạng:
ROW_NUMBERluôn cho số duy nhất và cần cột phá hòa để kết quả tất định.RANKnhảy số khi hòa,DENSE_RANKkhông nhảy. Chọn sai thì top-N mất dòng hoặc thừa dòng. - Dedup bằng xếp hạng: partition theo khóa nghiệp vụ, sắp theo quy tắc ưu tiên, giữ dòng số 1. Quy tắc ưu tiên là một quyết định nghiệp vụ, phải viết ra và test.
- Gaps-and-islands: lấy số thứ tự toàn cục trừ số thứ tự trong nhóm, hiệu này không đổi trong một chuỗi liên tiếp, nên dùng làm khóa gom chuỗi.
- CTE: đặt tên cho từng bước để đọc và kiểm tra riêng. Engine có thể inline nó, nên đừng coi CTE là cache.
Vì sao quan trọng
Bài SQL viết trực tiếp là vòng loại phổ biến nhất của phỏng vấn Middle DE. Trong công việc, dedup sai làm nhân đôi số liệu mà job vẫn chạy xanh, và người phát hiện thường là người dùng API của bạn.
Nhìn thấy ở đâu
Spark SQL, ClickHouse và PostgreSQL đều có window function chuẩn. Trong Spark, window function cần shuffle theo khóa PARTITION BY, nên mã nhiều dòng dồn vào một task (4.5). DataFrame API viết frame bằng rowsBetween(-19, 0). ClickHouse có thêm LIMIT n BY cho top-N theo nhóm, và ReplacingMergeTree chỉ khử trùng khi merge nền chứ không phải lúc insert.
Trên dữ liệu chứng khoán VN
Trên fact_daily_bar và fact_daily_bar_synth, viết bốn truy vấn. (1) MA20 của close_vnd theo symbol. (2) Chuỗi phiên tăng giá liên tiếp dài nhất của mỗi mã, đánh số phiên theo dim_trading_calendar chứ không trừ ngày, vì bảng này chỉ chứa ngày giao dịch, cuối tuần và ngày nghỉ vắng hẳn. (3) Top 5 mã theo giá trị giao dịch xấp xỉ volume * close_vnd mỗi trade_date, có xử lý hòa. (4) Dedup: TCB có 247 cặp (symbol, trade_date) xuất hiện ở cả source = 'dnse' và 'tcbs', close_vnd lệch vài đồng. Chọn quy tắc ưu tiên nguồn, ghi lý do, kiểm tra mỗi cặp chỉ còn một dòng. Câu hỏi thêm: nguồn tcbs có 3 ngày 19 đến 21/11/2025 không có trong dim_trading_calendar. MA20 dùng ROWS xử lý chúng thế nào?
Phỏng vấn hay hỏi
- Cho bảng giá ngày, tìm các mã có ít nhất 5 phiên tăng liên tiếp. Viết SQL và giải thích vì sao không dùng
trade_date - 1. ROWS BETWEEN 2 PRECEDING AND CURRENT ROWkhácRANGEvới khoảng 2 ngày thế nào khi dữ liệu có ngày nghỉ?
Nguồn chính thức
- PostgreSQL: Window Functions (tutorial): đọc hết, đặc biệt phần window frame
- PostgreSQL: Window Function Calls: cú pháp
frame_clausevà frame mặc định - PostgreSQL: WITH Queries: phần CTE đệ quy và phần CTE Materialization
4.2Đọc execution plan: cardinality và thuật toán joinTier 12,5 giờ
Câu hỏi cốt lõi
Một truy vấn join hôm qua chạy 2 giây, hôm nay 20 phút dù code không đổi. Bạn đọc plan để tìm gì đầu tiên? Vì sao optimizer chọn hash join cho cặp bảng này nhưng nested loop cho cặp khác?
Khái niệm phải nắm
- Plan là cây toán tử: đọc từ lá lên, gồm scan, filter, project, join, aggregate, exchange. Mỗi node mang số dòng ước lượng và chi phí ước lượng.
- Cardinality estimation: optimizer đoán số dòng ra của mỗi node từ statistics (số dòng, số giá trị phân biệt, min/max, histogram). Đoán sai một bậc độ lớn ở node dưới thì mọi lựa chọn phía trên sai theo.
- Nested loop join: quét phía trong cho mỗi dòng phía ngoài. Tốt khi phía ngoài rất nhỏ hoặc phía trong có index, và là lựa chọn duy nhất cho điều kiện không phải đẳng thức.
- Hash join và sort-merge join: hash join dựng bảng băm từ phía nhỏ rồi quét phía lớn, cần bộ nhớ cho phía nhỏ. Sort-merge sắp xếp hai phía theo khóa rồi trộn, chịu được hai phía đều lớn nhưng tốn sort.
- Ước lượng so với thực tế: đặt số dòng ước lượng cạnh số dòng thật là cách nhanh nhất tìm chỗ optimizer bị lừa. Nguyên nhân thường gặp: statistics cũ, cột tương quan nhau, điều kiện viết trên biểu thức.
- Join order và đẩy filter: lọc sớm và join bảng nhỏ trước làm giảm dữ liệu trung gian. Plan cho bạn thấy filter đã được đẩy xuống scan hay chưa.
Vì sao quan trọng
"Query chậm, bạn làm gì" là câu mở của nhiều vòng kỹ thuật. Trả lời "thêm index" hay "tăng executor" mà chưa đọc plan là dấu hiệu Junior, còn Middle chỉ ra node nào ước lượng sai và vì sao.
Nhìn thấy ở đâu
PostgreSQL EXPLAIN ANALYZE in số dòng ước lượng và số dòng thật cạnh nhau. Spark EXPLAIN FORMATTED hoặc tab SQL trong UI: Exchange là shuffle, cùng các node BroadcastHashJoin, SortMergeJoin, ShuffledHashJoin. Spark chỉ dùng cost-based optimizer khi bật spark.sql.cbo.enabled (mặc định false) và đã chạy ANALYZE TABLE ... COMPUTE STATISTICS. ClickHouse EXPLAIN indexes = 1 cho biết bao nhiêu granule bị loại nhờ primary key, setting join_algorithm chọn thuật toán join.
Trên dữ liệu chứng khoán VN
Nạp fact_daily_bar_synth (106.210 dòng), dim_symbol, dim_trading_calendar vào PostgreSQL. Viết truy vấn tổng volume theo tháng cho các mã is_vn30. Chạy EXPLAIN ANALYZE ba lần: ban đầu, sau khi tạo index trên (symbol, trade_date), và sau khi chạy ANALYZE. Ghi lại: thuật toán join được chọn, số dòng ước lượng ở node lọc is_vn30 so với 30 mã thật, và điều gì đổi khi thêm điều kiện close_vnd > 50000.
Phỏng vấn hay hỏi
- Hash join và sort-merge join khác nhau ở bộ nhớ và ở chỗ phải sort. Khi nào optimizer chọn nested loop dù hai bảng đều lớn?
- Plan ước lượng 10 dòng nhưng thực tế ra 10 triệu dòng. Nguyên nhân có thể là gì và nó ảnh hưởng các node phía trên thế nào?
Nguồn chính thức
- PostgreSQL: Using EXPLAIN: phần EXPLAIN Basics và EXPLAIN ANALYZE
- PostgreSQL: Planner/Optimizer: ba chiến lược nested loop, merge join, hash join
- Spark SQL: EXPLAIN: các chế độ
EXTENDED,CODEGEN,COST,FORMATTED
4.3Mô hình tính toán batch phân tán: DAG, stage, task, narrow vs wide, lazy evaluationTier 13 giờ
Câu hỏi cốt lõi
Vì sao một job đọc 20 file Parquet, lọc, rồi group by theo mã lại thành đúng hai stage chứ không phải một hay ba? Khi một task chết giữa chừng, hệ thống tính lại những gì và dựa vào đâu để biết?
Khái niệm phải nắm
- Lazy evaluation: transformation chỉ được ghi vào kế hoạch, action mới kích hoạt tính toán. Nhờ thấy cả chuỗi, engine gộp được các bước và đẩy filter xuống nguồn.
- DAG và lineage: mỗi node là một tập dữ liệu chia partition, mỗi cạnh là một phép biến đổi. Lineage cho phép tính lại đúng partition bị mất thay vì sao lưu mọi dữ liệu trung gian.
- Narrow vs wide dependency: narrow là mỗi partition đầu ra chỉ cần một partition đầu vào (filter, map, project), nên chạy nối tiếp trong cùng một task. Wide là mỗi partition đầu ra cần dữ liệu từ nhiều partition đầu vào (group by, join theo khóa, sort toàn cục), nên phải shuffle.
- Stage: chuỗi narrow liên tiếp, ranh giới stage nằm đúng ở wide dependency. Stage sau chỉ chạy khi đầu ra shuffle của stage trước đã sẵn sàng.
- Task: một stage chạy trên một partition. Số task của stage đọc file phụ thuộc cách chia file, số task sau shuffle phụ thuộc số partition shuffle. Mức song song thật bị chặn bởi tổng số core.
- Job: mỗi action sinh ít nhất một job (sort toàn cục, broadcast và adaptive execution có thể sinh thêm). Gọi hai action trên cùng một tập dữ liệu mà không cache thì nguồn bị đọc hai lần.
Vì sao quan trọng
Không vẽ được stage thì không giải thích được vì sao job chậm, hay vì sao thêm một count() để debug làm job lâu gấp đôi. Mọi câu hỏi về shuffle, skew và bộ nhớ ở các chủ đề sau đều dựng trên mô hình này.
Nhìn thấy ở đâu
Spark UI có tab Jobs, Stages và DAG Visualization vẽ đúng mô hình này. spark.sql.files.maxPartitionBytes (mặc định 128MB) quyết định số task đọc file. spark.sql.shuffle.partitions (mặc định 200) quyết định số task sau shuffle nếu AQE không gộp lại. Flink dùng cùng ý tưởng: các operator nối nhau mà không phân phối lại dữ liệu được gộp thành operator chain, còn keyBy là điểm phân phối lại. MapReduce là trường hợp riêng chỉ có hai stage map và reduce.
Trên dữ liệu chứng khoán VN
Chạy Spark trong Docker đọc data/synth/medium/fact_tick/ (20 partition trade_date, khoảng 5,3 triệu dòng), lọc session = 'CONT', tính tổng qty theo symbol, ghi ra Parquet. Tắt AQE (spark.sql.adaptive.enabled=false) cho lần đếm đầu. Trước khi chạy, vẽ tay DAG: bao nhiêu stage, mỗi stage bao nhiêu task. Mở UI so với dự đoán. Thêm .count() trước bước ghi và giải thích vì sao số job tăng. Đổi sang group by symbol, trade_date rồi orderBy: số stage và số job đổi thế nào, và vì sao sort toàn cục sinh thêm một job lấy mẫu?
Phỏng vấn hay hỏi
- Narrow và wide transformation khác nhau ở đâu? Cho một ví dụ phép bạn tưởng là narrow nhưng thật ra gây shuffle.
- Lazy evaluation giúp tối ưu thế nào, và nó gây khó gì khi debug?
Nguồn chính thức
- Spark: RDD Programming Guide: mục RDD Operations và Shuffle operations
- Spark: Cluster Mode Overview: mục Glossary (job, stage, task, executor)
- Resilient Distributed Datasets (NSDI 2012): phần biểu diễn RDD, narrow và wide dependency, lineage
4.4Shuffle và chiến lược join phân tánTier 13,5 giờ
Câu hỏi cốt lõi
Shuffle thực sự làm những bước gì trên đĩa và mạng, và vì sao nó thường là phần đắt nhất của job? Join bảng 5 triệu dòng với bảng 436 dòng, và join hai bảng đều lớn, nên đi theo chiến lược khác nhau thế nào?
Khái niệm phải nắm
- Shuffle là phân phối lại dữ liệu theo khóa: phía ghi băm khóa để chọn partition đích, gom và sắp theo partition đích, serialize rồi ghi ra đĩa cục bộ. Phía đọc kéo các khối của mình từ mọi máy qua mạng.
- Chi phí shuffle: serialization, ghi đĩa, truyền mạng, sort, và số khối trung gian tỉ lệ với số task ghi nhân số partition đích. Quá nhiều partition đích sinh vô số khối nhỏ, quá ít thì mỗi task đọc quá nhiều và dễ tràn bộ nhớ.
- Broadcast hash join: gửi nguyên bảng nhỏ tới mọi worker, bảng lớn không phải di chuyển. Chỉ an toàn khi bảng nhỏ vừa bộ nhớ của mỗi worker và của nơi dựng bảng băm.
- Shuffle hash join và sort-merge join: hai phía cùng được shuffle theo khóa join để các dòng cùng khóa gặp nhau. Hash join dựng bảng băm từ phía nhỏ trong mỗi partition. Sort-merge sắp cả hai phía rồi trộn, chậm hơn nhưng chịu được partition lớn vì tràn ra đĩa được.
- Tránh shuffle bằng bố cục: hai bảng đã chia và sắp theo cùng khóa, cùng số bucket thì join không cần shuffle lại. Khóa chia dữ liệu lúc lưu (nguyên lý ở 1.3) quyết định chi phí lúc biến đổi.
Vì sao quan trọng
Giải thích được vì sao một join "nhỏ" làm job chậm 10 lần, và vì sao thêm executor không cứu được job mà nút cổ chai là mạng và đĩa của shuffle, là ranh giới rõ nhất giữa người dùng engine và người hiểu engine.
Nhìn thấy ở đâu
Spark: node Exchange trong plan là shuffle, file shuffle nằm ở spark.local.dir. spark.sql.autoBroadcastJoinThreshold (mặc định 10MB, -1 để tắt) quyết định broadcast tự động. Hint BROADCAST, MERGE, SHUFFLE_HASH, SHUFFLE_REPLICATE_NL ép chiến lược nhưng không được bảo đảm. Tab Stages có Shuffle Write, Shuffle Read, Shuffle Remote Reads, Shuffle Read Fetch Wait Time. Bucketing và Storage Partition Join tránh shuffle khi bố cục khớp. Kafka producer chọn partition bằng hash của key, cùng ý tưởng ở 2.3. ClickHouse phân tán có GLOBAL JOIN gửi bảng bên phải tới mọi shard, giống broadcast.
Trên dữ liệu chứng khoán VN
Join fact_tick medium với dim_symbol (436 dòng) để gắn is_vn30, rồi join với fact_daily_bar_synth theo (symbol, trade_date) để tính độ lệch price_vnd so với close_vnd. Với mỗi join, ghi chiến lược trong plan và Shuffle Write trong UI. Tắt AQE (spark.sql.adaptive.enabled=false) cho dễ thấy, rồi chạy lại với spark.sql.autoBroadcastJoinThreshold=-1. Thử spark.sql.shuffle.partitions bằng 8, 200, 2000 trên cùng một máy và giải thích vì sao thời gian không giảm đều.
Phỏng vấn hay hỏi
- Broadcast join nhanh vì sao, và khi nào bật broadcast lại làm job chết?
- Hai bảng lớn join nhau mỗi ngày theo cùng một khóa. Làm sao để không phải shuffle cả hai bảng mỗi lần chạy?
Nguồn chính thức
- Spark: Shuffle operations: phần Background và Performance Impact
- Spark: Performance Tuning: mục Optimizing the Join Strategy (Automatically Broadcasting Joins, Join Strategy Hints)
- Designing Data-Intensive Applications (Kleppmann): chương Batch Processing, phần reduce-side join và map-side join (broadcast hash join, partitioned hash join)
4.5Data skew và adaptive executionTier 12,5 giờ
Câu hỏi cốt lõi
199 task xong trong 10 giây, task cuối chạy 15 phút. Bạn chứng minh đó là skew thế nào, và vì sao thêm executor hay tăng số partition không giúp? Adaptive execution xử lý được loại skew nào và bỏ sót loại nào?
Khái niệm phải nắm
- Stage chậm bằng task chậm nhất: băm theo khóa dồn mọi dòng của một khóa nóng vào một partition (nguyên lý hot key ở 1.3), nên một task gánh việc của nhiều task. Tăng số partition không tách được một khóa.
- Skew khác partition to đều: skew là max lớn hơn median nhiều lần, to đều là mọi task cùng chậm. Hai bệnh chữa khác nhau.
- Skew khi aggregate và khi join: aggregate được làm dịu nhờ gộp sơ bộ trước shuffle (partial aggregation). Join thì không, vì mọi dòng của khóa nóng phía lớn đều phải gặp các dòng cùng khóa phía kia.
- Salting: thêm hậu tố ngẫu nhiên 0..N-1 vào khóa nóng ở phía lớn, nhân bản phía nhỏ N lần, join rồi gộp lại. Bạn đổi skew lấy dữ liệu nhân bản. Broadcast phía nhỏ thì né được hẳn vì không còn shuffle theo khóa.
- Adaptive execution: engine chạy xong một stage, đo kích thước thật của đầu ra shuffle rồi lập lại kế hoạch phần sau: gộp partition nhỏ, tách partition lệch, đổi sang broadcast khi một phía hóa ra nhỏ. Nó chỉ can thiệp ở ranh giới shuffle và theo ngưỡng cấu hình.
Vì sao quan trọng
Skew là nguyên nhân phổ biến nhất của "job đứng mãi ở 99%". Phỏng vấn Middle gần như luôn có một câu về skew, và câu trả lời "tăng partition" là sai khi chỉ có một khóa nóng.
Nhìn thấy ở đâu
Spark AQE bật mặc định (spark.sql.adaptive.enabled). spark.sql.adaptive.skewJoin.enabled tách partition lệch trong sort-merge join. Một partition bị coi là lệch khi lớn hơn spark.sql.adaptive.skewJoin.skewedPartitionFactor (mặc định 5) lần median và lớn hơn spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes (mặc định 256MB). spark.sql.adaptive.coalescePartitions.enabled gộp partition nhỏ theo spark.sql.adaptive.advisoryPartitionSizeInBytes (mặc định 64MB). Plan cuối hiện là AdaptiveSparkPlan isFinalPlan=true trong tab SQL. Flink: một khóa nóng sau keyBy làm một subtask quá tải và gây backpressure. Kafka: một key nóng làm một partition lag (2.3).
Trên dữ liệu chứng khoán VN
Đếm tick theo symbol trong data/synth/medium/fact_tick/: 394 mã, SHB đứng đầu với khoảng 315 nghìn tick (5,9% trong 5,3 triệu), gấp khoảng 23 lần trung bình một mã, 15 mã đầu chiếm khoảng một nửa. Tự chạy lại phép đếm. Skew này còn vừa phải, nên tự khuếch đại: nhân bản tick của SHB và VIX lên 20 đến 50 lần. Viết window function PARTITION BY symbol ORDER BY event_ts (giá trung bình 100 tick gần nhất), rồi join tick với fact_daily_bar_synth theo (symbol, trade_date) với broadcast đã tắt. Trong tab Stages so max với median của Duration và Shuffle Read Size. Giải thích vì sao AQE không đánh dấu partition nào là lệch ở cỡ dữ liệu này (gợi ý: ngưỡng tuyệt đối). Thử salting cho join và đo lại.
Phỏng vấn hay hỏi
- Job join bị skew vào một khóa. Nêu ba cách xử lý và cái giá của mỗi cách.
- AQE làm được gì lúc runtime mà optimizer lúc lập kế hoạch không làm được? Vì sao nó vẫn không cứu mọi trường hợp skew?
Nguồn chính thức
- Spark: Performance Tuning: mục Adaptive Query Execution (Coalescing Post Shuffle Partitions, Converting sort-merge join to broadcast join, Optimizing Skew Join)
- Spark: Web UI: phần Stage detail và Summary metrics for all tasks
4.6Memory, spill, OOM và cách đọc UI/metrics để chẩn đoánTier 13 giờ
Câu hỏi cốt lõi
Executor có 8 GB nhưng task vẫn spill rồi container bị kill. 8 GB đó được chia cho những ai? Phân biệt OOM ở driver, OOM trong heap của executor, và container bị kill vì vượt giới hạn bộ nhớ.
Khái niệm phải nắm
- Bộ nhớ một executor: heap gồm phần dự trữ cố định, vùng hợp nhất cho execution (sort, bảng băm, buffer của shuffle, join, aggregate) và storage (cache, broadcast), và phần còn lại cho đối tượng của người dùng. Ngoài heap còn overhead cho buffer native và tiến trình Python.
- Bộ nhớ cho tính toán và bộ nhớ cho cache tranh nhau: engine nào cũng phải quyết định khi thiếu chỗ thì đuổi dữ liệu cache hay ép phép tính ghi ra đĩa. Engine thường ưu tiên phép tính đang chạy và chỉ bảo vệ một phần cache. Bộ nhớ chia đều cho các task chạy đồng thời, nên thêm luồng mà không thêm bộ nhớ thì mỗi task ít chỗ hơn.
- Spill: cấu trúc sort hoặc hash không vừa thì phần dư được ghi ra đĩa rồi trộn lại. Spill là cơ chế an toàn chứ không phải lỗi, nhưng nhân thời gian lên nhiều lần. OOM xảy ra với thứ không spill được: một dòng hay một nhóm quá lớn, bảng broadcast, dữ liệu kéo về driver.
- Ba kiểu chết: driver OOM (kéo toàn bộ kết quả về driver, dựng bảng broadcast lớn), executor heap OOM (một partition hay một khóa quá lớn), container bị kill vì tổng bộ nhớ tiến trình vượt giới hạn (thường do phần native hoặc Python, không hiện thành lỗi heap).
- Đọc metrics theo phân phối: so min, median, max của duration, shuffle read, spill, GC time giữa các task. Max lệch xa median là skew (4.5), mọi task cùng spill là thiếu bộ nhớ hoặc thiếu partition.
Vì sao quan trọng
Sự cố "job đang chạy tốt bỗng chết khi dữ liệu tăng" gần như luôn quy về bộ nhớ. Middle nhìn UI mà nói được nên tăng partition, tăng overhead, bỏ cache hay xử lý skew, thay vì tăng bộ nhớ executor tới khi hết ngân sách.
Nhìn thấy ở đâu
Spark: heap trừ 300MiB dự trữ, spark.memory.fraction (mặc định 0.6) là vùng hợp nhất, spark.memory.storageFraction (mặc định 0.5) là phần storage được bảo vệ trong vùng đó. spark.executor.memoryOverheadFactor (mặc định 0.10, riêng job Python hoặc R trên Kubernetes là 0.40) cấp phần ngoài heap. Tab Stages có Peak execution memory, GC time, Shuffle spill (memory) và Shuffle spill (disk). Trên Kubernetes, container vượt limit bị OOMKilled (exit code 137) dù heap còn trống. Flink tách managed memory dùng cho RocksDB và sort khỏi heap, cùng ý tưởng vùng execution riêng.
Trên dữ liệu chứng khoán VN
Chạy Spark standalone trong Docker với một worker, spark.executor.memory=1g, spark.executor.cores=4. Nếu chạy local mode thì executor nằm chung tiến trình với driver, phải chỉnh spark.driver.memory. Trên fact_tick medium, gom price_vnd theo (symbol, trade_date) bằng collect_list rồi lấy trung vị. Ghi lại spill, GC time, peak execution memory. Lặp lại với cores=1, rồi với spark.sql.shuffle.partitions lớn hơn, và giải thích từng thay đổi. Cuối cùng gọi toPandas() trên toàn bảng với driver 1g và đọc stack trace để biết lỗi nổ ở đâu.
Phỏng vấn hay hỏi
- Executor hay bị kill vì vượt giới hạn bộ nhớ container nhưng log không có
OutOfMemoryError. Bạn nghi gì và chỉnh gì? - Spill là gì, có phải lúc nào cũng xấu? Nhìn đâu để biết task spill vì skew hay vì thiếu bộ nhớ chung?
Nguồn chính thức
- Spark: Tuning: mục Memory Management Overview và Memory Usage of Reduce Tasks
- Spark: Web UI: phần Stages tab, các metric spill, GC time, peak execution memory
- Spark: Configuration: Application Properties, các dòng
spark.executor.memoryvàspark.executor.memoryOverhead
4.7Stream processing: event time, watermark, window, late dataTier 14,5 giờ
Câu hỏi cốt lõi
Nến 1 phút 10:05 của một mã phải chốt lúc nào, nếu tick có thể đến trễ vài giây hoặc vài phút? Đánh đổi giữa chốt sớm (nhanh nhưng có thể sai) và chờ lâu (đúng hơn nhưng chậm và tốn state) được điều khiển bằng gì?
Khái niệm phải nắm
- Event time vs processing time: event time là lúc sự kiện xảy ra ở nguồn, processing time là lúc hệ thống xử lý nó. Khoảng cách giữa hai giá trị đổi liên tục vì mạng, retry, consumer lag, nên sự kiện đến không theo thứ tự và kết quả tính theo processing time đổi mỗi lần chạy lại.
- Window: tumbling (cố định, không chồng), sliding (cố định, chồng nhau, một sự kiện thuộc nhiều cửa sổ), session (độ dài động, đóng sau một khoảng im lặng). Cửa sổ theo event time cần biết khi nào nó đã "đủ".
- Watermark: khẳng định của hệ thống rằng sự kiện có event time nhỏ hơn T coi như đã đến hết. Thường tính bằng event time lớn nhất đã thấy trừ độ trễ cho phép. Watermark quyết định lúc phát kết quả cuối và lúc xóa state của cửa sổ cũ.
- Late data: sự kiện đến sau watermark. Ba lựa chọn: bỏ, đẩy sang luồng riêng để xử lý sau, hoặc cho cập nhật lại kết quả trong một khoảng gia hạn. Cập nhật lại nghĩa là sink phải chịu được việc một kết quả được ghi nhiều lần.
- Nguồn im lặng: watermark chỉ tiến khi có dữ liệu mới. Không có sự kiện nào thì cửa sổ cuối không được chốt. Engine lấy watermark nhỏ nhất qua các partition thì chỉ cần một partition im lặng là cả luồng đứng.
Vì sao quan trọng
Tính số liệu theo lúc consumer đọc thì chạy lại ra số khác và không giải thích được với người dùng. Watermark là câu bắt buộc trong mọi phỏng vấn có streaming, và là nền cho thời gian trong batch ở 6.2.
Nhìn thấy ở đâu
Spark Structured Streaming: window(), session_window(), withWatermark("event_ts", "1 minute"). State của cửa sổ kết thúc ở T được giữ tới khi event time lớn nhất trừ ngưỡng vượt T. Bảo đảm chỉ một chiều: dữ liệu trễ ít hơn ngưỡng chắc chắn được tính, trễ hơn thì có thể bị bỏ. Chế độ append chỉ phát cửa sổ khi watermark vượt cuối cửa sổ, update phát mỗi lần thay đổi. Flink: WatermarkStrategy.forBoundedOutOfOrderness, withIdleness cho nguồn im lặng, allowedLateness và sideOutputLateData cho dữ liệu trễ. Kafka: timestamp của record là CreateTime hoặc LogAppendTime theo message.timestamp.type.
Trên dữ liệu chứng khoán VN
fact_tick có cả event_ts và ingest_ts. Đo trước: trong bộ medium, ingest_ts - event_ts chỉ từ 5 đến 200 ms, tức gần như không có dữ liệu trễ. Viết script replay một ngày vào Kafka theo thứ tự ingest_ts, làm trễ ngẫu nhiên 1% tick thêm 30 giây đến 5 phút. Dựng nến 1 phút (OHLC từ price_vnd, tổng qty) theo symbol bằng event time với watermark 1 phút, rồi so với nến tính batch trên dữ liệu gốc: bao nhiêu nến lệch, tick nào bị bỏ. Quan sát thêm: giờ nghỉ trưa giữa hai đợt khớp lệnh liên tục không có tick, vậy cửa sổ cuối buổi sáng được phát lúc nào?
Phỏng vấn hay hỏi
- Event time và processing time khác nhau thế nào? Thiết kế phép đếm số lệnh mỗi phút sao cho chạy lại vẫn ra cùng kết quả.
- Watermark là gì? Đặt watermark 10 giây hay 10 phút thì bạn đánh đổi những gì?
Nguồn chính thức
- The Dataflow Model (Akidau và cộng sự, VLDB 2015): phần mô hình windowing, trigger, watermark
- Spark Structured Streaming: Handling Late Data and Watermarking: cùng các mục Window Operations on Event Time và Types of time windows
- Streaming Systems (Akidau, Chernyak, Lax): chương 2 (What, Where, When, How) và chương 3 (Watermarks)
4.8State, checkpoint và exactly-once trong streamTier 22,5 giờ
Câu hỏi cốt lõi
Job tính VWAP theo phút bị kill lúc 10:30 rồi khởi động lại. Điều gì bảo đảm state và offset khớp nhau, và vì sao "exactly-once" của engine vẫn có thể ghi trùng xuống sink?
Khái niệm phải nắm
- State: dữ liệu engine giữ giữa các sự kiện, như tổng tạm của cửa sổ hay tập khóa đã thấy để dedup. State phải có giới hạn, nhờ watermark (4.7) hoặc TTL.
- Checkpoint: ảnh chụp nhất quán gồm state và vị trí đọc nguồn tại cùng một thời điểm logic. Khôi phục là nạp lại state rồi đọc lại từ offset đã lưu.
- Exactly-once trong engine: mỗi sự kiện ảnh hưởng tới state đúng một lần, không phải được xử lý đúng một lần. Nguyên lý ở 1.5.
- End-to-end: cần nguồn đọc lại được, checkpoint, và sink idempotent hoặc transactional (commit hai pha gắn với checkpoint). Thiếu một trong ba là at-least-once (2.5).
Vì sao quan trọng
Sau mỗi lần restart, dashboard nhân đôi số là sự cố stream kinh điển. Middle chỉ ra được mắt xích nào trong chuỗi nguồn, checkpoint, sink đang thiếu.
Nhìn thấy ở đâu
Spark: checkpointLocation lưu offset và state. State store mặc định giữ trong bộ nhớ executor và ghi xuống checkpoint, hoặc dùng RocksDB. File sink exactly-once, Kafka sink at-least-once, foreachBatch dùng batchId để ghi idempotent. Flink: checkpoint barrier chạy cùng dòng dữ liệu, Kafka sink dùng transaction và commit khi checkpoint hoàn tất. Kafka: idempotent producer, transaction, consumer đặt isolation.level=read_committed.
Trên dữ liệu chứng khoán VN
Replay một ngày fact_tick vào Kafka, chạy job VWAP 1 phút theo symbol ghi vào ClickHouse. Kill job giữa phiên, khởi động lại, đếm dòng trùng theo (symbol, minute). Sửa sink thành idempotent (ví dụ ReplacingMergeTree khóa (symbol, minute), hoặc ghi theo batchId) và chứng minh kết quả khớp phép tính batch.
Phỏng vấn hay hỏi
- Engine của bạn quảng cáo exactly-once, vậy vì sao dashboard vẫn thấy số nhân đôi sau một lần restart?
Nguồn chính thức
- Flink blog: End-to-End Exactly-Once Processing: checkpoint và commit hai pha với Kafka
- Spark Structured Streaming: Recovering from Failures with Checkpointing: cùng bảng bảo đảm của các sink và mục State Store
- Kafka Design: Message Delivery Semantics: idempotent producer và transaction
4.9Batch hay stream: Lambda, Kappa và khi nào không cần streamTier 21,5 giờ
Câu hỏi cốt lõi
Khi nào thêm một pipeline stream là quyết định sai? Lambda và Kappa giải bài "vừa nhanh vừa đúng" khác nhau ở đâu, và mỗi bên trả giá gì?
Khái niệm phải nắm
- Lambda: nhánh batch tính lại toàn bộ cho đúng, nhánh speed cho số tạm, hai nhánh hợp lại khi phục vụ. Giá phải trả là hai code path phải luôn cho cùng kết quả.
- Kappa: chỉ một nhánh stream, tính lại bằng cách cho một job mới đọc lại log từ đầu. Cần log giữ đủ lâu và job đủ nhanh để replay.
- Batch là stream có biên: cùng logic window và event time dùng được cho cả hai, khác ở chỗ batch biết dữ liệu đã đủ.
- Quyết định theo SLA (0.2): độ tươi thật sự cần, chi phí vận hành 24/7, khả năng sửa sai và backfill. Micro-batch vài phút thường đủ và rẻ hơn nhiều.
Vì sao quan trọng
Câu "dữ liệu này có cần real-time không" là câu phản biện mà một Middle phải đặt ra trước khi xây. Stream không cần thiết là chi phí vận hành vĩnh viễn.
Nhìn thấy ở đâu
Kafka giữ log lâu bằng retention và compaction, điều kiện để làm Kappa. Spark Structured Streaming dùng cùng API DataFrame cho batch và stream, trigger AvailableNow xử lý hết dữ liệu có sẵn rồi dừng như một job batch. Flink coi batch là stream có biên. Materialized view của ClickHouse tổng hợp ngay lúc insert, thay một job stream nhỏ.
Trên dữ liệu chứng khoán VN
Xếp các bảng vào batch hoặc stream: fact_daily_bar, dim_symbol chốt sau phiên, còn fact_tick, fact_quote_snapshot, fact_supply_demand_intraday có thể cần trong phiên. Với bảng xếp hạng thanh khoản trong phiên, viết ra yêu cầu độ tươi thật của người dùng và so chi phí giữa stream, micro-batch 5 phút và batch cuối ngày.
Phỏng vấn hay hỏi
- Sếp muốn dashboard "real-time" cho giá đóng cửa ngày. Bạn phản biện thế nào và đề xuất gì?
Nguồn chính thức
- Designing Data-Intensive Applications (Kleppmann): chương Stream Processing và chương The Future of Data Systems, phần Lambda architecture và hợp nhất batch với stream
- Streaming Systems (Akidau, Chernyak, Lax): chương 1 Streaming 101, phần về Lambda và quan hệ batch với stream
4.10ELT và transformation-as-code: layering, materialization, incrementalTier 22,5 giờ
Câu hỏi cốt lõi
Một model incremental chỉ xử lý dữ liệu mới. Nó cho kết quả sai thế nào khi dữ liệu đến trễ hoặc logic thay đổi, và bạn thiết kế lại ra sao?
Khái niệm phải nắm
- ELT: nạp dữ liệu thô vào kho rồi biến đổi tại chỗ bằng SQL, giữ dữ liệu gốc để tính lại khi logic đổi.
- Layering: staging (đổi tên, ép kiểu, một một với nguồn), intermediate (ghép, làm sạch), marts (theo nghiệp vụ, đúng grain ở 5.1). Mỗi lớp có test riêng.
- Materialization: view tính khi đọc, table tính lại toàn bộ, incremental chỉ thêm hoặc merge phần mới. Chọn theo chi phí đọc so với chi phí tính.
- Incremental đúng: lọc theo cửa sổ nhìn lùi thay vì "lớn hơn max hiện có", merge theo khóa duy nhất, luôn có đường full refresh. Tính idempotent áp dụng như 6.3.
- Transformation-as-code: SQL nằm trong hệ quản lý phiên bản, có review, test, CI, và lineage sinh từ phụ thuộc giữa các model.
Vì sao quan trọng
Model incremental lọc "lớn hơn max" là nguồn mất dữ liệu âm thầm phổ biến nhất ở các đội dùng ELT.
Nhìn thấy ở đâu
dbt: materialized='incremental', is_incremental(), {{ this }}, unique_key, incremental_strategy (append, merge, delete+insert, insert_overwrite, microbatch), dbt run --full-refresh. Spark SQL làm điều tương tự bằng INSERT OVERWRITE theo partition hoặc MERGE INTO trên table format (3.4).
Trên dữ liệu chứng khoán VN
Dựng ba lớp: stg_daily_bar từ fact_daily_bar, int_daily_bar_dedup chọn một source cho mỗi (symbol, trade_date), mart_symbol_daily ghép dim_symbol. Làm mart_symbol_daily thành incremental, rồi giả lập: nguồn tcbs gửi bù một ngày cũ, và quy tắc ưu tiên nguồn thay đổi. Model của bạn bắt được trường hợp nào?
Phỏng vấn hay hỏi
- Model incremental của bạn lọc
trade_date > (select max(trade_date) from this). Chỉ ra hai tình huống nó cho kết quả sai.
Nguồn chính thức
- dbt: Materializations: so sánh view, table, incremental, ephemeral
- dbt: Incremental models:
is_incremental(),unique_key, full refresh - dbt: How we structure our dbt projects: staging, intermediate, marts
4.11Bên trong query optimizer và execution engine (Catalyst, Tungsten, codegen)Tier 31 giờ
Câu hỏi cốt lõi
Từ câu SQL tới mã chạy trên CPU, engine đi qua những bước nào, và vì sao UDF Python thường chậm hơn hàm có sẵn?
Khái niệm phải nắm
- Các pha tối ưu: phân tích tên, tối ưu logic bằng quy tắc (đẩy filter, cắt cột, gộp hằng), chọn plan vật lý theo chi phí.
- Code generation: gộp nhiều toán tử thành một hàm chạy liền, tránh gọi hàm cho từng dòng qua từng toán tử.
- UDF là hộp đen: optimizer không nhìn vào được, dữ liệu phải chuyển đổi qua lại giữa các định dạng.
Vì sao quan trọng
Giải thích được vì sao nên thay UDF bằng hàm có sẵn là câu ghi điểm ở vòng Spark chuyên sâu.
Nhìn thấy ở đâu
Spark Catalyst, Tungsten, EXPLAIN CODEGEN, các toán tử có tiền tố *(n) trong plan nằm trong WholeStageCodegen. ClickHouse thực thi vector hóa theo block.
Trên dữ liệu chứng khoán VN
EXPLAIN EXTENDED một truy vấn lọc fact_daily_bar_synth theo symbol sau một join, so plan logic trước và sau tối ưu. Viết cùng phép tính bằng UDF Python và hàm có sẵn, đo thời gian.
Phỏng vấn hay hỏi
- Catalyst làm gì với một filter viết sau join?
Nguồn chính thức
- Spark SQL: Relational Data Processing in Spark (SIGMOD 2015): phần Catalyst Optimizer
- Project Tungsten (Databricks): quản lý bộ nhớ và code generation
Mô hình hóa & phục vụ
6 CHỦ ĐỀ · 12 GIỜTổ chức dữ liệu đã biến đổi thành bảng mà người dùng hỏi đúng và hỏi nhanh.
Học xong chặng này bạn viết được câu grain cho mọi bảng mình tạo ra, giữ được lịch sử của dimension, và chọn giữa star schema với bảng phẳng bằng lý lẽ chứ không bằng thói quen. Chặng 4 cho bạn cách tính, chặng này quyết định kết quả có hình dạng gì để phục vụ BI và API, trước khi chặng 6 lo cho nó chạy đều và đúng.
5.1Grain, fact, dimension và star schemaTier 12 giờ
Câu hỏi cốt lõi
Một dòng của fact_daily_bar đại diện cho cái gì? Nếu không trả lời được bằng một câu, bạn biết phép SUM nào trên bảng đó đúng, phép nào sai?
Khái niệm phải nắm
- Grain: câu mô tả chính xác một dòng của fact là gì. Khai báo grain trước khi chọn cột, mọi dimension và measure phải khớp grain đó.
- Fact: phép đo của một quy trình nghiệp vụ, gồm khóa tới dimension và measure. Ba kiểu chính: transaction (một sự kiện), periodic snapshot (trạng thái tại mốc định kỳ), accumulating snapshot (một quy trình nhiều mốc).
- Tính cộng được của measure: additive cộng theo mọi chiều (khối lượng). Semi-additive cộng theo một số chiều nhưng không theo thời gian (room, số dư). Non-additive như giá, tỉ lệ phần trăm phải tính lại từ thành phần.
- Dimension: ngữ cảnh mô tả để lọc và nhóm. Conformed dimension dùng chung cho nhiều fact cho phép so sánh chéo giữa các fact.
- Star schema: fact ở giữa, dimension phẳng xung quanh, mỗi dimension cách fact đúng một bước join.
Vì sao quan trọng
Trộn hai grain trong một bảng là nguồn số nhân đôi hay gặp nhất trong báo cáo. Khi bạn vẽ mô hình trong phỏng vấn, câu đầu tiên interviewer hỏi thường là "grain của bảng này là gì".
Nhìn thấy ở đâu
ClickHouse: khóa ORDER BY của bảng thường trùng grain, và ReplacingMergeTree dựa vào khóa đó để khử trùng. dbt: test unique trên khóa ghép của grain kiểm tra grain sau mỗi lần chạy. Spark và file Parquet không có ràng buộc khóa, grain chỉ được giữ nếu pipeline kiểm tra (7.1).
Trên dữ liệu chứng khoán VN
Viết câu grain cho fact_daily_bar, fact_market_snapshot, fact_bar_60m, fact_tick_sample, và kiểm chứng bằng truy vấn. Gợi ý: fact_daily_bar có 247 cặp (symbol, trade_date) trùng giữa dnse và tcbs, vậy grain thật có source. Phân loại total_volume, total_value_vnd, room, match_vnd, change_pct của fact_market_snapshot thành additive, semi-additive, non-additive. Vẽ star schema với dim_symbol và dim_trading_calendar là conformed dimension.
Phỏng vấn hay hỏi
- Thiết kế mô hình cho dữ liệu khớp lệnh và giá ngày của sàn chứng khoán. Grain từng fact là gì, measure nào không được SUM?
- Periodic snapshot khác transaction fact ở đâu? Cho ví dụ khi nào cần cả hai.
Nguồn chính thức
- Kimball Group: Grain: đọc cùng các trang Transaction và Periodic Snapshot Fact Tables trong cùng mục lục
- Kimball Group: Dimensional Modeling Techniques: nhóm Fundamental Concepts và Basic Fact Table Techniques
- The Data Warehouse Toolkit, 3rd ed. (Kimball & Ross): chương 1 đến 3, quy trình thiết kế bốn bước
5.2Dữ liệu thay đổi theo thời gian: SCD Type 1/2, late-arriving dimensionTier 12,5 giờ
Câu hỏi cốt lõi
Một mã chuyển sàn, hoặc vào VN30 kỳ này rồi ra kỳ sau. Báo cáo "tổng giá trị giao dịch của rổ VN30 tháng 3 năm ngoái" phải dùng thành phần rổ nào, và mô hình của bạn có trả lời được không?
Khái niệm phải nắm
- SCD Type 1: ghi đè, mất lịch sử. Hợp với sửa lỗi hoặc thuộc tính không ai phân tích theo thời gian.
- SCD Type 2: thêm phiên bản mới với
valid_from,valid_to, cờ hiện hành và surrogate key riêng cho mỗi phiên bản. Fact trỏ tới phiên bản đúng tại thời điểm sự kiện. - Point-in-time join: join fact với phiên bản dimension có khoảng hiệu lực chứa ngày của fact. Join theo natural key với bản hiện hành là lỗi kinh điển làm lịch sử bị viết lại.
- Late-arriving dimension: fact đến khi dimension chưa biết khóa đó. Tạo dòng giữ chỗ với giá trị "chưa biết" rồi cập nhật khi thông tin tới, thay vì bỏ fact.
- Thay đổi hồi tố: sửa thuộc tính Type 2 cho quá khứ buộc chèn phiên bản và có thể phải gắn lại khóa cho fact đã nạp, nên phải tính trước chi phí backfill.
Vì sao quan trọng
Phỏng vấn mô hình hóa gần như luôn có câu SCD Type 2 kèm "join vào thế nào". Sai ở đây cho ra báo cáo lịch sử thay đổi sau mỗi lần chạy mà không có lỗi nào bật lên.
Nhìn thấy ở đâu
dbt snapshot cài Type 2 trên bảng nguồn biến đổi được, chiến lược timestamp hoặc check, sinh cột dbt_valid_from, dbt_valid_to. Spark trên table format dùng MERGE INTO để đóng phiên bản cũ và chèn bản mới (3.4). ClickHouse: ASOF JOIN ghép mỗi fact với phiên bản gần nhất trước nó theo thời gian, ReplacingMergeTree có cột version cho kiểu Type 1.
Trên dữ liệu chứng khoán VN
dim_symbol hiện chỉ là một ảnh chụp: cả 436 mã đều exchange = 'HOSE', 30 mã is_vn30 = true, listed_date, name, isin chỉ có ở 6 mã. Tự tạo hai ảnh chụp giả lập ở hai ngày (một mã đổi sàn, ba mã ra vào VN30), dựng dim_symbol_scd2, rồi tính tổng volume * close_vnd của rổ VN30 theo tháng trên fact_daily_bar_synth bằng hai cách: join bản hiện hành và point-in-time join. Thêm: nguồn tcbs trong fact_daily_bar có 3 ngày 19 đến 21/11/2025 không có trong dim_trading_calendar. Đó là late-arriving dimension, dữ liệu lỗi, hay dimension không phủ đủ khoảng thời gian? Kiểm tra ngày bắt đầu của lịch trước khi kết luận, rồi thiết kế cách xử lý.
Phỏng vấn hay hỏi
- Cài SCD Type 2 cho bảng mã chứng khoán bằng SQL. Bản ghi đổi hai lần trong một ngày thì sao? Fact join vào thế nào?
- Fact đến trước dimension. Bạn chặn pipeline, bỏ fact, hay làm gì khác?
Nguồn chính thức
- Kimball Group: Type 2, Add New Row: đọc cùng trang Type 1 cạnh đó
- Kimball Group: Late Arriving Dimensions: đọc hết
- dbt: Snapshots: chiến lược timestamp và check, các cột meta,
hard_deletes
5.3One Big Table vs star schema: denormalization cho OLAPTier 11,5 giờ
Câu hỏi cốt lõi
Vì sao trên kho columnar nhiều đội chọn một bảng phẳng rất rộng thay vì star schema, và cái giá của lựa chọn đó lộ ra vào lúc nào?
Khái niệm phải nắm
- Denormalization: chép thuộc tính dimension vào từng dòng fact để bỏ join lúc đọc. Lưu trữ cột nén tốt cột lặp và chỉ đọc cột cần (1.1), nên bảng rộng rẻ hơn bạn tưởng.
- Cái giá của bảng phẳng: thuộc tính dimension đổi thì phải ghi lại nhiều dòng fact, hoặc chấp nhận bảng chỉ phản ánh trạng thái lúc nạp. Lịch sử bị đóng băng vào từng dòng.
- Star giữ dimension ở một nơi: đổi một lần, linh hoạt cho câu hỏi mới. Đổi lại cần join và cần engine join tốt với dimension nhỏ.
- Kiến trúc lai: star là nguồn sự thật, bảng phẳng là lớp phục vụ sinh ra từ star cho một nhóm truy vấn cụ thể, tính lại được bất cứ lúc nào.
Vì sao quan trọng
Câu "khi nào bạn denormalize" kiểm tra bạn hiểu trade-off giữa tốc độ đọc và chi phí cập nhật, thay vì thuộc lòng một trường phái. Nó quyết định trực tiếp bảng nào bạn đặt sau API.
Nhìn thấy ở đâu
ClickHouse khuyến nghị denormalize cho dữ liệu ít thay đổi, và dictionary (dictGet) là đường giữa: dimension nằm trong bộ nhớ, tra cứu không cần join. Elasticsearch không có join quan hệ tổng quát nên gần như luôn denormalize. Spark broadcast join làm star rẻ khi dimension nhỏ (4.4).
Trên dữ liệu chứng khoán VN
Dựng obt_daily_bar từ fact_daily_bar_synth ghép exchange, is_vn30, index_membership từ dim_symbol. Trên ClickHouse, đo truy vấn "tổng volume theo ngày, chia theo is_vn30" trên bảng phẳng và trên star. Rồi giả lập rổ VN30 thay đổi: đếm số dòng bảng phẳng phải ghi lại và so với số dòng phải đổi trong star.
Phỏng vấn hay hỏi
- Bạn chọn bảng phẳng hay star cho API trả giá ngày kèm thông tin mã? Điều gì làm bạn đổi ý?
Nguồn chính thức
- ClickHouse: Denormalizing Data: khi nào nên và không nên denormalize
- Kimball Group: Star Schemas and OLAP Cubes: đọc hết
5.4Phục vụ truy vấn nhanh: sort key, pre-aggregation, materialized viewTier 13 giờ
Câu hỏi cốt lõi
Cùng một bảng tick, truy vấn "nến 1 phút của HPG ngày 20/11" mất 20 ms hay 5 giây tùy vào điều gì? Khi nào nên tính sẵn, và tính sẵn giá trung bình thì sai ở đâu?
Khái niệm phải nắm
- Sort key: quyết định dòng nào nằm cạnh nhau trên đĩa. Kết hợp sparse index (1.2) và lưu trữ cột (1.1), truy vấn lọc theo tiền tố của sort key chỉ đọc vài khối, lọc theo cột ngoài khóa thì quét gần hết.
- Thứ tự cột trong sort key: cột hay lọc bằng đẳng thức đặt trước, cột thời gian theo sau. Thứ tự đúng vừa lọc nhanh vừa nén tốt vì giá trị giống nhau nằm liền nhau.
- Pre-aggregation: tính sẵn ở grain thô hơn (nến phút, ngày). Bạn đổi độ tươi, dung lượng và tính linh hoạt lấy tốc độ.
- Materialized view tăng dần: cập nhật tổng hợp mỗi lần dữ liệu mới được ghi, chỉ xử lý phần mới. Kết quả chỉ đúng với hàm gộp lại được như tổng, đếm, min, max. Trung bình và VWAP phải lưu trạng thái trung gian (tổng và đếm), không lưu kết quả. Giá mở và giá đóng cần trạng thái "giá trị kèm thời điểm" để chọn bản sớm nhất hoặc muộn nhất. Phân vị phải lưu sketch hoặc cả phân phối, và thường chỉ ra kết quả xấp xỉ.
- Partition không phải để tăng tốc truy vấn điểm: partition quá mịn sinh nhiều phần nhỏ (3.3). Tốc độ đến từ sort key.
Vì sao quan trọng
Việc hằng ngày của bạn là đẩy dữ liệu ra API, nơi độ trễ tính bằng mili giây. Chọn sai sort key là lỗi phần cứng không cứu được, chỉ sửa được bằng cách ghi lại bảng.
Nhìn thấy ở đâu
ClickHouse MergeTree: ORDER BY là sort key và mặc định là primary key, index thưa trỏ tới granule 8192 dòng, EXPLAIN indexes = 1 cho biết số granule được đọc. Tài liệu khuyên phần lớn bảng không cần partition key và không nên chia mịn hơn tháng. Incremental materialized view chạy như trigger trên khối vừa insert. AggregatingMergeTree dùng hàm -State khi ghi và -Merge khi đọc, SummingMergeTree cho phép cộng. Projection lưu thêm một thứ tự sắp xếp hoặc một tổng hợp ngay trong bảng. ScyllaDB: clustering key là sort key trong một partition. Elasticsearch có index sorting.
Trên dữ liệu chứng khoán VN
Nạp fact_tick medium vào ClickHouse hai lần, ORDER BY (symbol, event_ts) và ORDER BY event_ts. Chạy truy vấn nến 1 phút của HPG trong một ngày, so số granule đọc bằng EXPLAIN indexes = 1 và thời gian. Dựng materialized view sang bảng nến 1 phút có OHLC, tổng qty và VWAP từ price_vnd, qty. Kiểm tra VWAP từ view khớp tính trực tiếp từ tick, và giải thích vì sao lưu sẵn trung bình price_vnd mỗi phút rồi lấy trung bình lại cho cả ngày là sai.
Phỏng vấn hay hỏi
- Thiết kế bảng tick để phục vụ cả truy vấn theo mã và truy vấn toàn thị trường theo thời gian. Một sort key có đủ không?
- Materialized view của bạn cho kết quả trùng hoặc lệch khi đọc ngay sau insert. Vì sao?
Nguồn chính thức
- ClickHouse: MergeTree: Primary Keys and Indexes in Queries, PARTITION BY
- ClickHouse: Incremental materialized view: cơ chế trigger khi insert và phần aggregate state
- ClickHouse: AggregatingMergeTree: hàm
-Statevà-Merge
5.5Các kiểu phục vụ: BI, data → API, reverse ETL, feature cho MLTier 22 giờ
Câu hỏi cốt lõi
Đẩy cùng một dataset ra dashboard BI và ra API cho ứng dụng khác nhau ở đâu về độ trễ, hợp đồng và cách sửa sai?
Khái niệm phải nắm
- BI: truy vấn ad-hoc, quét và tổng hợp nhiều, chịu được độ trễ giây. Cần kho OLAP và định nghĩa metric thống nhất.
- Data → API: truy vấn điểm theo khóa, độ trễ mili giây, tải đồng thời cao. Tính sẵn theo access pattern, chọn kho theo 3.6, coi schema và version là data contract (2.6), trả kèm thời điểm dữ liệu để client biết độ tươi.
- Reverse ETL: đẩy kết quả từ kho phân tích ngược vào hệ vận hành. Phải idempotent và tôn trọng giới hạn tốc độ của hệ đích.
- Feature cho ML: cần point-in-time correctness, feature dùng để huấn luyện chỉ được dùng dữ liệu có trước thời điểm nhãn.
- Sửa lịch sử lan tới mọi đầu phục vụ: cache API, feature đã tính, bản sao ở hệ khác đều phải được làm mới.
Vì sao quan trọng
Đây là việc hằng ngày của bạn. Middle thiết kế đầu ra như một sản phẩm có hợp đồng, không phải một bảng tình cờ được mở cho API đọc.
Nhìn thấy ở đâu
ScyllaDB cho truy vấn theo partition key symbol với clustering trade_date, ClickHouse cho tổng hợp, Elasticsearch cho tìm mã theo tên. Feast mô tả point-in-time join cho feature store.
Trên dữ liệu chứng khoán VN
Thiết kế endpoint GET /symbols/{symbol}/daily-bars?from=&to= phục vụ từ fact_daily_bar sau dedup: chọn kho, partition key, cách phân trang, trường thời điểm dữ liệu. Rồi xử lý tình huống: giá được điều chỉnh do chia tách (is_adjusted) làm đổi toàn bộ lịch sử của một mã. API, cache và client nhận biết thế nào?
Phỏng vấn hay hỏi
- Bạn đã đẩy dữ liệu ra API cho team khác. Phát hiện dữ liệu ba ngày trước sai, bạn sửa và thông báo thế nào?
Nguồn chính thức
- Fundamentals of Data Engineering (Reis & Housley): chương 9, Serving Data for Analytics, Machine Learning, and Reverse ETL
- Feast: Point-in-time joins: đọc hết
5.6Inmon, Data Vault, semantic layerTier 31 giờ
Câu hỏi cốt lõi
Inmon, Data Vault và Kimball đặt lớp chuẩn hóa và lớp phục vụ ở đâu? Semantic layer giải quyết gì mà mart không giải quyết?
Khái niệm phải nắm
- Inmon: kho trung tâm chuẩn hóa làm nguồn sự thật, data mart dimensional sinh ra từ đó.
- Data Vault: hub (khóa nghiệp vụ), link (quan hệ), satellite (thuộc tính có lịch sử), chỉ insert, dễ nạp song song và kiểm toán, nhưng vẫn cần lớp mart để truy vấn.
- Semantic layer: định nghĩa metric và join một lần ở trung tâm để mọi công cụ dùng chung.
Vì sao quan trọng
Ứng tuyển vào ngân hàng hay công ty lớn có kho lâu năm, bạn sẽ gặp các mô hình này.
Nhìn thấy ở đâu
dbt Semantic Layer dùng MetricFlow để định nghĩa metric. Data Vault thường được dựng bằng dbt trên kho cột.
Trên dữ liệu chứng khoán VN
Phác hub_symbol, link_symbol_index, sat_symbol_listing từ dim_symbol và so với dim_symbol_scd2 ở 5.2.
Phỏng vấn hay hỏi
- Khi nào bạn chọn Data Vault thay vì đi thẳng vào star schema?
Nguồn chính thức
- Building the Data Warehouse, 4th ed. (Inmon): các chương đầu về kiến trúc kho trung tâm
- Building a Scalable Data Warehouse with Data Vault 2.0 (Linstedt & Olschimke): phần mô hình hub, link, satellite
- dbt Semantic Layer: trang tổng quan
Điều phối & độ tin cậy
6 CHỦ ĐỀ · 11,5 GIỜAi quyết định job nào chạy lúc nào, cho khoảng dữ liệu nào, và chạy lại thì có an toàn không.
Học xong chặng này bạn thiết kế được một pipeline batch chạy theo ngày giao dịch, backfill một tháng mà không nhân đôi dữ liệu, và khi task "không chạy" thì biết nhìn vào thành phần nào trước. Chặng này lấy nguyên lý lỗi và idempotency của chặng 1, thời gian của chặng 4 rồi áp vào vận hành hằng ngày, làm nền cho phần chất lượng và sự cố ở chặng 7.
6.1Orchestration là gì: DAG, dependency, lịch chạy vs sự kiệnTier 11,5 giờ
Câu hỏi cốt lõi
Một cron job gọi script tuần tự thiếu gì so với một orchestrator? Khi nào nên kích hoạt pipeline theo giờ, khi nào theo sự kiện "dữ liệu nguồn đã sẵn sàng", và mỗi cách hỏng theo kiểu nào?
Khái niệm phải nắm
- Orchestration khác scheduling: scheduler chỉ trả lời "khi nào chạy", orchestrator còn quản lý phụ thuộc, trạng thái từng lần chạy, retry, chạy lại một phần và lịch sử.
- DAG của pipeline: đồ thị có hướng không chu trình giữa các task. Không có chu trình nên luôn có thứ tự chạy hợp lệ, và task độc lập chạy song song được.
- Task nên nhỏ và có ranh giới rõ: mỗi task ghi ra một đầu ra cụ thể để khi hỏng chỉ chạy lại task đó, không chạy lại cả chuỗi.
- Lịch chạy (time-based): đơn giản, dễ dự đoán, nhưng nếu nguồn đến muộn thì job chạy trên dữ liệu thiếu mà vẫn báo thành công.
- Kích hoạt theo sự kiện hoặc theo dữ liệu (data-aware): chạy khi upstream báo đã ghi xong. Đúng hơn về dữ liệu nhưng phải xử lý trường hợp sự kiện không bao giờ tới.
- Orchestrator điều phối, không xử lý dữ liệu nặng: việc tính toán đẩy sang engine bên ngoài, orchestrator chỉ ra lệnh và theo dõi.
Vì sao quan trọng
Sự cố kinh điển của Junior: job tổng hợp chạy đúng giờ nhưng job kéo dữ liệu nguồn hôm đó chậm 20 phút, kết quả là mart thiếu nửa số mã mà không ai được báo. Phỏng vấn Middle thường bắt đầu phần vận hành bằng câu "pipeline của bạn biết dữ liệu đầu vào đã đủ bằng cách nào".
Nhìn thấy ở đâu
Airflow 3: định nghĩa Dag bằng @dag/@task từ airflow.sdk, phụ thuộc bằng >>. Tham số schedule nhận cron, timedelta, None (chỉ chạy tay) hoặc danh sách Asset để chạy khi task upstream cập nhật asset qua outlets. Asset là tên mới của Dataset trong Airflow 2.x. NiFi là luồng chạy liên tục theo từng FlowFile, không có khái niệm "lần chạy cho ngày X", nên không thay được orchestrator. DAG của Spark là DAG tính toán bên trong một job (xem 4.3), khác cấp với DAG điều phối.
Trên dữ liệu chứng khoán VN
Vẽ DAG cuối ngày cho bộ dữ liệu: kéo snapshot từ pull_tcbs.py và pull_dnse.py (hai nhánh song song), kiểm tra _manifest.json, chuẩn hóa thành fact_daily_bar và fact_market_snapshot, rồi tổng hợp mart. Với mỗi cạnh, ghi rõ task sau cần gì từ task trước. Sau đó quyết định task nào nên kích hoạt theo giờ, task nào nên chờ dữ liệu, và giải thích bằng một câu cho từng lựa chọn.
Phỏng vấn hay hỏi
- Bạn có một job phụ thuộc vào dữ liệu của team khác không có giờ cố định. Bạn kích hoạt nó thế nào, và nếu dữ liệu không tới thì sao?
- Vì sao không nên chạy transformation nặng ngay trong tiến trình của orchestrator?
Nguồn chính thức
- Airflow docs, Dags: phần Declaring a Dag, Task Dependencies
- Airflow docs, Asset-Aware Scheduling: phần đầu tới hết mục outlets và schedule theo nhiều asset
6.2Thời gian trong batch: data interval, logical date, catchup, backfillTier 12 giờ
Câu hỏi cốt lõi
Một run chạy lúc 16:00 ngày 21/11 thì đang xử lý dữ liệu của ngày nào, và code của bạn lấy mốc đó từ đâu? Backfill tháng 2/2026, tháng có nghỉ Tết, thì những ngày nghỉ được xử lý thế nào?
Khái niệm phải nắm
- Data interval: khoảng dữ liệu mà một lần chạy chịu trách nhiệm. Thời điểm job thực sự chạy là chuyện khác và không được dùng để chọn dữ liệu.
- Logical date: nhãn thời gian định danh lần chạy. Code đọc khoảng dữ liệu từ nhãn này, không gọi
now(), nên chạy lại hôm nào cũng ra cùng kết quả. - Lịch theo ngày giao dịch: lịch dương lịch có ngày nghỉ lễ, cuối tuần. Lịch chạy phải dựa trên bảng lịch giao dịch, nếu không sẽ có run rỗng hoặc run "thành công" trên ngày không có dữ liệu.
- Catchup: khi bật, hệ thống tự tạo run cho mọi khoảng bị lỡ từ ngày bắt đầu. Bật nhầm trên một pipeline có
start_datecũ là tạo ra hàng trăm run cùng lúc. - Backfill: chủ động chạy lại một dải khoảng trong quá khứ. Cần quyết định chạy lại cả run đã thành công hay chỉ run thiếu/lỗi, và giới hạn bao nhiêu run song song để không chiếm hết tài nguyên của lịch hằng ngày.
- Thời gian trong batch là thời gian của khoảng dữ liệu: dữ liệu đến sau khi khoảng đã đóng là bài toán late data, nguyên lý ở 4.7, cách xử lý trong batch ở 6.4.
Vì sao quan trọng
Lỗi "lệch một ngày" do dùng giờ chạy thay vì data interval là nguồn sai số phổ biến nhất của pipeline batch, và nó chỉ lộ ra khi backfill hoặc chạy lại. Câu "backfill 6 tháng thì bạn làm thế nào" gần như luôn có trong vòng phỏng vấn Middle.
Nhìn thấy ở đâu
Airflow 3 đổi nhiều điểm so với 2.x. execution_date đã bị bỏ, dùng logical_date, data_interval_start, data_interval_end. Cron string mặc định dùng CronTriggerTimetable: run là một thời điểm, data_interval_start bằng data_interval_end. Muốn khoảng liền nhau như 2.x thì dùng CronDataIntervalTimetable hoặc đặt [scheduler] create_cron_data_intervals = True. catchup mặc định là False. Backfill do scheduler quản lý, tạo bằng UI hoặc airflow backfill create --dag-id ... --from-date ... --to-date ... với --reprocess-behavior (none, failed, completed) và --max-active-runs. Lịch bỏ ngày nghỉ viết bằng custom timetable, docs có ví dụ AfterWorkdayTimetable.
Trên dữ liệu chứng khoán VN
Mở dim_trading_calendar (247 dòng, từ 2025-11-24 tới 2026-11-20). Trước tiên kiểm tra bảng lưu cả ngày nghỉ với is_trading_day = false hay chỉ lưu ngày giao dịch, vì điều đó quyết định cách bạn sinh danh sách run. So với lịch dương lịch, liệt kê các ngày thứ Hai tới thứ Sáu không có trong lịch giao dịch. Rồi viết đặc tả backfill tháng 2/2026 cho fact_daily_bar_synth: bao nhiêu run, ngày nghỉ bị bỏ qua hay tạo run rỗng, và job phân biệt "ngày nghỉ" với "nguồn chưa có dữ liệu" bằng cách nào.
Phỏng vấn hay hỏi
- Logical date khác thời điểm chạy thế nào? Cho một ví dụ code dùng sai và hậu quả khi backfill.
- Bạn cần backfill 6 tháng cho một bảng đang được dashboard đọc hằng ngày. Kế hoạch của bạn là gì?
Nguồn chính thức
- Airflow docs, Dag Runs: Data Interval, Catchup, Backfill, Re-run Tasks
- Airflow docs, Backfill: reprocess behavior và max active runs
- Airflow docs, Customizing Dag Scheduling with Timetables: ví dụ bỏ qua ngày nghỉ
6.3Pipeline idempotent: overwrite partition, MERGE, khóa dedupTier 12 giờ
Câu hỏi cốt lõi
Job ghi ngày 2026-11-20 chạy hai lần, hoặc chết giữa chừng rồi được retry: bảng đích có bị nhân đôi hay mất dòng không? Khi nào chọn ghi đè cả partition, khi nào chọn MERGE theo khóa?
Khái niệm phải nắm
- Idempotent ở mức pipeline: chạy một run N lần cho cùng data interval ra đúng một trạng thái đích. Nguyên lý ở 1.5, ở đây là cách hiện thực trong batch.
- Overwrite theo partition: mỗi run sở hữu trọn một partition (ví dụ
trade_date) và thay nó nguyên khối. Đơn giản và an toàn khi partition khớp với data interval. - Append thuần là không idempotent: retry sau khi đã ghi một phần sẽ nhân đôi dữ liệu. Append chỉ an toàn khi kèm khóa dedup ở bước đọc hoặc ghi.
- MERGE (upsert) theo khóa tự nhiên: dùng khi một run chạm nhiều partition hoặc dữ liệu được sửa muộn. Đúng hay sai phụ thuộc hoàn toàn vào việc chọn khóa.
- Khóa dedup và quy tắc chọn bản thắng: khi có hai bản cho cùng khóa, phải định nghĩa bản nào thắng (nguồn ưu tiên, bản ingest muộn nhất), nếu không kết quả phụ thuộc thứ tự chạy.
- Ghi nguyên tử: ghi ra vị trí tạm rồi đổi con trỏ hoặc commit snapshot, để người đọc không thấy partition ghi dở. Liên quan table format ở 3.4.
Vì sao quan trọng
Retry và backfill ở 6.2 chỉ an toàn khi mọi task idempotent. Doanh thu nhân đôi trên dashboard sau một lần retry là sự cố mà interviewer hay đưa ra để xem bạn nghĩ tới khóa và cách ghi hay chỉ nghĩ tới "bật retry".
Nhìn thấy ở đâu
Spark: spark.sql.sources.partitionOverwriteMode=dynamic để INSERT OVERWRITE chỉ thay partition có trong dữ liệu mới, mặc định static xóa mọi partition khớp đặc tả trong câu lệnh, không ghi PARTITION là ghi đè cả bảng. Iceberg: MERGE INTO và overwrite partition, mỗi lần ghi là một snapshot nguyên tử. ClickHouse: ALTER TABLE ... REPLACE PARTITION để thay partition từ bảng staging, ReplacingMergeTree chỉ dedup khi merge nền chạy nên truy vấn có thể vẫn thấy bản trùng nếu không dùng FINAL. ScyllaDB: INSERT theo primary key là upsert. Airflow best practices nói rõ: không dùng INSERT khi task có thể chạy lại, dùng UPSERT.
Trên dữ liệu chứng khoán VN
fact_daily_bar có hai nguồn trong cột source (tcbs, dnse). Thiết kế job ghi bảng này theo trade_date: chọn khóa dedup, quy tắc chọn nguồn khi hai nguồn lệch giá, và cách ghi. Sau đó làm thí nghiệm trên data/synth/medium/fact_tick/: viết job tổng hợp tick một ngày thành OHLCV ghi theo partition trade_date, rồi backfill 5 ngày hai lần liên tiếp với dữ liệu nguồn của một ngày bị sửa giữa hai lần chạy. Chứng minh trạng thái đích giống hệt một lần chạy, và chỉ ra cách ghi nào của bạn sẽ sai nếu một ngày nguồn bị xóa hẳn.
Phỏng vấn hay hỏi
- Làm sao bảo đảm job của bạn chạy lại không nhân đôi dữ liệu? Nếu nó ghi vào bảng không có partition thì sao?
- Overwrite partition và MERGE: chọn cái nào cho bảng fact có dữ liệu sửa muộn tới 3 ngày?
Nguồn chính thức
- Airflow docs, Best Practices: mục Writing a Dag, phần về task chạy lại và UPSERT
- Iceberg docs, Spark Writes: MERGE INTO và INSERT OVERWRITE
- ClickHouse docs, ReplacingMergeTree: thời điểm dedup và FINAL
6.4Khi pipeline hỏng: retry, timeout, alert, SLA, dữ liệu đến trễTier 11,5 giờ
Câu hỏi cốt lõi
Lỗi nào nên retry tự động, lỗi nào retry chỉ làm tệ hơn? Mart cuối ngày phải sẵn sàng trước 18:00: bạn phát hiện nguy cơ trễ trước hay sau khi đã trễ, và dữ liệu đến sau khi job chạy xong thì xử lý thế nào?
Khái niệm phải nắm
- Lỗi tạm thời và lỗi vĩnh viễn: mạng chập chờn, API trả 429 thì retry có backoff. Schema sai, dữ liệu vi phạm ràng buộc thì retry chỉ tốn thời gian và che lỗi.
- Timeout là bắt buộc: task không có timeout có thể treo vô hạn, giữ slot và làm trễ cả chuỗi phía sau mà không ai biết.
- Alert theo triệu chứng người dùng thấy: "dữ liệu chưa sẵn sàng lúc 18:00" có giá trị hơn mười alert "task X thất bại lần 1". Alert không cần ai hành động là nhiễu.
- SLA cho dữ liệu: cam kết về freshness và thời điểm sẵn sàng (xem 0.2). Cảnh báo nên bắn khi sắp vi phạm, dựa trên mốc của data interval hoặc thời điểm run được xếp hàng.
- Dữ liệu đến trễ trong batch: chọn giữa chờ thêm (trễ SLA), chạy rồi chạy lại khoảng cũ khi có dữ liệu bổ sung, hoặc mở cửa sổ sửa N ngày. Khái niệm event time và late data ở 4.7.
Vì sao quan trọng
Retry vô điều kiện trên một job không idempotent là cách nhanh nhất biến một lỗi nhỏ thành dữ liệu sai. Người dùng không quan tâm task nào đỏ, họ quan tâm số liệu có đúng giờ và đúng không, và interviewer muốn nghe bạn thiết kế cảnh báo theo góc nhìn đó.
Nhìn thấy ở đâu
Airflow: retries, retry_delay, retry_exponential_backoff, max_retry_delay, execution_timeout, on_failure_callback. Ném AirflowFailException để fail ngay không retry. Tính năng sla của Airflow 2 đã bị gỡ ở 3.0, thay bằng Deadline Alerts từ 3.1 (docs ghi là experimental), mốc tính có DAGRUN_QUEUED_AT, DAGRUN_LOGICAL_DATE, FIXED_DATETIME, AVERAGE_RUNTIME. Task chết mà vẫn ở trạng thái running được phát hiện qua cơ chế Task Instance Heartbeat Timeout, trước đây gọi là zombie task.
Trên dữ liệu chứng khoán VN
Trong data/synth/medium/fact_tick/, đo độ trễ ingest_ts trừ event_ts: bạn sẽ thấy dữ liệu gốc gần như không trễ. Tạo một bản sao của trade_date=2026-11-20 trong đó khoảng 1% tick có ingest_ts sau giờ job EOD chạy. Viết chính sách cho job tổng hợp ngày: ngưỡng chờ, khi nào chạy lại ngày cũ, ai được báo. Rồi phân loại lỗi của pull_tcbs.py (timeout, HTTP 429, JSON thiếu trường) vào nhóm retry hoặc fail ngay.
Phỏng vấn hay hỏi
- Job của bạn retry 3 lần rồi vẫn fail lúc 3 giờ sáng. Ai biết, biết bằng cách nào, và sáng ra họ làm gì?
- Bạn đặt cảnh báo cho SLA "dữ liệu sẵn sàng trước 18:00" thế nào để biết sớm trước khi vi phạm?
Nguồn chính thức
- Airflow docs, Tasks: Task Instances, Timeouts, Task Instance Heartbeat Timeout, retry policy
- Airflow docs, Deadline Alerts: reference points và callback
- Google SRE Book, Monitoring Distributed Systems: symptoms vs causes, phần về alert cần hành động
6.5Bên trong một orchestrator: scheduler, executor, worker, metadata DB → debug "task không chạy"Tier 13 giờ
Câu hỏi cốt lõi
Bạn vừa deploy một DAG, đến giờ mà task không chạy. Từ lúc file DAG nằm trên đĩa tới lúc code task được thực thi, nó đi qua những thành phần nào, và mỗi chỗ có thể kẹt vì lý do gì?
Khái niệm phải nắm
- Parse tách khỏi chạy: một tiến trình đọc file định nghĩa pipeline, lưu cấu trúc vào metadata DB. File lỗi import hoặc parse quá lâu thì pipeline không xuất hiện, không có lỗi nào ở task.
- Scheduler là vòng lặp ra quyết định: tạo run, xét task nào đủ điều kiện (upstream xong, còn slot), chuyển sang queued và giao cho executor.
- Executor quyết định task chạy ở đâu: trong tiến trình cục bộ, qua hàng đợi tới worker cố định, hay mỗi task một container.
- Metadata DB là nguồn sự thật về trạng thái: mọi quyết định đọc từ đây, nên DB chậm làm cả hệ thống chậm.
- Vòng đời trạng thái task: none → scheduled → queued → running → success/failed, cộng up_for_retry, deferred, upstream_failed, skipped. Task kẹt ở trạng thái nào chỉ ra thành phần nào đang tắc.
- Giới hạn đồng thời nhiều tầng: toàn hệ thống, mỗi pipeline, số run song song, pool. Chạm bất kỳ tầng nào thì task đứng ở queued hoặc scheduled.
Vì sao quan trọng
"Task không chạy" là ticket vận hành phổ biến nhất, và Junior thường chỉ restart rồi chờ. Biết kiến trúc giúp bạn khoanh vùng trong vài phút: pipeline có hiện không (parse), run có được tạo không (scheduler, lịch), task kẹt queued (executor, worker, slot) hay running mãi (task treo).
Nhìn thấy ở đâu
Kiến trúc Airflow 3 khác 2.x ở ba điểm. Dag processor là thành phần riêng, phải chạy airflow dag-processor kể cả khi dev local. Webserver được thay bằng API server (airflow api-server) phục vụ UI và REST API. Code task không còn truy cập thẳng metadata DB mà báo trạng thái qua Task Execution API. Executor chạy bên trong tiến trình scheduler, mặc định là LocalExecutor. Danh sách kiểm tra khi task không chạy: lỗi import Dag, Dag đang pause, start_date và schedule, max_active_runs, max_active_tasks, pool, depends_on_past, và scheduler.task_queued_timeout làm task queued quá lâu bị đánh fail mà không có log.
Trên dữ liệu chứng khoán VN
Dựng Airflow 3 bằng Docker Compose với một Dag EOD đọc fact_daily_bar_synth theo trade_date. Lần lượt gây năm lỗi và ghi lại triệu chứng của từng lỗi: thêm import sai vào file Dag, đặt start_date ở tương lai, tạo pool một slot cho ba task song song, dừng container dag-processor rồi sửa Dag, đặt execution_timeout nhỏ hơn thời gian đọc dữ liệu. Kết quả là một bảng "triệu chứng → thành phần → cách kiểm tra" của riêng bạn.
Phỏng vấn hay hỏi
- Task của bạn đứng ở queued 30 phút. Bạn kiểm tra những gì, theo thứ tự nào?
- Vì sao code ở top-level của file DAG có thể làm chậm cả hệ thống dù task không chạy?
Nguồn chính thức
- Airflow docs, Architecture Overview: Required components, Optional components, phần truy cập database
- Airflow docs, FAQ: Why is task not getting scheduled, What to do if you see disappearing Dags on UI
- Airflow docs, Upgrading to Airflow 3: các thay đổi kiến trúc và breaking changes
6.6Chờ sự kiện bên ngoài và mở rộng: sensor, deferrable, dynamic mapping, executor trade-offTier 21,5 giờ
Câu hỏi cốt lõi
Năm mươi task cùng chờ file nguồn có thể chiếm hết worker mà không làm gì. Làm sao chờ mà không giữ tài nguyên, và tạo số task theo dữ liệu chỉ biết lúc chạy?
Khái niệm phải nắm
- Chờ bằng polling: giữ slot liên tục, hoặc nhả slot giữa các lần kiểm tra và trả chi phí khởi động mỗi lần.
- Chờ bất đồng bộ (deferral): task tự treo, một tiến trình event loop nhẹ chờ thay, task quay lại worker khi điều kiện xảy ra.
- Fan-out động: số task con quyết định lúc chạy, cần trần để một danh sách lỗi không sinh hàng nghìn task.
- Trade-off executor: cục bộ thì nhanh nhưng chung tài nguyên, worker cố định rẻ khi tải đều, mỗi task một container thì cô lập nhưng khởi động chậm.
Vì sao quan trọng
Pipeline chờ nguồn bên ngoài là chuyện hằng ngày, và chọn sai cách chờ hoặc sai executor là lý do khiến cluster điều phối "đầy" dù không có việc gì chạy.
Nhìn thấy ở đâu
Airflow: sensor có mode="poke" hoặc "reschedule", operator hỗ trợ deferrable=True chạy phần chờ trên triggerer, mặc định đặt bằng [operators] default_deferrable. Dynamic task mapping dùng .partial() và .expand(), trần max_map_length mặc định 1024. Executor: LocalExecutor, CeleryExecutor, KubernetesExecutor, khai báo nhiều executor cùng lúc qua [core] executor thay cho các executor lai đã bị bỏ ở 3.0.
Trên dữ liệu chứng khoán VN
Thiết kế task chờ snapshot của ngày trong vn_trading_market_data/data/tcbs/<timestamp>/, coi _manifest.json là tín hiệu ghi xong. Sau đó map một task kiểm tra theo từng mã trong dim_symbol (436 mã). Tính xem nếu mở rộng ra cả ba sàn, hơn một nghìn mã, thì trần 1024 có thành vấn đề không và bạn nhóm task thế nào.
Phỏng vấn hay hỏi
- Sensor ở mode poke và deferrable khác nhau thế nào về tài nguyên? Khi nào dùng cái nào?
- Bạn chọn executor nào cho 2.000 task ngắn mỗi ngày, và cho 20 task Spark nặng?
Nguồn chính thức
- Airflow docs, Deferrable Operators & Triggers: toàn trang
- Airflow docs, Dynamic Task Mapping: phần đầu và giới hạn số task
- Airflow docs, Executor: Executor Types, Using Multiple Executors Concurrently
Chất lượng, quan sát & vận hành
7 CHỦ ĐỀ · 10 GIỜLàm sao biết dữ liệu đúng, biết sớm khi nó sai, và sửa mà không tạo thêm sự cố.
Học xong chặng này bạn đặt được kiểm tra chất lượng đúng chỗ, phát hiện dữ liệu thiếu hoặc sai trước người dùng, xử lý một sự cố từ phát hiện tới postmortem, và viết transformation có test chạy trong CI. Chặng này dùng backfill và idempotency của chặng 6 làm công cụ sửa lỗi, và là phần "độ tin cậy" bạn sẽ trình bày trong mọi đề thiết kế ở chặng 8.
7.1Data quality: các chiều chất lượng và đặt test ở đâuTier 11,5 giờ
Câu hỏi cốt lõi
Pipeline chạy xanh nhưng số sai: test nào lẽ ra phải bắt được, và nó nên nằm ở biên vào, sau transformation hay trước khi publish? Test fail thì chặn pipeline hay chỉ cảnh báo?
Khái niệm phải nắm
- Các chiều chất lượng: completeness (đủ dòng, đủ cột), uniqueness (không trùng khóa), validity (giá trị trong miền hợp lệ), consistency (khớp giữa các bảng), timeliness (đến đúng hạn), accuracy (đúng với thực tế, khó kiểm nhất).
- Test theo vị trí: ở biên vào để kiểm contract với nguồn (contract giới thiệu ở 2.6), sau transformation để kiểm logic, trước khi publish để chặn dữ liệu sai tới người dùng.
- Test chặn và test cảnh báo: vi phạm khóa chính hay giá âm thì chặn, lệch phân phối nhẹ thì cảnh báo. Chặn mọi thứ sẽ làm pipeline trễ liên tục.
- Write-audit-publish: ghi vào vùng tạm, chạy kiểm tra, đạt mới công bố. Người đọc không bao giờ thấy dữ liệu chưa kiểm.
- Bất biến nghiệp vụ: ràng buộc suy ra từ nghiệp vụ, ví dụ giá cao nhất không nhỏ hơn giá mở cửa, là loại test bắt được nhiều lỗi thật nhất.
Vì sao quan trọng
Người dùng mất niềm tin sau một lần thấy số sai và không quay lại vì job chạy nhanh. Interviewer hỏi "bạn đảm bảo chất lượng dữ liệu thế nào" để nghe test cụ thể và vị trí của nó, không phải tên thư viện.
Nhìn thấy ở đâu
dbt: data test có sẵn unique, not_null, accepted_values, relationships, model contract với enforced: true kiểm kiểu và cột trước khi build. Great Expectations là thư viện expectation độc lập. Iceberg có branch, dùng được cho write-audit-publish. Trong Spark bạn có thể tự viết kiểm tra bằng truy vấn đếm dòng vi phạm rồi fail job nếu lớn hơn 0.
Trên dữ liệu chứng khoán VN
Viết bộ kiểm tra cho ba bảng và phân loại chặn hay cảnh báo. fact_daily_bar: duy nhất theo (symbol, trade_date, source), high_vnd không nhỏ hơn open_vnd, close_vnd, low_vnd, volume không âm, symbol có trong dim_symbol, trade_date có trong dim_trading_calendar. fact_market_snapshot: match_vnd nằm giữa floor_vnd và ceil_vnd. Chéo bảng: hai nguồn tcbs và dnse lệch close_vnd bao nhiêu thì coi là lỗi. Chạy thử và ghi lại số dòng vi phạm.
Phỏng vấn hay hỏi
- Kể ba kiểm tra chất lượng bạn từng đặt trong production. Mỗi cái từng bắt được lỗi gì?
- Test chất lượng fail lúc 17:50 trong khi SLA là 18:00. Bạn publish hay chặn, và quyết định đó thuộc về ai?
Nguồn chính thức
- dbt docs, Data tests: singular và generic data tests
- dbt docs, Model contracts: cách contract được kiểm khi build
7.2Data observability: freshness, volume, schema, lineageTier 11,5 giờ
Câu hỏi cốt lõi
Test chỉ bắt được lỗi bạn đã nghĩ tới trước. Làm sao phát hiện lỗi chưa ai nghĩ tới, ví dụ một ngày chỉ có 60% số dòng thường lệ, và khi phát hiện thì biết ngay những bảng nào phía sau bị ảnh hưởng?
Khái niệm phải nắm
- Freshness: lần cập nhật gần nhất cách bây giờ bao lâu, so với kỳ vọng. Đo bằng thời điểm dữ liệu được ghi, không bằng việc job có chạy hay không.
- Volume: số dòng mỗi partition so với lịch sử. Giảm đột ngột thường là nguồn thiếu, tăng đột ngột thường là trùng.
- Schema: cột thêm, mất, đổi kiểu so với lần trước. Phát hiện sớm trước khi transformation hỏng hoặc âm thầm điền null.
- Distribution: tỷ lệ null, min/max, số giá trị khác nhau của cột quan trọng thay đổi bất thường.
- Lineage: đồ thị bảng nào sinh ra từ bảng nào, job nào. Đây là thứ trả lời "ảnh hưởng tới đâu" khi có sự cố.
- Observability khác test: test kiểm luật cố định, observability theo dõi metadata theo thời gian và phát hiện bất thường so với chính nó.
Vì sao quan trọng
Sự cố dữ liệu tốn kém nhất là sự cố người dùng phát hiện trước bạn. Có freshness và volume theo partition là đủ để bắt phần lớn sự cố nguồn thiếu, và lineage rút ngắn thời gian khoanh vùng ở 7.3.
Nhìn thấy ở đâu
dbt: cấu hình freshness với warn_after, error_after, loaded_at_field. OpenLineage là chuẩn mở mô tả Job, Run, Dataset, có tích hợp với Airflow và Spark. ClickHouse: system.parts cho số dòng và kích thước theo partition. Kafka: consumer lag là chỉ số freshness của phía đọc log.
Trên dữ liệu chứng khoán VN
Trên data/synth/medium/fact_tick/, đọc metadata Parquet của 20 partition trade_date= để lấy số dòng mỗi ngày mà không đọc dữ liệu. Đặt ngưỡng bất thường cho volume dựa trên 20 ngày đó, rồi tự xóa ngẫu nhiên 40% tick của một ngày để xem ngưỡng có bắt được không. Thêm freshness: max(ingest_ts) của ngày giao dịch mới nhất. Cuối cùng vẽ lineage từ JSON thô trong vn_trading_market_data/data/ tới fact_daily_bar và mart của bạn.
Phỏng vấn hay hỏi
- Làm sao bạn biết một bảng bị thiếu dữ liệu hôm nay khi job vẫn báo thành công?
- Lineage giúp gì khi xử lý sự cố? Bạn có lineage ở mức cột không, và có cần không?
Nguồn chính thức
- dbt docs, freshness: warn_after, error_after, loaded_at_field
- OpenLineage, Object Model: Run, Job, Dataset và facet
7.3Xử lý sự cố dữ liệu: phát hiện → khoanh vùng → sửa → backfill → postmortemTier 11,5 giờ
Câu hỏi cốt lõi
Phát hiện bảng giá đóng cửa sai từ ba ngày trước, đã chảy vào mart và API. Bạn làm gì trong giờ đầu tiên, và làm sao sửa xong mà không gây thêm sự cố thứ hai?
Khái niệm phải nắm
- Giảm thiệt hại trước, tìm nguyên nhân sau: chặn publish hoặc gắn cờ dữ liệu nghi ngờ, báo người dùng, rồi mới điều tra.
- Khoanh vùng (blast radius): khoảng thời gian nào, bảng nào, người dùng nào bị ảnh hưởng. Lineage ở 7.2 trả lời phần bảng.
- Sửa gốc rồi mới backfill: backfill khi chưa sửa nguyên nhân chỉ ghi lại dữ liệu sai lần nữa. Backfill an toàn cần idempotency ở 6.3 và dải ngày rõ ràng như 6.2.
- Sửa cả downstream: mọi bảng tổng hợp và cache dẫn xuất từ khoảng bị sai phải chạy lại theo thứ tự phụ thuộc.
- Postmortem không đổ lỗi: dòng thời gian, nguyên nhân gốc, vì sao không phát hiện sớm hơn, và hành động khắc phục có người chịu trách nhiệm, có hạn.
Vì sao quan trọng
Cách xử lý sự cố là thứ phân biệt Middle rõ nhất: Junior sửa code rồi chạy lại, Middle báo người dùng, khoanh vùng, sửa, backfill có kiểm soát và thêm kiểm tra để lỗi không lặp lại. Câu chuyện sự cố cũng là một trong năm câu chuyện behavioral ở 8.3.
Nhìn thấy ở đâu
Airflow: Clear task với tùy chọn Downstream để chạy lại chuỗi phụ thuộc, backfill với --reprocess-behavior completed để ghi lại cả run đã thành công. Iceberg: time travel và rollback snapshot để quay về trạng thái trước khi bị ghi sai. ClickHouse: REPLACE PARTITION từ bảng staging đã kiểm. Google SRE Book mô tả quy trình incident và postmortem mà nhiều team dữ liệu dùng lại.
Trên dữ liệu chứng khoán VN
Giả lập: từ một trade_date, nguồn tcbs trả giá theo đơn vị nghìn đồng thay vì đồng, nên close_vnd của nguồn này nhỏ đi 1.000 lần trong fact_daily_bar. Viết hồ sơ sự cố đầy đủ: kiểm tra nào lẽ ra bắt được, truy vấn khoanh vùng các ngày và mã bị ảnh hưởng, kế hoạch sửa và backfill theo thứ tự bảng, thông báo gửi người dùng API, và một postmortem một trang với ba hành động khắc phục.
Phỏng vấn hay hỏi
- Kể một sự cố dữ liệu bạn từng xử lý. Bạn phát hiện thế nào, mất bao lâu, và đã thay đổi gì để nó không lặp lại?
- Dữ liệu sai đã được người dùng tải về dùng. Bạn sửa và truyền thông thế nào?
Nguồn chính thức
- Google SRE Book, Managing Incidents: vai trò trong incident và cách điều phối
- Google SRE Book, Postmortem Culture: blameless postmortem và mẫu postmortem
7.4Kỹ nghệ phần mềm cho pipeline: Git, unit test transformation, CI/CD, DockerTier 13 giờ
Câu hỏi cốt lõi
Transformation là code: làm sao test logic tính OHLCV mà không cần cluster và dữ liệu production? Thay đổi một job từ lúc commit tới lúc chạy trên production đi qua những bước kiểm nào?
Khái niệm phải nắm
- Tách logic khỏi I/O: hàm biến đổi nhận dữ liệu vào, trả dữ liệu ra, không tự đọc ghi storage. Chỉ khi tách được thì mới unit test được.
- Unit test khác data test: unit test kiểm logic trên vài dòng dữ liệu bạn tự dựng, chạy trước khi deploy. Data test ở 7.1 kiểm dữ liệu thật sau mỗi lần chạy. Cần cả hai.
- Fixture nhỏ phủ trường hợp biên: dòng trùng, giá trị null, thứ tự đến lộn xộn, ngày chỉ có một bản ghi. Năm dòng chọn kỹ đáng giá hơn một triệu dòng ngẫu nhiên.
- CI: mỗi pull request tự chạy lint, unit test, và kiểm tra định nghĩa pipeline nạp được. Lỗi bị chặn trước khi merge.
- CD và môi trường: cùng một artifact đi qua dev, staging, production, chỉ khác cấu hình. Không sửa trực tiếp trên production.
- Container cho tái lập: image ghim phiên bản runtime và thư viện, nên "chạy được trên máy tôi" cũng chạy được trên cluster.
Vì sao quan trọng
Phần lớn lỗi số liệu là lỗi logic mà một unit test vài dòng bắt được: sai thứ tự khi lấy giá mở cửa, đếm trùng khi dedup sai. Interviewer Middle hay hỏi "bạn test pipeline thế nào", và câu trả lời "chạy thử trên dữ liệu thật rồi nhìn" là dấu hiệu Junior.
Nhìn thấy ở đâu
Spark: pyspark.testing có assertDataFrameEqual và assertSchemaEqual, chạy với SparkSession local trong pytest. dbt: unit test khai báo input và expected output cho một model. Airflow: test nạp Dag bằng DagBag trong pytest, docs best practices có mẫu. Airflow 3 đọc Dag từ Dag bundle, mặc định là thư mục local. GitHub Actions chạy CI theo workflow khi có pull request. Docker multi-stage build tách bước build khỏi image chạy để image nhỏ và ít phụ thuộc.
Trên dữ liệu chứng khoán VN
Viết hàm nhận tick theo schema của fact_tick (trade_id, symbol, event_ts, price_vnd, qty, session) và trả bar ngày theo schema của fact_daily_bar. Viết unit test với fixture tự dựng: tick đến không theo thứ tự event_ts, trade_id bị trùng, mã chỉ có một tick, tick của phiên ATO và ATC. Đóng gói vào Docker, thêm workflow CI chạy test khi mở pull request, và cố ý làm hỏng một test để thấy CI chặn merge.
Phỏng vấn hay hỏi
- Bạn unit test một Spark job thế nào? Phần nào bạn không test bằng unit test?
- Mô tả quy trình từ lúc bạn sửa một transformation tới lúc nó chạy trên production.
Nguồn chính thức
- PySpark docs, Testing PySpark: toàn trang
- dbt docs, Unit tests: khi nào dùng và cấu trúc một unit test
- Airflow docs, Best Practices: mục Testing a Dag
7.5Bảo mật và governance: IAM, PII, phân quyềnTier 21 giờ
Câu hỏi cốt lõi
Ai được đọc bảng nào, job nào được ghi vào đâu, và bạn chứng minh điều đó bằng gì? Khi thêm dữ liệu có thông tin cá nhân, pipeline phải thay đổi ở những điểm nào?
Khái niệm phải nắm
- Least privilege: mỗi người và mỗi service account chỉ có quyền tối thiểu. Job ETL dùng chung một tài khoản quản trị là rủi ro lớn nhất.
- Phân quyền theo role và theo mức: bucket, schema, bảng, cột, dòng. Cột nhạy cảm có thể che (masking) hoặc băm thay vì xóa.
- PII và phân loại dữ liệu: gắn nhãn cột chứa thông tin cá nhân ngay từ biên vào để biết phải bảo vệ, giữ bao lâu, xóa thế nào.
- Secret không nằm trong code: mật khẩu, khóa API lấy từ kho secret lúc chạy, không commit lên Git.
- Audit: log ai truy cập gì, khi nào, là bằng chứng khi kiểm toán hoặc điều tra.
Vì sao quan trọng
Lộ dữ liệu cá nhân là sự cố có hậu quả pháp lý theo quy định bảo vệ dữ liệu cá nhân của Việt Nam, khác hẳn một sự cố trễ dữ liệu.
Nhìn thấy ở đâu
MinIO/S3: IAM policy theo bucket và prefix, chặn truy cập công khai. ClickHouse: user, role, GRANT, row policy. Airflow: Connections và secrets backend thay cho mật khẩu viết trong Dag. Kafka: ACL theo topic.
Trên dữ liệu chứng khoán VN
Dữ liệu thị trường hiện có là công khai. Giả sử thêm bảng lệnh đặt của khách hàng có mã tài khoản. Liệt kê cột nào là PII, thiết kế role cho analyst, service API và job ETL trên data/canonical/, và nêu cách analyst vẫn đếm được số khách theo symbol mà không thấy mã tài khoản.
Phỏng vấn hay hỏi
- Bạn xử lý cột PII trong pipeline thế nào để analyst vẫn join được giữa các bảng?
Nguồn chính thức
- Amazon S3 docs, Security best practices: least privilege và block public access
- ClickHouse docs, Access rights: user, role, row policy
7.6Ý thức chi phí: storage vs compute, đo và tối ưuTier 11 giờ
Câu hỏi cốt lõi
Pipeline của bạn tốn bao nhiêu tiền mỗi ngày giao dịch, phần lớn nằm ở storage hay compute? Nếu phải giảm 30% chi phí, bạn đo gì trước khi sửa gì?
Khái niệm phải nắm
- Storage rẻ, compute và scan đắt: thường lợi hơn khi lưu thêm một bản tổng hợp để tránh quét lại dữ liệu thô mỗi lần truy vấn.
- Bytes đọc là đơn vị chi phí truy vấn: partition pruning, column pruning và định dạng columnar (xem 3.2) giảm trực tiếp chi phí.
- Chi phí đơn vị: chia chi phí cho một đơn vị nghiệp vụ, ví dụ mỗi ngày giao dịch hoặc mỗi mã, để thấy xu hướng khi dữ liệu tăng.
- Vòng đời dữ liệu: retention và tiering (xem 3.7) cho dữ liệu cũ ít truy cập.
- Đo trước, tối ưu sau: tối ưu job tốn 1% tổng chi phí là lãng phí công sức.
Vì sao quan trọng
Trong đề thiết kế, bước chi phí ở 8.1 là chỗ Middle được phân biệt với người chỉ vẽ kiến trúc.
Nhìn thấy ở đâu
ClickHouse: system.query_log có read_bytes, read_rows theo truy vấn. Spark UI: input size và shuffle size theo stage. S3: các storage class như Standard, Intelligent-Tiering, Glacier với giá và độ trễ truy xuất khác nhau. FinOps là khung thực hành quản lý chi phí cloud.
Trên dữ liệu chứng khoán VN
Đo dung lượng 20 partition của data/synth/medium/fact_tick/, suy ra số byte mỗi tick và ước lượng 5 năm. Chạy cùng một truy vấn tổng qty theo symbol ba cách: quét toàn bộ, lọc theo trade_date, chỉ đọc hai cột. So bytes đọc của ba cách.
Phỏng vấn hay hỏi
- Hóa đơn cloud của team tăng gấp đôi trong tháng. Bạn tìm nguyên nhân thế nào?
Nguồn chính thức
- FinOps Foundation, What is FinOps: nguyên tắc và vòng đời inform, optimize, operate
- ClickHouse docs, system.query_log: các cột read_bytes, read_rows, memory_usage
7.7Metrics, log, trace cho hạ tầng (Prometheus, Grafana, OpenTelemetry)Tier 30,5 giờ
Câu hỏi cốt lõi
Metric, log và trace mỗi loại trả lời câu hỏi gì mà hai loại kia không trả lời được?
Khái niệm phải nắm
- Metric: chuỗi số theo thời gian kèm nhãn, rẻ để lưu, dùng cho dashboard và alert.
- Log và trace: log là sự kiện chi tiết, trace nối các bước của một yêu cầu qua nhiều service.
- Cardinality của nhãn: gắn nhãn theo mã chứng khoán hay theo trade_id có thể làm hệ thống metric phình to.
Vì sao quan trọng
Đây là lớp quan sát hạ tầng, khác lớp quan sát dữ liệu ở 7.2. Vị trí platform sẽ hỏi.
Nhìn thấy ở đâu
Prometheus pull metric từ endpoint, Grafana vẽ dashboard, OpenTelemetry chuẩn hóa traces, metrics, logs. Airflow phát metric qua StatsD hoặc OpenTelemetry.
Trên dữ liệu chứng khoán VN
Chọn ba metric cho job replay tick từ fact_tick, kèm nhãn, và giải thích vì sao không gắn nhãn symbol.
Phỏng vấn hay hỏi
- Bạn giám sát một consumer Kafka bằng những metric nào?
Nguồn chính thức
- Prometheus, Overview: data model và kiến trúc
- OpenTelemetry, Signals: traces, metrics, logs
Thiết kế hệ thống & phỏng vấn
4 CHỦ ĐỀ · 33 GIỜGom mọi nguyên lý thành một thiết kế có lý lẽ, kể được bằng lời và chứng minh được bằng một dự án.
Học xong chặng này bạn trả lời một đề Data System Design theo trình tự có kiểm soát, kể năm câu chuyện behavioral bằng số liệu thật, và có một pipeline end-to-end trên GitHub để chỉ vào khi bị hỏi. Chặng này không dạy nguyên lý mới: mỗi bước đều link về chủ đề đã học ở chặng 0 tới 7.
8.1Khung trả lời Data System DesignTier 12 giờ
Câu hỏi cốt lõi
Có 45 phút cho một đề mơ hồ như "thiết kế hệ thống dữ liệu giá cho app chứng khoán": bạn dành mấy phút đầu để hỏi gì, và làm sao để mọi lựa chọn công nghệ đều quay về một yêu cầu đã nói ra?
Khái niệm phải nắm
- Làm rõ yêu cầu: ai dùng, truy vấn gì, freshness và latency bao nhiêu, đúng tới mức nào. Viết ra thành SLA trước khi vẽ (0.2).
- Ước lượng volume và latency: số bản ghi mỗi ngày, byte mỗi bản ghi, đỉnh mỗi giây, dung lượng sau N năm. Con số quyết định có cần stream hay không (2.2, 4.9).
- Kiến trúc theo vòng đời: nguồn, thu nạp, lưu trữ, biến đổi, phục vụ, mỗi khối một lý do (0.3, 2.3, 3.5).
- Mô hình dữ liệu: grain của bảng chính, khóa, partition và sort key theo access pattern (5.1, 3.3, 3.6, 5.4).
- Độ tin cậy: late data (4.7), backfill (6.2), idempotency (1.5, 6.3), delivery semantics (2.5).
- Chất lượng, chi phí, trade-off: kiểm tra ở đâu (7.1, 7.2), tốn bao nhiêu (7.6), và nói rõ phương án bạn bỏ qua cùng lý do (0.4).
Vì sao quan trọng
Ứng viên trượt vòng thiết kế thường vì vẽ kiến trúc ngay phút đầu với đủ loại công cụ mà không gắn với yêu cầu nào. Interviewer chấm cách bạn dẫn dắt và lý lẽ của từng trade-off, không chấm việc chọn đúng tên sản phẩm.
Nhìn thấy ở đâu
Sau khi có thiết kế trừu tượng, mới gán công cụ: Kafka cho log, Spark hoặc Flink cho xử lý, MinIO/S3 với Iceberg hoặc Parquet cho lưu trữ, ClickHouse cho OLAP, ScyllaDB cho tra cứu theo khóa, Airflow cho điều phối. AWS Well-Architected Data Analytics Lens là một bảng kiểm theo trụ cột (độ tin cậy, chi phí, vận hành) hữu ích để rà lại thiết kế.
Trên dữ liệu chứng khoán VN
Đọc lướt "Khái niệm phải nắm" của 3.5, 3.7, 4.9, 5.5 trước, vì đề thiết kế hay chạm tới chúng. Lấy đề "lưu trữ và phục vụ dữ liệu tick cho ba sàn". Viết một trang theo đúng sáu bước trên. Ở bước ước lượng, tính từ dữ liệu thật: số tick mỗi ngày của data/synth/medium/fact_tick/ (khoảng 240 đến 295 nghìn dòng cho 394 mã), số byte mỗi dòng sau nén Parquet, rồi nêu giả định để nhân lên cho toàn thị trường. Bấm giờ 45 phút và tự nói to.
Phỏng vấn hay hỏi
- Trước khi thiết kế, bạn muốn hỏi tôi những gì?
- Nếu volume tăng 10 lần, thành phần nào trong thiết kế của bạn gãy trước?
Nguồn chính thức
- Designing Data-Intensive Applications (Kleppmann): các chương đầu về reliability, scalability, maintainability và chương Batch Processing, Stream Processing
- Google SRE Book, Service Level Objectives: SLI, SLO và cách chọn chỉ số
- AWS Well-Architected, Data Analytics Lens: các trụ cột và câu hỏi rà soát
8.2Năm đề thiết kế trên bối cảnh chứng khoán VNTier 15 giờ
Câu hỏi cốt lõi
Với cùng một bộ dữ liệu, năm yêu cầu khác nhau dẫn tới năm kiến trúc khác nhau. Bạn có chỉ ra được yêu cầu nào trong đề là thứ quyết định thiết kế không?
Khái niệm phải nắm
- Pipeline EOD cho hơn một nghìn mã trên các sàn (cổ phiếu HNX dự kiến chuyển sang HOSE cuối tháng 12/2026): ép bạn cân nhắc lịch theo ngày giao dịch, hai nguồn lệch nhau, idempotency khi chạy lại và backfill (6.2, 6.3).
- Bảng giá gần realtime cho app: ép bạn cân nhắc latency đầu cuối, partition theo mã và hot key ở các mã thanh khoản cao, thứ tự sự kiện, trạng thái mới nhất đặt ở đâu (1.3, 2.3, 4.7).
- Lưu tick 5 năm và truy vấn nhanh: ép bạn cân nhắc ước lượng dung lượng, định dạng columnar, partition và sort key, small files, retention và tiering (3.2, 3.3, 3.7, 5.4).
- Phát hiện dữ liệu thiếu hoặc sai trước giờ mở cửa: ép bạn cân nhắc kiểm tra nào chặn, kiểm tra nào cảnh báo, freshness, volume, ai được báo và hành động gì trong khung giờ hẹp (7.1, 7.2, 6.4).
- Đẩy dữ liệu đã chuẩn hóa ra API cho ứng dụng: ép bạn cân nhắc tách store phục vụ khỏi store phân tích, mô hình theo truy vấn, cache, versioning schema và contract với bên dùng (3.6, 5.5, 2.6).
Vì sao quan trọng
Đề phỏng vấn thường rơi vào đúng miền nghiệp vụ của công ty. Luyện trên miền bạn đang làm giúp bạn trả lời bằng số liệu và tình huống thật, thứ mà interviewer tin hơn mọi khuôn mẫu học thuộc.
Nhìn thấy ở đâu
Gán công cụ sau khi thiết kế xong: đề EOD hợp với Airflow và Spark ghi Iceberg, đề realtime với Kafka và Flink hoặc Spark Structured Streaming, đề lưu tick với Parquet trên MinIO cộng ClickHouse, đề API với ScyllaDB hoặc ClickHouse đứng sau một service. Mỗi đề nêu thêm một phương án thay thế và vì sao không chọn.
Trên dữ liệu chứng khoán VN
Làm cả năm đề, mỗi đề 45 phút theo khung ở 8.1, mỗi đề một trang có sơ đồ khối. Dùng đúng bảng thật làm đầu vào: fact_daily_bar và dim_trading_calendar cho đề EOD, fact_tick với event_ts, ingest_ts cho đề realtime và đề lưu tick, fact_market_snapshot với ceil_vnd, floor_vnd cho đề kiểm tra trước giờ mở cửa, fact_quote_snapshot cho đề API. Với đề realtime, đo trên một partition medium xem vài mã nhiều tick nhất chiếm bao nhiêu phần trăm tổng số tick.
Phỏng vấn hay hỏi
- Thiết kế hệ thống cung cấp giá khớp lệnh mới nhất cho 1 triệu người dùng app với độ trễ dưới 1 giây.
- Pipeline cuối ngày của bạn phải xong trước 6 giờ sáng. Hôm nay nguồn trễ 2 tiếng. Thiết kế của bạn xử lý thế nào?
Nguồn chính thức
- Designing Data-Intensive Applications (Kleppmann): chương Stream Processing, phần về đọc trạng thái dẫn xuất và chương về sharding/partitioning
- Apache Kafka docs, Design: The Producer (load balancing, semantic partitioning) và Log Compaction
8.3Behavioral: khung STAR và 5 câu chuyện phải chuẩn bịTier 12 giờ
Câu hỏi cốt lõi
Khi được hỏi "kể về một lần bạn…", bạn có kể được trong hai phút một câu chuyện có bối cảnh, việc của chính bạn, hành động cụ thể và kết quả đo được, rồi chịu được ba câu hỏi đào sâu không?
Khái niệm phải nắm
- STAR: Situation (bối cảnh ngắn), Task (trách nhiệm của bạn), Action (bạn làm gì, vì sao chọn cách đó), Result (con số và bài học). Phần Action chiếm nhiều thời gian nhất.
- Nói "tôi", không nói "chúng tôi": interviewer chấm đóng góp và quyết định của bạn, không chấm thành tích của team.
- Kết quả có số: thời gian chạy giảm từ bao nhiêu xuống bao nhiêu, sự cố phát hiện sớm hơn bao lâu, chi phí giảm bao nhiêu.
- Năm câu chuyện phải có: một sự cố production (7.3), một lần tối ưu job (4.5, 4.6), một bất đồng kỹ thuật và cách bạn thuyết phục hoặc chấp nhận, một lần nhận ownership việc không ai giao (0.4), một lần học công nghệ mới dưới áp lực thời gian.
- Một câu chuyện dùng cho nhiều câu hỏi: chuẩn bị mỗi chuyện với vài góc kể khác nhau, và có sẵn phần "nếu làm lại tôi sẽ làm khác gì".
Vì sao quan trọng
Ở mức Middle, vòng behavioral kiểm tra ownership và cách bạn ra quyết định khi thiếu thông tin. Câu trả lời chung chung kiểu "tôi luôn cố gắng" bị đánh giá thấp dù vòng kỹ thuật tốt.
Nhìn thấy ở đâu
Hướng dẫn phỏng vấn của Amazon mô tả STAR là trục chính của vòng behavioral, khuyên dùng câu "tôi" và số liệu đo được. Bộ Leadership Principles của Amazon (ví dụ Ownership, Dive Deep, Have Backbone) là danh sách góc hỏi tốt để kiểm tra năm câu chuyện của bạn đã phủ đủ chưa.
Trên dữ liệu chứng khoán VN
Viết năm câu chuyện từ công việc thật của bạn, mỗi chuyện tối đa 250 từ theo STAR. Nếu thiếu chuyện, dùng chính bộ dữ liệu này: sự cố đơn vị giá ở 7.3, tối ưu job tổng hợp tick bị skew ở các mã nhiều tick, bất đồng về việc chọn nguồn tcbs hay dnse làm nguồn chuẩn cho fact_daily_bar. Ghi âm khi kể, nghe lại và cắt mọi câu không thuộc về hành động của bạn.
Phỏng vấn hay hỏi
- Kể về một lần bạn làm hỏng production. Bạn đã làm gì trong giờ đầu tiên?
- Kể về một lần bạn không đồng ý với quyết định kỹ thuật của lead. Kết quả ra sao?
Nguồn chính thức
- Amazon, Your complete guide to the Amazon interview process: phần behavioral interview và STAR method
- Amazon, Leadership Principles: dùng làm danh sách góc hỏi
8.4Capstone: pipeline end-to-end đưa vào CVTier 124 giờ
Câu hỏi cốt lõi
Bạn có một repo mà người khác clone về, chạy một lệnh, thấy dữ liệu đi từ tick thô tới mart và kiểm tra chất lượng, rồi đọc README là hiểu vì sao bạn chọn từng thiết kế không?
Khái niệm phải nắm
- Phạm vi đầu ra: replay tick từ file vào log, xử lý stream hoặc batch, ghi table format hoặc Parquet có partition, dựng mart, phục vụ qua engine OLAP, điều phối job EOD có backfill, và kiểm tra chất lượng chặn publish.
- Tiêu chí đúng: chạy lại một ngày hoặc backfill cả 20 ngày cho kết quả giống hệt, không trùng dòng (6.3). Tick đến trễ được xử lý theo chính sách bạn ghi rõ (4.7, 6.4).
- Tiêu chí vận hành: dựng toàn bộ bằng một lệnh container, có unit test và CI (7.4), có ít nhất một kiểm tra freshness hoặc volume (7.2).
- README kiểu portfolio: bài toán, sơ đồ kiến trúc, mô hình dữ liệu và grain, các quyết định thiết kế kèm phương án đã loại, số đo thật (thời gian chạy, dung lượng, bytes đọc), giới hạn và việc sẽ làm tiếp.
- Kể được bằng khung 8.1: README nên đi theo đúng trình tự ở 8.1 để dự án thành câu trả lời mẫu cho vòng thiết kế.
Vì sao quan trọng
Một dự án chạy được và tự giải thích được là bằng chứng mạnh nhất cho CV khi bạn chưa có tiêu đề Middle. Interviewer sẽ đào vào đúng dự án này, nên mỗi lựa chọn trong repo phải là lựa chọn bạn bảo vệ được.
Nhìn thấy ở đâu
Một cấu hình gợi ý khớp stack của bạn: Kafka (KRaft) cho log, Spark Structured Streaming hoặc Spark batch cho xử lý, Iceberg hoặc Parquet trên MinIO cho lưu trữ, ClickHouse cho mart và truy vấn, Airflow 3 cho EOD và backfill, dbt hoặc kiểm tra tự viết cho chất lượng, Docker Compose để dựng tất cả. Thay một thành phần cũng được, miễn README giải thích vì sao.
Trên dữ liệu chứng khoán VN
Đầu vào: data/synth/medium/fact_tick/ (20 ngày, khoảng 266 nghìn tick mỗi ngày) phát lại theo event_ts, cộng dim_symbol và dim_trading_calendar. Đầu ra tối thiểu: bảng bar 1 phút và bar ngày theo symbol, mart top mã theo giá trị giao dịch mỗi trade_date, một bảng kết quả kiểm tra chất lượng theo ngày. Điều kiện hoàn thành: backfill 20 ngày từ trống tới đầy chạy hai lần cho cùng số dòng và cùng tổng qty, đối chiếu bar ngày của bạn với cách tính của bạn từ tick và giải thích mọi chênh lệch, README có số đo thật.
Phỏng vấn hay hỏi
- Trong dự án này, quyết định thiết kế nào bạn thấy khó nhất, và bạn đã loại phương án nào?
- Nếu dữ liệu tăng 100 lần, bạn thay đổi gì đầu tiên?
Nguồn chính thức
- Airflow docs, Best Practices: Writing a Dag, Testing a Dag
- Iceberg docs, Spark Writes: cách ghi idempotent theo partition
- Designing Data-Intensive Applications (Kleppmann): chương Batch Processing và Stream Processing để viết phần trade-off trong README
Soi công cụ bằng nguyên lý
Bảng này đi theo chiều ngược lại: từ thứ bạn đã dùng tới nguyên lý bên dưới. Khi được hỏi "X hoạt động thế nào", câu trả lời tốt là ghép các nguyên lý ở cột phải.
| Công cụ | Nó là hiện thực của | Học ở |
|---|---|---|
| Kafka | Một log chỉ ghi nối đuôi, chia partition, sao chép theo leader và follower. Người đọc đánh dấu vị trí bằng offset, commit về broker hoặc lưu cùng kết quả ở sink. Nhanh nhờ ghi tuần tự và page cache. Metadata của cluster do một nhóm controller đồng thuận kiểu Raft quản lý (KRaft). | 2.3 2.4 2.5 2.8 1.4 1.6 |
| NiFi | Thu nạp theo luồng: lấy dữ liệu từ nhiều kiểu nguồn, chuyển tiếp qua các hàng đợi có ngưỡng. Hàng đợi đầy thì bước phía trước bị chặn lại, đó là backpressure. | 2.1 2.2 2.7 |
| MinIO / S3 | Object storage: không gian khóa phẳng, object bất biến, rẻ và tách khỏi compute. Không có rename nguyên tử trên cả thư mục, nên cần table format để có ACID. | 3.1 3.4 |
| Parquet | File columnar: dữ liệu xếp theo cột, mã hóa và nén theo cột, kèm thống kê min/max để bỏ qua phần không cần đọc. | 1.1 3.2 3.3 |
| Iceberg | Table format: một lớp metadata trên các file bất biến. Mỗi lần ghi tạo snapshot mới và commit nguyên tử, nhờ đó có ACID, time travel, đổi schema và đổi partition mà không ghi lại dữ liệu. | 3.4 3.7 3.8 |
| Spark | Engine tính toán batch phân tán: kế hoạch lười thành DAG, cắt stage tại mỗi shuffle, mỗi partition là một task. Hầu hết vấn đề hiệu năng quy về shuffle, skew và bộ nhớ. Cùng engine đó chạy stream theo từng micro-batch. | 4.7 4.8 4.3 4.4 4.5 4.6 4.2 4.11 |
| Flink | Engine xử lý stream có state: tính theo event time với watermark, giữ state theo key, chụp checkpoint định kỳ để khôi phục mà không tính trùng. | 4.7 4.8 2.7 4.9 |
| ClickHouse | Engine OLAP columnar. Dữ liệu ghi thành các part bất biến đã sắp theo sort key rồi được merge nền. Index là sparse index trên sort key, chọn sort key đúng quyết định tốc độ truy vấn. | 1.1 1.2 3.6 5.4 5.3 |
| ScyllaDB | Wide-column store trên LSM-Tree. Dữ liệu chia theo hash của partition key, sao chép không có leader, mức consistency chọn theo từng truy vấn bằng quorum. Truy vấn phải đi theo partition key. | 1.8 1.2 1.3 1.4 3.6 |
| Elasticsearch | Search engine trên inverted index. Index chia thành shard, mỗi shard có primary và replica. Dữ liệu nằm trong các segment bất biến được merge dần. | 1.2 1.3 1.4 3.6 |
| Airflow | Orchestrator: DAG các task chạy theo lịch, mỗi lần chạy gắn với một khoảng dữ liệu. Scheduler quyết định chạy gì, executor quyết định chạy ở đâu. Tính đúng khi chạy lại là việc của bạn, không phải của Airflow. | 6.1 6.2 6.3 6.4 6.5 6.6 |
| dbt | Transformation viết như code: mỗi model là một câu SELECT, phụ thuộc giữa các model tạo thành DAG, có test và có chiến lược incremental. | 4.10 5.1 5.2 7.1 |
| Docker / K8s | Đóng gói môi trường chạy và cô lập tài nguyên: container bị giết khi vượt giới hạn bộ nhớ, mỗi task có thể là một container. | 7.4 4.6 6.6 |
Lịch 12 tuần cho Tier 1
Thứ tự học khác thứ tự vòng đời. SQL lên trước vì dùng ngay và phỏng vấn nào cũng hỏi. Nền móng đi trước lưu trữ và tính toán. Thu nạp và stream đi sau khi bạn đã vững batch. Capstone 8.4 dựng dần từ tuần 5, mỗi tuần khoảng 3 giờ, thay vì dồn vào cuối. Mỗi tuần 9 đến 12 giờ.
| Tuần | Trọng tâm | Chủ đề | Giờ |
|---|---|---|---|
| Tuần 1 | Toàn cảnh nghề và SQL | 0.1 0.2 0.3 0.4 0.5 4.1 | 10 |
| Tuần 2 | Dữ liệu trên một máy, execution plan | 1.1 1.2 3.2 4.2 | 9,5 |
| Tuần 3 | Mô hình hóa và truy vấn nhanh | 5.1 5.2 5.3 5.4 | 9 |
| Tuần 4 | Dữ liệu trên nhiều máy, transaction | 1.3 1.4 1.5 1.8 3.1 | 9,5 |
| Tuần 5 | Lưu trữ trên object storage | 3.3 3.4 3.6 8.4 | 11 |
| Tuần 6 | Tính toán batch phân tán | 4.3 4.4 4.5 8.4 | 12 |
| Tuần 7 | Chẩn đoán job, bắt đầu thu nạp | 4.6 2.1 2.2 8.4 | 9,5 |
| Tuần 8 | Log và delivery semantics | 2.3 2.4 2.5 2.6 8.4 | 10,5 |
| Tuần 9 | Stream và thời gian trong batch | 4.7 6.1 6.2 8.4 | 11 |
| Tuần 10 | Độ tin cậy và chất lượng | 6.3 6.4 6.5 7.1 8.4 | 11 |
| Tuần 11 | Quan sát, vận hành, khung thiết kế | 7.2 7.3 7.4 7.6 8.1 8.4 | 12 |
| Tuần 12 | Đề thiết kế và behavioral | 8.2 8.3 8.4 | 10 |
Sau tuần 12: phần mở rộng
Tier 2 trước, Tier 3 khi cần. Chọn theo vị trí bạn ứng tuyển: thiên streaming thì ưu tiên 2.7, 2.8, 4.8, 4.9.
- 1.6 Consensus (Raft) ở mức khái niệm · Tier 2 · 1,5 giờ
- 2.7 Backpressure và flow control · Tier 2 · 1 giờ
- 3.5 Data lake, warehouse, lakehouse và phân lớp medallion · Tier 2 · 1,5 giờ
- 3.7 Vòng đời dữ liệu lưu trữ: retention, tiering, compaction · Tier 2 · 1 giờ
- 4.8 State, checkpoint và exactly-once trong stream · Tier 2 · 2,5 giờ
- 4.9 Batch hay stream: Lambda, Kappa và khi nào không cần stream · Tier 2 · 1,5 giờ
- 4.10 ELT và transformation-as-code: layering, materialization, incremental · Tier 2 · 2,5 giờ
- 5.5 Các kiểu phục vụ: BI, data → API, reverse ETL, feature cho ML · Tier 2 · 2 giờ
- 6.6 Chờ sự kiện bên ngoài và mở rộng: sensor, deferrable, dynamic mapping, executor trade-off · Tier 2 · 1,5 giờ
- 7.5 Bảo mật và governance: IAM, PII, phân quyền · Tier 2 · 1 giờ
- 1.7 PACELC và các mô hình consistency chi tiết · Tier 3 · 1 giờ
- 2.8 Vì sao log nhanh: sequential I/O, page cache, zero-copy, batching · Tier 3 · 1,5 giờ
- 3.8 So sánh Iceberg / Delta / Hudi · Tier 3 · 0,5 giờ
- 4.11 Bên trong query optimizer và execution engine (Catalyst, Tungsten, codegen) · Tier 3 · 1 giờ
- 5.6 Inmon, Data Vault, semantic layer · Tier 3 · 1 giờ
- 7.7 Metrics, log, trace cho hạ tầng (Prometheus, Grafana, OpenTelemetry) · Tier 3 · 0,5 giờ
Lộ trình này soạn từ đâu
| Nguồn | Giữ lại | Thay đổi |
|---|---|---|
| Fundamentals of Data Engineering Reis & Housley | Khung vòng đời dữ liệu và các mạch ngầm làm xương sống của lộ trình. | Thêm chặng nền móng và chặng thiết kế hệ thống. Mọi ví dụ đổi sang dữ liệu chứng khoán VN. |
| Designing Data-Intensive Applications Kleppmann | Nguyên lý ở chặng 1: storage engine, partitioning, replication, consistency. Cách nhìn log và stream ở chặng 2 và 4. | Chỉ lấy phần một Middle cần để trả lời và debug. Phần lý thuyết sâu xếp vào Tier 2 và 3. |
| The Data Warehouse Toolkit Kimball & Ross | Grain, fact, dimension, SCD ở chặng 5. | Thêm góc nhìn One Big Table và engine OLAP columnar hiện nay. |
| Streaming Systems Akidau, Chernyak & Lax | Event time, watermark, window, late data ở chủ đề 4.7 và 4.8. | Rút về mức khái niệm dùng chung cho mọi stream engine. |
| Tài liệu chính thức của từng dự án | Tên cơ chế và cấu hình ở mục "Nhìn thấy ở đâu", link trong từng chủ đề. | Chỉ dùng làm minh họa cho nguyên lý, không dạy theo mục lục của công cụ. |
yeu-cau-2.md | Phân Tier, nguyên tắc 20/80, dữ liệu thật xuyên suốt, mỗi chủ đề mở đầu bằng câu hỏi. | Xương sống đổi từ danh sách công cụ sang vòng đời dữ liệu. Web app, lab và bộ câu hỏi tạm gác. |
Lộ trình Data Engineering.html | Hình thức trang: một sơ đồ xuyên suốt, thẻ theo chặng, bảng nguồn, bảng phiên bản. | Chín công cụ thành chín chặng của nghề. Công cụ lùi xuống bảng "Soi công cụ". |
Phiên bản làm mốc
Lộ trình dạy nguyên lý nên ít phụ thuộc phiên bản. Khi một chủ đề nêu tên cấu hình hay thành phần, nó theo các bản dưới đây, lấy từ bảng phiên bản của Lộ trình Data Engineering.html (soạn 11/2026).
| Công cụ | Bản làm mốc | Điều cần nhớ |
|---|---|---|
| Kafka | 4.x | Không còn ZooKeeper, metadata do KRaft quản lý. |
| Spark | 4.x | ANSI SQL mode bật mặc định từ 4.0: cast sai và chia cho 0 báo lỗi thay vì trả NULL. AQE bật mặc định từ 3.2. |
| Flink | 2.x | Học sâu ở 4.7 và 4.8, các chủ đề khác chỉ dùng làm ví dụ. |
| Airflow | 3.x | Kiến trúc đổi so với 2.x: có API server và Dag processor tách riêng. |
| ClickHouse | 26.x | Họ MergeTree vẫn là lõi. |
| dbt | Core 1.x | Học sâu ở 4.10, các chủ đề khác chỉ dùng làm ví dụ. |
| Iceberg | 1.x | Minh họa chính cho table format ở 3.4. |
| MinIO | bản cộng đồng cuối | Repo cộng đồng đã bị archive trong năm 2026. Lab cần object storage thì dùng bản còn lưu hoặc một hệ tương thích S3 khác. Nguyên lý ở 3.1 không đổi. |
Trang này là lộ trình, chưa phải giáo trình: nó nói học gì, vì sao và đọc ở đâu. Bài giảng, lab và bộ câu hỏi phỏng vấn đầy đủ là bước sau.