데이터 엔지니어 면접 질문: SQL, 파이프라인, 압박 상황에서의 신뢰성

이 직무의 면접 절차는 하나의 핵심 질문을 중심으로 구성됩니다: 규모에 맞게 데이터를 올바르게 이동하고 변환할 수 있으면서도 누군가의 감시가 필요 없는가? 이는 네 가지 연관된 스킬 영역으로 나타납니다: SQL과 데이터 모델링, ETL 및 ELT 패턴에 걸친 파이프라인 설계, 장애 상황에서의 신뢰성, 그리고 코드를 작성하지 않는 사람들과 트레이드오프를 전달할 수 있는 판단력입니다.

대부분의 면접 절차는 실습 SQL 라운드, 파이프라인이나 데이터 플랫폼에 초점을 맞춘 시스템 설계 라운드, 그리고 손상된 데이터, 누락된 요구사항, 데이터 과학자 또는 분석가와의 의견 불일치를 어떻게 다루는지 조사하는 행동 라운드를 혼합합니다. 일부 회사는 원시 데이터 세트에서 작은 파이프라인을 구축하는 테이크홈 과제도 진행하며, 이는 라이브 청중 없이 동일한 스킬을 평가합니다.

면접관들은 단순히 쿼리가 올바른 행을 반환하는지만 평가하지 않습니다. 그들은 당신이 추론을 어떻게 설명하는지 듣고 있습니다: 자체 조인 대신 윈도우 함수를 선택한 이유, 완전 새로고침 대신 증분 로드를 선택한 이유, null 개수만이 아닌 행 개수 변화에 대해 경고하는 이유. 올바른 답변을 말씀하는 지원자는 종종 약간 거친 답변을 명확하게 설명하는 지원자에게 진다는 뜻입니다.

면접 전에 자신의 업무 경험에서 2~3 문장으로 설명할 수 있는 파이프라인, 테이블, 또는 인시던트의 짧은 목록을 작성하세요. SQL, 설계, 행동 라운드 전반에 걸쳐 계속 이를 활용할 것입니다.

Spark 또는 dbt를 주로 사용하는 회사에서도 SQL은 데이터 엔지니어링 면접에서 가장 일반적인 진출 관문입니다. 다음과 같은 프롬프트를 기대하세요: 각 고객의 최신 주문을 반환하는 쿼리 작성, 계정별 날짜 시퀀스에서 간격 찾기, 일일 수익의 7일 운동 합계 계산, 또는 최신 버전을 잃지 않고 행 중복 제거.

윈도우 함수는 끊임없이 나타납니다. PARTITION BY 절이 있는 ROW_NUMBER()는 "키당 최신 레코드" 문제의 표준 도구입니다; LAG()와 LEAD()는 간격-섬 및 변경 감지 질문을 다룹니다; ORDER BY 절이 있는 SUM()은 자체 조인 없이 운동 합계를 다룹니다. 면접관은 또한 쿼리 계획을 큰 소리로 추론하기를 원합니다: 옵티마이저가 선택할 수 있는 조인 순서, 인덱스가 도움이 될 위치, 그리고 나쁜 조인이 아닌 누락된 파티션 필터 때문에 쿼리가 느린 경우가 언제인지.

데이터 모델링 질문은 다른 기술을 평가합니다: 상충하는 제약 조건 하에서의 스키마 설계. 일반적인 프롬프트는 전자상거래 또는 구독 데이터 세트에 대한 스타 스키마를 설계하는 것으로, 주문 또는 이벤트에 대한 팩트 테이블과 고객, 제품, 시간에 대한 차원 테이블이 있습니다. 천천히 변하는 차원을 설명할 준비를 하세요: Type 1 업데이트(덮어쓰기)가 괜찮은 때와 "구매 시점의 고객 세그먼트"와 같은 메트릭에 대한 기록을 보존하기 위해 Type 2(새 행, 유효 날짜)가 필요할 때.

또한 정규화 트레이드오프를 정당화할 수 있어야 합니다. OLTP 시스템은 정규화된 테이블을 선호하여 쓰기 일관성을 보호합니다; 분석 웨어하우스는 BI 도구가 다섯 개의 조인 대신 하나의 넓은 테이블을 쿼리할 수 있도록 의도적으로 비정규화하는 경우가 많습니다. 그 트레이드오프를 명명하면서 한 스타일을 보편적으로 정확한 것처럼 취급하는 것과 달리 강한 답변을 교과서식 답변에서 분리합니다.

파이프라인 설계 질문은 원시 데이터가 신뢰할 수 있는 테이블이 되는 방법을 스케치하도록 요청합니다. 전형적인 프롬프트: 클릭스트림 이벤트를 수집하고 제품 팀이 매일 아침 쿼리할 수 있는 일일 활성 사용자 테이블을 생성하는 파이프라인을 설계합니다. 강한 답변은 도구가 아닌 소스에서 시작합니다: 데이터는 어디서 시작되는가, 얼마나 자주 도착하는가, 허용되는 레이턴시는 무엇인가, 배치가 늦거나 스트림이 끊어지면 어떻게 되는가.

ETL과 ELT를 명시적으로 비교하기를 기대하세요. ETL에서는 데이터를 웨어하우스에 로드하기 전에 변환하며, 이는 더 작은 볼륨이나 엄격한 규정 준수 요구사항에 적합합니다. ELT에서는 원시 데이터를 먼저 로드한 다음 dbt와 같은 도구를 사용하여 웨어하우스 내에서 변환합니다. 이는 현재 웨어하우스 계산이 저렴하고 재처리를 위한 원시 기록을 유지하기 때문에 더 일반적인 패턴입니다. 주어진 데이터 소스에 대해 어느 것을 선택할지 설명할 수 있습니다.

오케스트레이션 질문은 행복한 경로뿐만 아니라 실패를 생각하는지 여부를 평가합니다. 면접관은 Airflow나 Dagster와 같은 도구의 DAG, 작업 수준의 재시도, 기록 중간에 스키마가 변경된 백필, 실행할 때마다 전체 테이블을 재처리하는 대신 새로운 또는 변경된 행만 처리하는 증분 로드에 대해 듣고 싶어합니다. 멱등성은 즐겨찾는 후속 질문입니다: 작업이 중간에 실패하고 다시 실행된다면, 중복 행을 생성하거나 동일한 올바른 결과를 생성하는가?

스트리밍 관련 질문은 실시간 요구사항이 있는 회사에서 더 자주 나타납니다. Kafka 기반 스트리밍 파이프라인과 마이크로배치 접근 방식을 비교하거나, exactly-once 대 at-least-once 전달 의미론을 정확히 설명하고 시스템이 at-least-once만 보장할 때 다운스트림에서 사용할 중복 제거 전략을 설명하도록 요청받을 수 있습니다.

데이터 엔지니어 면접 질문에서 신뢰성 질문은 보통 시나리오로 시작합니다: 대시보드가 오늘 아침 수익이 0으로 표시됩니다. 이를 어떻게 디버그할 것인가를 설명해보세요. 좋은 답변은 임의로 추측하는 대신 파이프라인을 통해 역순으로 작동합니다. 소스 시스템이 실제로 데이터를 생성했는지 확인, 수집 작업의 로그 및 행 개수 확인, 변환 계층에서 실패했거나 조용히 건너뛴 실행 확인, 대시보드 자체가 오래된 테이블이나 캐시를 가리키고 있는지 확인.

데이터 품질 검사는 자체적으로 자주 나오는 주제입니다. 면접관은 세부사항을 원합니다: 필수 필드의 null 속도 확인, 과거 기준선에 대한 행 개수 이상 감지, 테이블이 예상 기간 내에 업데이트되지 않은 경우 경고하는 신선함 확인, 그리고 업스트림 스키마 변경 후 고아 외래 키를 잡는 참조 확인. dbt 테스트나 Great Expectations 같은 도구가 자주 나오지만, 도구에 이름을 붙이는 것보다는 실제로 확인할 내용을 설명하고 그 확인이 신경 쓰는 실패 방식을 포착하는 이유를 설명하는 것이 더 중요합니다.

또한 데이터 신선도에 대한 SLA 및 SLO와 올바른 사람이 실제 문제에 대해 호출되도록 경고를 설계하는 방법을 예상해야 하며, 예상되는 변동으로 팀을 짓누르지 않습니다. 역치를 설정하는 방법, 심각도별 경고 라우팅, 매일 울려서 무시되는 경고를 피하는 방법에 대해 이야기하세요.

관련된 행동 스레드는 사후검토입니다: 보고서나 모델에 도달하기 전에 누군가가 잡지 못한 잘못된 데이터가 있는 인시던트를 설명해보세요. 면접관은 비난이 아닌 소유권과 프로세스 변경을 듣고 있습니다. 강한 답변은 근본 원인, 즉시 수정, 그 이후에 추가한 특정 보안조치(새로운 검증 확인이나 백필이 검토되는 방식의 변경 등)를 명명합니다.

데이터 엔지니어에 대한 행동 질문은 개인의 영웅주의보다는 파이프라인에 의존하는 사람들로부터의 경쟁적인 요구를 어떻게 다루는지에 초점을 맞춥니다. 일반적인 프롬프트: 이해관계자가 파이프라인이 전달할 수 있는 것보다 빠르게 데이터가 필요했던 시간을 말해보세요; 데이터 과학자나 분석가와 스키마나 메트릭 정의에 대해 의견이 일치하지 않은 시간을 말해보세요; 프로덕션 데이터의 오류를 발견했지만 이미 보고서에서 사용된 시간을 말해보세요.

STAR를 사용하되, 행동 섹션은 데이터 작업에 특정해야 합니다. "보고서에서 이미 사용된 잘못된 데이터" 이야기의 경우, 오류를 어떻게 발견했는지, 얼마나 빨리 누구에게 알렸는지, 다운스트림 숫자를 어떻게 수정했는지, 같은 오류 클래스가 다시 빠져나가지 못하도록 어떤 검증을 추가했는지 설명하세요. 면접관은 경미한 불편함이 아닌 프로덕션 중단처럼 데이터 인시던트를 다루는 것을 보고 싶어합니다.

스키마나 메트릭 의견 불일치의 경우, 기술적 입장을 유지하면서도 팀이 따를 수 있는 결정에 도달할 수 있음을 보여주세요. 쿼리 성능 대 스토리지 비용이나 더 빠른 새로운 데이터 소스 온보딩 대 더 엄격한 스키마와 같이 방어하던 트레이드오프를 설명하고, 다른 사람을 단순히 무시하지 않고 어떻게 해결했는지 설명하세요.

우선순위 지정 질문도 일반적입니다: 불안정한 파이프라인 수정, 이해관계자가 대기 중인 새로운 데이터 소스 구축, 오래된 모델의 기술 부채 해결 사이에서 어떻게 결정하는가. 신뢰할 수 있는 답변은 비즈니스 영향, 불안정한 파이프라인이 다시 실패할 경우의 피해 범위, 팀이 매 변경을 지연시키기 전에 기술 부채를 얼마나 오래 견딜 수 있는지를 비교합니다.

이 질문들은 종이 위에서는 대답하기 쉽지만 말로는 어렵습니다. 윈도우 함수, 파이프라인 설계, 또는 인시던트 사후검토를 명확한 말로 설명하는 것은 올바른 SQL을 작성하거나 올바른 DAG를 그리는 것과는 다른 기술이며, 면접관은 답변뿐만 아니라 설명도 평가합니다.

키보드에 손을 대기 전에 SQL 솔루션을 설명하는 연습을 하세요: 접근 방식을 말하고, 사용할 윈도우 함수나 조인 전략의 이름을 지으세요. 그런 다음 쿼리를 작성하세요. 파이프라인 설계 프롬프트의 경우, 압박 상황에서 구조가 자동이 되도록 매번 그 순서대로 소스, 레이턴시 요구사항, 변환 로직, 실패 처리를 통해 말하는 연습을 하세요. 행동 이야기의 경우, 기술 세부사항이 장황한 연설로 변하지 않으면서도 구체적으로 유지되도록 연습하세요.

이러한 질문 중 몇 가지에 대해 자신의 답변을 녹음하고 채우는 말, 요점에 도달하기 전의 장황한 설정, 또는 파이프라인 설명의 건너뛴 단계에 대해 다시 들어보세요. SayNow AI는 데이터 엔지니어 면접 질문을 크게 연습하는 데 도움을 줄 수 있으며, 기술적 추론이 페이지에서 읽히는 것처럼 자신감 있게 나올 수 있도록 명확성과 속도에 대한 피드백을 제공합니다.