שאלות ראיון מהנדס נתונים: SQL, צינורות ואמינות תחת לחץ

לולאת ראיון של תפקיד זה בנויה סביב דאגה ליבית אחת: יכול אתה להזיז ולהמיר נתונים בצורה נכונה בקנה מידה ללא שלא אחד יצטרך להביט עליו. זה מופיע כארבע תחומי מיומנויות מחוברים: SQL ועיצוב נתונים, תכנון צינור על פני דפוסי ETL ו-ELT, אמינות תחת כשל, ושיקול דעת כדי לתקשר פשרות לאנשים שלא כותבים קוד.

רוב לולאות מערבבות סיבוב SQL ממשי, סיבוב עיצוב מערכת המיקוד על צינור או פלטפורמת נתונים, וסיבוב התנהגותי שחוקר כיצד אתה מטפל בנתונים שבורים, דרישות חסרות וחילוקי דעות עם מדענים נתונים או אנליסטים. חלק מהחברות גם מפעילות תרגיל לקחת הביתה שבו אתה בונה צינור קטן ממערך נתונים גולמי, אשר בוחנת את אותן מיומנויות ללא קהל לייב.

מראיינים לא סתם מדרגים האם השאילתה שלך מחזירה את השורות הנכונות. הם מאזינים לכיצד אתה משחזר את ההנמקה שלך: למה בחרת בפונקציית חלון על פני שיוך עצמי, למה בחרת בטעינה מצטברת על פני רענון מלא, למה אתה היה מתריע על סחף ספירת שורה במקום רק ספיר null. מועמד שמלמל דרך תשובה נכונה לעתים קרובות מפסיד לזה שמסביר תשובה קצת גסה בבירור.

לפני הראיון שלך, בנה רשימה קצרה של צינורות, טבלאות או תקריות מהעבודה שלך שאתה יכול לתאר בשתיים או שלוש משפטים כל אחת. אתה תשחק בהם בקביעות על פני הסיבובים SQL, דיזיין והתנהגותיים.

SQL הוא עדיין השער הנפוץ ביותר בראיונות מהנדסי נתונים, גם בחברות שפועלות בעיקר על Spark או dbt. צפה בהנמקות כמו: כתוב שאילתה שמחזירה את ההזמנה הסיומנת של כל לקוח, מצא פערים בתור התאריכים בחשבון, חשב סכום ריצה בן שבעה ימים של הכנסה יומית, או הסר כפול שורות ללא איבוד הגרסה הסיומנת.

פונקציות חלון מופיעות בקביעות. ROW_NUMBER() עם סעיף PARTITION BY היא הכלי הסטנדרטי לבעיות "הרשומה האחרונה לכל מפתח"; LAG() ו-LEAD() טיפול פער אי טח וגילוי שינוי שאלות; SUM() OVER חלון מסודר טיפול סך הריצה ללא שיוך עצמי. מראיינים גם רוצים שתחשוב על תוכנית שאילתה בקול רם: איזה סדר חיבור האופטימיזר אולי בחר, איפה אינדקס יעזור, ומתי שאילתה היא איטית בגלל מסנן מחיצה חסר במקום חיבור רע.

שאלות עיצוב נתונים בוחנות שריר שונה: עיצוב סכימה תחת אילוצים מתנגדים. הנושא הנפוץ הוא עיצוב סכימת כוכב למערכת נתונים של עסקנות או מנוי, עם טבלאות עובדים להזמנות או אירועים וטבלאות מימד לקוחות, מוצרים וזמן. היה מוכן להסביר לאט משתנה מימדים: מתי עדכון סוג 1 (כתוב על גבי) בסדר לעומת כאשר אתה צריך סוג 2 (שורה חדשה, תאריכים יעילים) כדי להשתמר בהיסטוריה למטרי כמו "קטגוריית לקוח בזמן קנייה".

אתה גם צריך להוכיח פשרות בנוקנובילוז. מערכות OLTP העדיפו טבלאות מנורמלים כדי להגן על עקביות כתיבה; מחסנות נתונים אנליטיים לעתים קרובות denormalize בעיצוב כדי שכלי BI יכול שאילתה טבלה אחת רחבה בעדיפות על פני חמש הצטרפויות. שם פשרה זו, במקום לטפל בסגנון אחד כנכון בכל מקום, הוא מה שמפריד בין תשובה חזקה לתשובה ספרי לימוד.

שאלות עיצוב צינור שואל אותך לסקיצה איך נתונים גולמים הופכים לטבלה אמינה. הנושא הטיפוסי: תכנן צינור שזומא אירועי clickstream וממציא טבלת משתמשים פעיל יומי שצוות המוצר יכול לשאילתה בכל בוקר. תשובה חזקה מתחילה עם המקור, לא הכלים: איפה הנתונים מגיעים, כמה לעתים קרובות זה מגיע, מה הסטיה הקבילה, ומה קורה אם אצווה מאחרת או זרם שוקלת.

צפה להשוות ETL ו-ELT בבירור. ב-ETL, אתה הופך נתונים לפני טעינה לתוך המחסן, אשר מתאים נפחים קטנים יותר או צרכי ציות קשים. ב-ELT, אתה טוען נתונים גולמים ראשונים וממיר אותם בתוך המחסן עם כלי כמו dbt, אשר הוא עכשיו התבנית השכיחה יותר בגלל חישוב מחסן זול וזה שמור הנתונים הגולמים עבור עיבוד מחדש. היה בעמדה להסביר למה אתה היה בוחר אחד על פני השני למקור נתונים נתון.

שאלות אורכסטרציה בודקות אם אתה חושב על כשל, לא רק הנתיב השמח. מראיינים רוצים לשמוע DAGs בכלי כמו Airflow או Dagster, חזרה מחדש על רמת משימה, backfills לסכימה ששונתה mid-history, וטעינות מצטברות שרק עיבודים שורות חדשות או שונות במקום עיבוד מחדש של טבלה שלמה בכל ריצה. idempotency היא מעקב כיף: אם משימה נכשלת בחצי דרך ו- reruns, זה מייצר שורות כפולות או אותה תוצאה נכונה?

שאלות ספציפיות זרימה מופיעות יותר בחברות עם צרכים בזמן אמת. אתה אולי שאל להשוות צינור הזרמת מבוסס Kafka כנגד גישה מיקרו-אצווה, או להסביר בדיוק-פעם לעומת לפחות פעם סמנטיקה משלוח וגישת deduplication שאתה היה משתמש בהזרם כאשר מערכת רק מבטיחה לפחות פעם.

שאלות אמינות במהנדסי נתונים בדרך כלל מתחילות עם תרחיש: ללוח מחשבונות מופיע אפס הכנסה הבוקר הזה, תשחקו דרך איך היית זה debug. תשובה טובה עובדת לאחור דרך הצינור בסדר בעדיפות על פני הנחה באופן אקראי. בדוק האם מערכת המקור בפועל מייצרת נתונים, בדוק את רישומי עבודת הזימון וספירות שורה, בדוק שכבת הטרנספורמציה לכשלון או דלג בשקט ריצה, בדוק אם לוח המחשבונות עצמו מכוון לטבלה מיושנת או cache.

בדיקות איכות נתונים הן נושא תכוף בעצמן. מראיינים רוצים ספציפיות: בדיקות null-rate על שדות נדרשים, זיהוי אנומליה בספירת שורה כנגד ערך בסלו היסטורי, בדיקות טריות שמתריעות כאשר טבלה לא עדכנה בתוך החלון הצפוי שלה, וטיפול בדיקות שתופסות מפתחות זרים יתומים לאחר שינוי סכימה עפ היסודות. כלים כמו בדיקות dbt או ציפיות גדולות לעתים קרובות מופיעות, אך שם כלי חשוב פחות מהסברת מה אתה בפועל היית בודק ולמה בדיקה זו תופסת את מצב הכשל שאתה אדוות על.

אתה גם צריך לצפות שאלות על SLAs ו-SLOs לטיוטות נתונים, וכיצד אתה היית עיצוב התריעה כדי שהאדם הנכון הוא paged ברי לזה בעיה אמת ללא טביעת הקהל בצליל משעממות מהשונות הצפויה. דבר על איך היית שנקבע סף, נתיב התריעות לפי חומרה, ולהימנע התריע שירה בכל יום ויקבל התעלם.

חוט התנהגותי קשור הוא postmortem: לתאר תקרית שבה נתונים רעים הגיעו לדוח או דגם לפני שלא כל אחד תפס זה. מראיינים מאזינים לבעלות ותהליך שינוי, לא אשם. תשובה חזקה שמות את גורם השורש, התיקון מיידי, וה safeguard ספציפי אתה הוסיף לאחר מכן, כמו בדיקת אימות חדשה או שינוי לאיך backfills נסקרות.

שאלות התנהגותיות למהנדסי נתונים מתמקדות פחות בגיבורות בודדות ויותר על כיצד אתה טיפול ביקוש מתנגד מאנשים שנשענו על הצינורות שלך. הנושא הנפוץ כולל: ספר לי על זמן stakeholder דרוש נתונים מהר יותר מהצינור שלך יכול לספק זה; ספר לי על חילוק דעות עם מדען נתונים או אנליסט על סכימה או הגדרת מטרי; ספר לי על זמן מצאת שגיאה בנתונים ייצור לאחר שזה כבר בשימוש בדוח.

שתמש בכוכבים, אבל שמור את סעיף הפעולה ספציפי לעבודה נתונים. לסיפור "נתונים כבר בשימוש בדוח רע" שלך, הסביר איך גילית את השגיאה, מי אתה אמרת וכמה במהירות, איך אתה ממוקם המספרים בנתיבי זרם, ואילו אימות אתה הוסיף כדי שאותה מחלקת שגיאה לא יכול להחליק עד כה שוב. מראיינים רוצים לראות שאתה מטפל תקריות נתונים הדרך מהנדס תוכנה מטפל outage ייצור, לא כעת קל שלא ניידות.

לשכימות סכימה או חילוקי דעות מטרי, להראות שאתה יכול להחזיק עמדה טכנית בזמן עדיין הגעה להחלטה הצוות יכול לחיות עם. הסביר פשרה שאתה היית הגנה, כמו ביצועי שאילתה לעומת עלות אחסון, או סכימה קשה יותר לעומת עלית מהיר של מקור נתונים חדש, וכיצד אתה פתור זה ללא פשוט overriding החברה הזו.

שיקול דעת שאלות הן גם נפוצות: איך אתה להחליט בין תיקון צינור flaky, בניית מקור נתונים חדש stakeholder מתקווה עליו, ותשלום בחזרה טכני חוב ב דגם ישן. תשובה ניתן להאמין משקל השפעה עסקית, blast radius אם הצינור flaky נכשלים שוב, וכמה זמן הצוות יכול להסבול את החוב לפני שזה slows כל שינוי עתידי.

שאלות אלה הן קל יותר לתשובה על נייר מאשר בקול רם. הסברת פונקציית חלון, עיצוב צינור, או תום תקרית postmortem במשפטים מדוברים ברורים היא מיומנות שונה מ כתוב SQL נכון או ציור DAG הנכון, ומראיינים דרג ההסבר כמו כמו התשובה.

התרגל לנרוז פתרונות SQL לפני שאתה נוגע במקלדת: דול הגישה, שם פונקציית החלון או גישת חיבור אתה תשתמש, ואז כתוב השאילתה. לתובנות עיצוב צינור, תרגול דברים דרך מקור, דרישות סטיה, היגיון טרנספורמציה, וטיפול כשל בסדר זה בכל פעם, כך המבנה הופך אוטומטי תחת לחץ. לסיפורים התנהגותיים, תרגול עד פרט טכני נשאר ספציפי ללא פנייה לתוך monologue.

הקלט עצמך מענה לכמה מהשאלות האלה והשמע בחזרה לדברים מילוי, התגלגל ההתחלה לפני שאתה להגיע לנקודה, או דלג צעדים בהליכה צינור. SayNow AI יכול לעזור לך תרגול שאלות ראיון מהנדס נתונים בקול רם, עם משוב על בהירות וקצב כדי ההנמקה הטכנית שלך מגיע על פני בביטחון כפי שזה קוראים על הדף.