AI Coding Agent 時代,我們是否該重新設計軟體工程師面試?
從一次 AI 輔助程式開發面試,重新思考我們該如何評估 AI-Native Engineer。
最近我參加了一場軟體工程師面試,其中一個環節允許使用 AI Coding Agent。這讓我開始思考:開發流程已經在改變,面試方式是否也應該跟著改變?
如果 AI 正在改變軟體工程師的工作方式,我們是否也應該改變評估工程師的方法?
需求不明確的 Coding Interview
面試一開始,我收到一個需求不太明確的 Coding Task,因此開始詢問目標、限制、預期行為及範圍。
Requirement Clarification 當然是重要的工程能力。但這個過程有點奇怪:在許多面試中,面試官心裡已經有一套預期答案,候選人則不斷提問,試著挖掘面試官究竟想要什麼。
真實世界不完全如此。Stakeholder 可能也不知道最好的解法,甚至不確定真正的問題。工程師需要挑戰假設、提出替代方案、評估取捨,有時還要重新定義問題。
探索應該解決什麼問題,和猜測別人心中既定的答案,是兩件不同的事。
後者可能耗掉大量面試時間,卻無法充分展現工程能力。
當面試出現第三位參與者:AI Agent
釐清需求後,我開始讓 Coding Agent 實作。原本的雙人互動變成了三方協作:面試官提出需求並評估、候選人做工程決策、AI Agent 執行部分工作。
三方的節奏並不一樣。Agent 需要探索 Repository、修改程式碼、跑測試、回報結果。在這段時間,面試官應該等待嗎?候選人要一直講解 Agent 正在做什麼嗎?還是可以討論其他架構或任務?
在我的經驗中,需求釐清與等待 Agent,壓縮了展示可運作成果的時間。我嘗試說明自己平常的 AI 開發流程,但實作仍在進行中。
問題不一定是 Agent 太慢,而是傳統面試假設 Coding 是一個由工程師單獨、連續、同步完成的活動。 AI-Native Development 並不一定如此。
我們究竟想評估什麼能力?
工程師仍需理解程式設計、架構、安全性、測試及維護。但 AI 輔助開發還需要:
- 將問題拆成可以委派的任務。
- 選擇合適的 AI Agent、Model 與工具。
- 判斷何時釐清需求、何時做合理假設。
- 識別平行工作及依賴關係。
- 知道何時介入 Agent 的執行。
- 驗證 AI 產生的程式碼。
- 管理時間、成本與風險。
單看 Agent 能否在時間內完成功能,並不足以衡量這些能力。
同樣地,強制所有人使用同一個模型,雖然方便比較,卻可能排除 Tool Selection 這項真正的工程判斷。工程師應該能解釋為什麼某個模型適合某種工作、什麼時候使用簡單工具就足夠。
如果從真實的工程環境開始呢?
與其直接丟一個隨機 Coding Requirement,我會考慮準備一個小型、預先設計好的 Repository,內含可執行的程式、測試、文件、已知問題與改善機會。
候選人不必一開始就花時間建立專案,或挖掘面試官腦中的隱藏需求,而是可以直接探索現有系統、決定如何工作。
可以提供的任務包括功能實作、Bug Fix、Security 或 Maintainability Review、架構改善,以及小型開放式 POC。
不需要全部做完。決定先做什麼、哪些事情不做,本身就應該是評估的一部分。
有人可能優先修補安全問題;有人把明確的功能交給 Agent,自己去探索架構;有人使用多個 Agent 平行工作,也有人覺得單一 Agent 比較簡單可靠。
這些都可能合理。重點是能不能解釋自己的決策。
保留一些開放性問題
我不認為所有任務都需要完整規格。例如:
「我們的 Pull Request 經常花太多時間等待 Review。請建立一個小型 POC,展示 AI 可以如何改善其中一個環節。」
候選人可以選擇 PR Summary、Risk Analysis、Reviewer Assistant,或其他不同方案。自行定義問題、提出假設、選擇技術並交付成果,這很接近真實工程工作。
但 Scope 必須小。如果題目太廣,整場面試就可能變成需求研討會,沒有時間開始實作。
Open-ended Task 應該提供 Engineering Judgment 的空間,而不是製造無限的模糊性。
多種任務,同時觀察不同能力
想像候選人有一個小時、一個準備好的 Repository,和幾種可選任務。
他可能先探索程式碼、確認重要需求,再委派功能實作給 Agent。Agent 工作時,候選人可以檢查另一個元件,或和面試官討論架構。等 Agent 完成,再回頭檢查變更、執行測試並決定是否接受成果。
這比傳統 Live Coding 更接近 AI-assisted Engineering。面試官可以在同一段工作中觀察需求理解、優先順序、委派、判斷、應變與交付。
與其安排一連串獨立考題,不如把面試變成小型的 Engineering Simulation。
是否應該強制使用相同的 AI Agent?
使用相同工具確實能減少變數,但 AI-Native Engineer 的工作包含 Model Selection。候選人應該能衡量不同模型的能力、成本、速度與可靠度,並做出選擇。
不過,這裡有個重要區別:
選擇工具,和帶著整套預先建立好的開發系統參加面試,不是同一回事。
個人 Agent 開發環境帶來的隱性優勢
經常使用 Coding Agent 的工程師,通常會建立自己的 Custom Instructions、Agent Skills、MCP Servers、自動化測試、Code Review Workflow,甚至完整的 Multi-Agent Development Environment。
這些成果可能累積了數個月的經驗,在工作中非常有價值。
但面試時,假設一個人從標準 Coding Agent 開始,另一個人匯入高度優化、充滿 Skills 的開發環境。第二位可能完成更多工作,但他真的理解那套環境嗎?能不能解釋、調整它?還是它其實是從別人的開源專案複製而來?
使用別人的工具並沒有錯,軟體工程本來就大量依賴既有 Library 與 Framework。
真正的問題是:我們如何區分候選人的工程能力,和既有自動化系統所提供的能力?
我認為短時間面試需要適度設限。
控制環境,但不要限制所有工程決策
我傾向提供受控的 Development Environment:
- 準備好的 Repository 與可重現的環境。
- 一組可以選擇的 Coding Agents 和 Models。
- 相近的工具權限、運算資源與使用預算。
- 明確時間限制,以及有文件說明的基礎能力。
候選人仍可選擇模型、拆分工作、平行執行 Agent,也可以在面試現場建立簡單、任務專屬的 Instructions 或 Skills。
但我傾向限制直接匯入龐大、未經檢視的私人 Agent Environment 或 Skills Library。
如果職位需要建立 Agent Infrastructure,這項能力可以另外透過架構討論、過往專案展示,或專門的 Tooling Exercise 評估。
當然,受控環境也有代價:短時間內無法完整觀察長期建立 Workflow 的能力,候選人也可能不習慣提供的工具。因此環境應事先提供文件、降低上手成本,並保留合理選擇。
標準化起點與限制,但保留工程決策的自由。
公平性是否代表所有人都要採取相同流程?
其實傳統面試本來就有主觀判斷。面試官可能偏好某種架構、程式風格或溝通方式。
我不認為主觀判斷能完全消除,也不認為必須完全消除。但有個重要區別:評估工程決策,和獎勵想法剛好符合面試官偏好的候選人,不是一回事。
一位候選人可能設計複雜的 Multi-Agent Workflow,另一位使用單一強模型完成相同品質的工作。
誰比較好?沒有絕對答案。
更多 Agent 不必然代表更懂 AI Engineering。有時候,Simplicity 才是更好的選擇。
公平性不應消除不同工作方式,而應根據職位真正需要的能力,評估不同做法。
評估的是工程師,不只是 Agent
如果候選人做出良好的架構與測試決策,但 Agent 沒能在時間內完成工作,該怎麼評分?如果另一人很快產出功能,卻不理解也沒有驗證程式碼,難道就一定比較好?
Delivery 當然重要,但 Scope Management、假設驗證、Technical Judgment 和風險控管也很重要。
不能因為解釋得好,就把未完成的功能當成成功;也不能因為功能能跑,就自動認定工程品質良好。
我們想理解的是工程師的貢獻,而不只是 Agent 的輸出。
如果由我重新設計面試
我會從幾個原則開始:
- 提供真實的工程環境。 用小型但有意義的 Repository 取代抽象題目。
- 提供不同類型的任務。 結合功能實作、除錯、Review、架構和小型開放式 POC。
- 控制開發環境,但保留工程選擇。 統一起點與資源,讓候選人自行選擇模型、拆分任務與調整 Workflow。
- 讓非同步工作成為面試的一部分。 Agent 執行時,工程師仍可規劃、檢查或討論其他事情。
- 同時評估決策與成果。 不只看完成的程式碼,也看驗證方式和技術取捨。
- 不要把預期答案藏在面試官心裡。 如果題目是開放式的,就說清楚,並接受合理假設。
結語
我不認為存在一套適合所有職位的完美面試。但單純把 Coding Agent 放進傳統 Coding Interview,可能還不夠。
我們需要重新思考流程本身。
候選人能否理解真正的工程問題、合理選擇工具、管理不確定性並交付有價值的成果?而我們又能否區分,哪些結果來自候選人的決策,哪些來自預先準備的工具?
這才是我希望在 AI-Native Engineer 面試中觀察到的能力。
也許下一代軟體工程師面試,應該少一點解 Coding Puzzle,多一點真正的 Engineering Work。