개발자 면접에 ChatGPT를 활용해 보면 어떨까?

ChatGPT가 유행이다. 유행이라는 말로도 부족한 느낌도 있다. ChatGPT로 이런저런 질문을 던져보다가, ChatGPT를 개발자 면접에 활용해 보면 어떨까 싶었다.

나는 기술 면접을 진행하면서, 검색을 허용하는 경우가 있다. 필요한 정보를 찾는 과정을 옆에서 지켜 보면 생각보다 많은것을 알 수 있다. 어떤 경우에는 현재의 자신의 의도를 설명하면서 검색을 진행해 달라고 하는 경우도 있다.

주로 검색을 하는 곳이 어디인가? (제발 네이버에서 검색은 하지 말아 주세요.)
어떤 검색어를 선택하는가? (문제를 제대로 이해하고 있는지, 원하는 답에 가까운 키워드를 선택하는지)
어떤 싸이트를 선택하는가? (stackoverflow vs 공식문서 vs 블로그의 글 vs 그냥 첫번째 싸이트)
싸이트를 선택한 이후에 필요한 내용을 어떻게 찾아내는가? 해당 문서가 자신에게 적절한 문서인지를 어떻게 판별하는가? (유사한 문서를 찾고, 읽어 본 경험이 많은지)
필요한 내용을 찾았을 때, 어떻게 읽고, 어떤 이해를 하는가? (관련 내용을 꼼꼼하게 살펴보고, 제대로 이해하는지 또는 간단하게 답만 찾아내어서 시도를 하는지)

예를 들어 지원자가 작성한 코드에 다음과 같은 코드가 있다고 가정해보자.

면접관: @transaction.atomic 에 대해서 설명해 주시겠어요?
지원자: 아. 데이터의 무결성을 보장하기 위해서 사용합니다.
면접관: 데이터의 무결성이 어떻게 보장되는지 조금 더 설명 해 주시겠어요?
지원자: 흠… 자세하게는 잘 모르겠습니다.
면접관: 그럼 검색을 해서 내용을 찾아보고 해당 내용을 설명해 주시겠어요?

지원자는 브라우저에서 “django transaction atomic”을 검색한다. 이 때 가장 원하는 플로우는 다음과 같다.

첫번째 공식문서 클릭하기
transaction.atomic 검색하기
atomic에 대한 내용 꼼꼼하게 읽어보기, 필요하다면 간단하게 link를 따라가서 추가로 확인해 보기
이해한 바에 대해서 명확하게 설명해 보기

이번에는 동일한 과정을 ChatGPT 를 활용해 보면 다음과 같을 것 같다.

ChatGPT에 원하는 결과를 물어 보시겠어요? (원하는 정보를 찾을 수 있는가?)
ChatGPT의 답변을 읽어보고 제게 설명을 해 주시겠어요? (조각만 찾는것이 아니라, 영어로 된 컨텍스트를 잘 이해할수 있는가?)
해당 답변에 혹시 오류가 있나요? (기본적으로 오류/거짓을 찾아 낼 수 있는 역량이 있는가?)
해당 답변에 추가해서 설명할 수 있는 부분이 있나요? (
답변을 읽어보고 이해 안되는 부분이 있었나요? 그것을 알기 위해서는 어떤 질문을 다시 던지면 좋을까요? (지식을 깊게 이해하는 과정)

검색의 미래가 ChatGPT라고 하니 제대로 된 정보를 찾고 잘 이해하는지를 ChatGPT로 살펴보는것은 의미가 있겠다. 그러고 보면 Github Copilot과 함께 라이브 코딩을 시켜봐야 할지도..

또는 지원자가 먼저 답을 하고, 동일한 질문에 대해 ChatGPT로 답변을 시킨 다음에 양쪽을 비교해 보는것도 의미가 있겠다.

면접관: 스타트업의 웹서비스를 위한 일반적인 AWS 아키텍처 구성이 어떻게 될까요?
지원자: 이렇게 저렇게 될 것 같습니다.
면접관: ChatGPT는 이렇게 설명을 해주었네요. 말씀 하신것 중에 빠진 컴포넌트는 어떤것인가요? 혹시 이 구성을 칠판에 한번 그려 보시겠어요?

대체로 기술 면접관이 답변을 해석하는것에는 뛰어나지만 적절한 질문들을 이어가는것에는 어려움을 겪는 경우들이 있어서, 이런식으로 ChatGPT를 활용해 가며 지원자의 다양한 면을 살펴보는데 도움을 받을 수 있겠다. 또 훈련이 좀 된다면 상대적으로 전문성이 부족한 사람이 전문성이 높은 사람을 효과적으로 평가하는것에도 도움을 받을 수 있지 않을까 싶다.

AI 면접이 사용된다는 소식을 종종 들었었는데, ChatGPT를 활용해 보니 그 시점이 꽤 당겨질 수 있겠다 싶은 생각도 든다. 우리(사람)은 점점 더 지원자의 태도와 인격에 집중해야 하는걸까.