relay-note04 - AI 비교 실험 : "나에게 맞는 AI는 누구인가?"

프로젝트 목적

AI는 이제 개발자들의 학습, 문제 해결, 커뮤니케이션 도구로 빠르게 자리잡고 있습니다. 하지만 AI 모델마다 성향, 답변 방식, 강점이 다르기 때문에 “어떤 AI가 내 학습 스타일이나 문제 해결 방식에 가장 잘 맞는가?”는 매우 현실적이면서도 중요한 질문입니다.

본 릴레이 미션은 다음과 같은 문제의식에서 출발합니다.

“동일한 질문을 여러 AI에게 물어봤을 때, 누가 가장 정확하고 실용적이며, 나에게 잘 맞는 답을 주는가?”

질문을 던졌을 때,

• 어떤 AI가 가장 정확하고 구체적인 답변을 주는가?
• 어떤 AI가 예제와 배경지식까지 함께 설명해주는가?
• 어떤 AI가 나의 사고 흐름에 가장 잘 맞는 스타일로 대답해주는가?

요즘 날씨가 많이 오락가락하죠. 이에 ChatGPT와 Google Gemini 두 AI에게 이런 질문을 해봤습니다.

“오늘 날씨에 대해 어떻게 생각해?”

이 단순한 질문에도 두 AI의 답변은 매우 다릅니다. 이러한 차이는 단순히 정보의 양 차이가 아니라, AI의 문체, 표현 방식, 친절도, 관점에 따라 달라지는 결과입니다.

같은 질문이지만, 어떤 AI는 감성을 담아 공감하는 친구처럼, 또 어떤 AI는 사실 중심으로 정보만 정확히 알려주는 도구처럼 응답합니다.

이처럼, AI의 답변은 단순히 ‘맞고 틀림’을 넘어서, ‘누구와 대화하느냐’의 문제이기도 합니다. 우리는 앞으로의 퀘스트를 통해, 이러한 차이가 개발자 학습 맥락에서도 어떻게 드러나는지, 그리고 어떤 AI가 나와 가장 잘 맞는 파트너인지를 탐색해보려 합니다.

실험 방식 및 구조

우리는 다양한 AI에게 동일한 질문을 던지고, 돌아온 답변을 다각도로 분석해야 합니다. 비교 대상은 단순한 정답률을 넘어서 설명력이나 문제, 어조와 같은 여러 항목을 포함해야 합니다.

실험 방식

• 모든 질문은 사전에 정한 공통 프롬프트를 사용

• 각 AI에게 동일한 질문을 입력하고, 그에 대한 응답을 수집

• 결과를 정리하여, 질문별로 비교 분석

• 팀원 각자의 주관적 선호도와 이해도를 반영한 기록도 함께 작성

실험 시 주의사항

• 이 실험은 단순한 AI 테스트가 아닌, “내게 잘 맞는 학습 파트너를 찾는 여정”입니다.

• AI의 “정답”만 평가하지 않습니다. “나와 얼마나 잘 소통하는가?”, “생각을 확장시켜주는가?” 또한 중요한 기준입니다.

• 다양한 맥락에 걸쳐 실험하며, 실제 개발 학습에 도움이 되는 방향으로 결과를 해석합니다.

퀘스트 설계 가이드라인

이 릴레이 실험은 단순한 기술적 비교를 넘어서, “AI와의 소통이 얼마나 나의 학습에 적합한가”를 중심으로 둔 실험입니다. 각 퀘스트를 설계하고, AI를 평가할 때 아래 기준을 우선적으로 고려합니다.

1. 학습 효과 중심의 평가

• AI의 응답이 지식을 확장해주는가?

• 모호한 개념이나 코드에 대해 나만의 언어로 설명할 수 있게 도와주는가?

• 단순한 암기보다 이해와 적용에 도움을 주는 방식인가?

2. 다양한 표현 방식 수용

• 딱딱한 기술 문서처럼 설명하는 AI와, 대화를 하듯 풀어주는 AI 중 어떤 스타일이 내게 맞는가?

• 코드뿐 아니라 비유, 예시 등이 포함되어 있는가?

• 피드백과 추론 과정을 통해 내가 스스로 생각할 수 있게 유도하는가?

3. 현실 적용 가능성

• 바로 사용할 수 있는 내용인가?

• 너무 일반적이지 않고 상황에 맞춘 구체적 조언을 주는가?

4. 주관적 신뢰도와 일관성

• 같은 질문을 다르게 바꿔도 답변에 일관성과 논리성이 유지되는가?

• 내가 느끼기에 답변이 ‘믿을 만하다’고 느껴지는가?

• 반복적인 실험을 통해 나만의 기준으로 신뢰도를 평가할 수 있는가?

위 기준은 퀘스트 진행 중 유연하게 조정해도 무방합니다. 또한, 새로운 기준을 제시하거나 확장은 언제나 환영입니다.

이 릴레이 노트는 단순한 AI 비교를 넘어서, “AI는 도구가 아니라 동료처럼 쓸 수 있다”는 가능성을 실험하는 노트입니다. 여러분의 기준과 피드백을 자유롭게 추가하거나, 새로운 비교 주제로 확장해 주세요.