고투런 2기 | AI agent 프로젝트 멘토링 기록

K-DEVCON의 Go To Learn 프로그램으로 8주간 그룹활동을 마치며 정리하는 기록입니다.

'데브콘 활동 후기' 카테고리의 글 목록

 
 
1. 프로젝트 개요 (Introduction)

• 프로젝트 제목: 헬스케어 커리어 개발을 위한 AI 멘토 생성
• 한 줄 소개 (1~2줄 요약): 영국 잉글랜드 국민건강보건 서비스 종사자들을 채용하는 공고 및 관련 업무 공시 정보들을 분석하여 해당 커리어를 희망하는 이들에게 어떤 자격을 갖춰야 하는지 상담하는 챗봇 서비스입니다.
• 목표 및 문제 정의: 공공 서비스를 제공하는 헬스케어 직업에 도달하기까지 다양한 커리어 패스가 있음에도 불구하고 제도권 안에 들어오지 않은 일반 지원자 입장에서는 본인의 상황에 맞는 정보를 선별해서 보기 어려운 부분이 있다. 직급 단계별로 관련 학위가 필수인 내용도 있고 그 외 여러 전문적인 자격증이나 경력을 요구할 수도 있는데 이를 목표로 하고 준비하는 과정을 상담 챗봇이 도우면서 보다 더 쉬운 접근을 제공하고 궁극적으로 더 많은 지원자를 이끌 수 있게 보조하는 서비스를 제공하는 것을 목표로 합니다.

2. 문제 설정과 접근 방법 (Problem Setting & Approach)

• 문제를 어떻게 정의했는지: 헬스케어 종사자가 부족한 현실에서 시작합니다.
• 기존 해결 방식이나 한계: 커리어 개발은 개인의 책임영역이지만 국영화 건강 서비스를 운영하는 정부 입장에서는 수요에 비해 모자란 자원 공급을 지원하고자 합니다.
• 프로젝트를 통해 해결하고자 한 방향: 영국은 (특히 지금 제가 런던 지역에서 생활하고 근무하다보니) 다국적 다인종 다문화 용광로 사회를 체감하고 있습니다. 너무 많이 다양한 배경들을 시스템적으로 획일화시켜 진입 유도를 할 수 없는 한계가 있어 AI 를 통해 기존 노출된 정보를 잘 요약하고 쉽게 찾을 수 있게 한다면 커리어 개발 과정에서 개인들이 유용하게 사용할 수 있어 진입 장벽을 낮출 수 있다는 기대를 합니다.

 
3. AI Agent 아키텍처 설계 (Architecture & System Design)

• 전체 구조 다이어그램 (간단한 플로우 차트 포함): 마이크로소프트에서 제공하는 promptflow 예시와 같이 사용자 질문을 통해 쿼리를 추출하고, NHS 커리어 관련 정보가 임배딩 된 DB를 검색하여, LLM 모델에 입력된 프롬프트를 통해 답변의 형태로 정리하고 보여주는 방식을 구상하였습니다 ----- 8주 내 실제 구현 성공하지 못한 내용으로 이론적 구상입니다.
• 사용한 주요 기술 (예: LangChain, CrewAI, LangGraph 등): 초반 POC 단계까지는 Azure AI Foundry 플랫폼에서 OpenAI의 gpt-4o-mini 모델과 3.5 turbo 모델을 연결하였습니다. 업무용 크리덴셜을 외부로 노출하기 어려운 문제로 멘토링 기간동안 개인 로컬 머신에 랭체인(또는 랭그래프) 모델을 구현하여 시현하고자 하였으나 아직까지 시도 중인 단계입니다.
• 모델 구성 (Base Model, RAG, Planning 등 사용했다면): 데이터는 4-5개 채용 공고 내용을 크롤링하여 구축하였고 아래와 같이 글로서리화하여 임배딩하였습니다. LLM은 기존과 동일 OpenAI 모델 사양으로 활용합니다.

 
 
4. 주요 기능 및 구현 방법 (Key Features & Implementation)

• 각 기능별 설명 (예: 검색, 요약, 대화관리, 메모리 등): 검색 후 요약하여 레퍼런스 링크와 함께 대답 하는 것으로 구현하고자 하였습니다.
• 어떤 어려움이 있었고, 어떻게 해결했는지: RAG 구현도중 지속적인 할루시네이션으로 프롬프트를 조절해 제공한 데이터 내에서만 답변하게끔 제안하였습니다. 그러나 RAG 구성에 활용한 데이터 모두가 무척 작고 퍼블릭 공개가 된 관련 내용이 압도적으로 많이 있다보니 검색을 통제하는 것이 어려웠고 여전히 웹 상에서 정보를 찾아오는 부분들이 생깁니다.
• 코드 스니펫 또는 구조 예시: 다음과 같이 몇 가지 카테고리로 페르소나를 지정하여 커리어 지원자가 관심있어 할 수 있는 내용에 시나리오들을 만들고 그에 맞게 정리한 답을 출력하였습니다. 가령 대입 시험을 준비하는 중고등학생의 경우 문이과 진로를 어떻게 하는지 해당 전공 학과에 진학하려면 입시에서 선택 과목 공부를 어떤 것으로 해야 하는지 등을 주로 확인하고 답변하도록 하고, 이미 학위를 소지한 사람이 전공을 바꿔서 커리어 전환을 하고자 하는 경우 기존 경력에 대비해 희망하는 전과 전공에 어떤 부분을 추가로 더 공부하고 자격을 갖춰야 하는지 중점으로 대답이 나오게끔 하는 방식입니다.

5. 프로젝트 결과 (Results & Demo)

• 최종 결과 요약: 아직 구현하지 못했습니다.
• 데모 영상 링크나 주요 결과 스크린샷:
• 성공한 점 / 미완성된 점

작년말 주도적으로 참가하고 입상했던 사내 경연대회 이후 본 내용을 사이드 프로젝트로 가져온 배경이 있습니다. 해커톤 이틀이 정말 짧은 시간이긴 했지만 한정된 자원과 인프라 속에서 POC단계 데모를 피칭했었습니다. 나름대로 가치 평가를 잘 심사받았고 개인적으로 조직한 자체 스터디를 통해 MVP 개발까지 끌어올린 상황에서 정체가 심해 끝까지 해결하지 못하고 머물러 있는 내용이라 아쉽습니다만 이번 8주에 그치지 않고 꼭 지속해서 내용을 발전시키도록 하겠습니다..

 

글또 10기 | 헬스케어 AI 해커톤 복기

 
 
6. 회고 및 배운 점 (Retrospective & Lessons Learned)

• 가장 어려웠던 점: 개발 환경을 바꾸면서 적응하는 시간이 오래걸렸습니다.
• 가장 뿌듯했던 순간: 크롤링에 성공하여 (목표했던 만큼은 아니지만) 최소 MVP 모델 개발 가능할 만큼의 데이터 파이프라인 구축에 성공했습니다.
• 다음에 개선하고 싶은 부분: 리스크 관리에 소홀했던 것 같습니다. 업무 시간의 10%를 사용하는 것을 포함하여 개발 리소스를 책정했었는데 본업이 예상을 벗어나 바빠지면서 루틴한 자기개발 시간까지 모자라게 되었습니다. 해당 상황에서 이전에 안해본 것을 처음 시도하는 것에 대한 삽질 시간을 충분히 가지지 못하면서 멘토링 기간 처음 목표했던만큼 충분한 진척을 만들지못하게 됩니다. 리소스 한계에 비해 모델 구현 환경을 바꾸겠다는 (큰 나비효과를 불러올 수 있는) 결정을 너무 쉽게 한 것이 아닌가 합니다. 본업은 관리할 수 없는 영역이었지만, 적어도 내가 관리할 수 있는 영역안에서 변경점을 결정할때는 해당 환경에 대한 가능성을 먼저 점검하고 다른 대안이 없는지 비교하며 충분히 검토한 후 진행 해야겠습니다.

7. 추가 발전 방향 (Future Work)

• 확장 아이디어: 현재 기초 모델은 답변을 하기 위한 골든 데이터가 단 하나뿐입니다. 예를 들어 약사가 되려면 약대를 졸업하고 실습 1년을 한 후 면허 등록을 해야한다고 안내합니다. 목표했던 커리어 코치의 역할을 하기 위해서는 좀 더 다양한 예시 답변들을 설정해서 훈련시킬 필요가 있다고 판단합니다. 예를 들면 중고등학생의 입시 과목 선택에 대한 질문에 기존 어떤 공부를 했는지 파악하고 잉글랜드 전국 약대 입시 과정에서 요구하는 필수 수료 과목과 일치하는지를 확인할 수 있겠습니다. 수학을 배우지 않은 학생이 약사가 되고자 한다는 꿈을 가졌다면 하지않은 일에 대해 어떻게 안내해야 하는지, 대안을 제시해야 하는지 말하는 내용을 어떻게 접수하고 대화할 것인지 등을 좀 더 고민하는 방향으로 확장할 수 있을 것 같습니다.
• 이후 버전 계획: 각 페르소나에 대한 조사를 추가로 더하여 프롬프트를 수정하겠습니다. 또한 그라운드니스 측정이나 관련도 등 Evaluation 메트릭으로 성능 검증을 할 수 있을 만큼을 달성하겠습니다.
• AI Agent를 실제 적용해보고 싶은 곳: 헬스케어 도메인 안에서도 법률 규정이 바뀌거나 정책 변경이 있는 부분을 기존 데이터 및 활동기록과 비교해 어떤 영향이 있을지 도움을 주는 내용으로 툴 개발을 해보고 싶습니다.

8. 사용 기술 스택 (Tech Stack)

• 파이썬

#AI_Agent #Project_Portfolio #멘토링프로젝트 #고투런2기