Open Patient-Ψ — LLM 기반 정신건강 상담 시뮬레이션

EMNLP 2024 논문 PATIENT-Ψ를 오픈소스로 재현한 연구입니다. GPT-4 기반 오리지널의 비용·접근성·프라이버시 한계를 극복하기 위해 Qwen2.5 소형 모델(0.5B/3B)에 QLoRA 파인튜닝을 적용했습니다.

데이터 구축

• Cognitive Conceptualization Diagram(CCD) 기반 심리 구조 직접 설계
• GPT-4-Turbo로 상담 시나리오 1,300개 생성 및 전량 품질 검수

QLoRA 파인튜닝

• Qwen2.5-0.5B / 3B · QLoRA rank 64 · 4-bit NF4 양자화
• 학습률(5종) × 에포크(5종) = 25개 조합 자동 탐색
• 최적: 0.5B → lr 4e-4, epoch 2 / 3B → lr 5e-4, epoch 6

자동 평가 파이프라인

• BERTScore(의미 유사도) + GPT-4 Pointwise 평가 직접 구축
• 감정 진실성·심리 일관성·CBT 관련성 3축 자동 평가

결과

• Qwen2.5-3B: GPT-4.1-nano 근소 상회 (Pointwise 평가 기준)
• F1 accuracy 0.391~0.398 / Situation matching 0.22 달성
• KCC2025 논문 게재 (제1저자, 3인)