HCI
-
Debate Chatbots to Facilitate Critical Thinking on YouTube: Social Identity and Conversational Style Make A DifferenceHCI 2024. 8. 17. 22:32
Debate Chatbots to Facilitate Critical Thinking on YouTube: Social Identity and Conversational Style Make A Difference | ProceedIn the last five years, work on software that interacts with people via typed or spoken natural language, called chatbots, intelligent assistants, social bots, virtual companions, non-human players, and so on, increased dramatically. Chatbots burst into ..dl.acm.org*단순 ..
-
EvalLM: Interactive Evaluation of Large Language Model Prompts on User-Defined CriteriaMachine Learning/MLLM 2024. 8. 17. 22:00
Abstract프롬프트를 통해 LLM을 활용한 생성 애플리케이션을 프로토타입 할 수 있음프로토타입을 실제 product로 발전시키기 위해서는 output을 평가하고 약점을 진단하여 프롬프트를 반복적으로 수정해야함EvalLM: interactive system사용자가 정의한 기준에 따라 여러 출력을 평가하여 프롬프트를 개선함Introduction프롬프트 반복 수정의 필요성프롬프트를 통해 AI 기반 어플리케이션을 쉽게 시작할 수 있음고품질 출력을 위해 반복적인 프롬프트 수정 필요.비결정적인 LLM 특성으로 작은 변경도 큰 영향.개방형 생성 작업의 출력 평가 어려움.자동 메트릭으로 주관적 품질 측정 불가.초기 단계에서 빠른 반복 필요하지만 인간 평가자 필요.Formative interviews각 어플리케이션에..