본문으로 건너뛰기

📖 러스트로 갈아타기

Chanho Lee
다양한 분야를 공부하고 있는 학생
정보

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

나는 리뷰어다 2026

Book Info

책 이미지를 클릭하면 교보문고 사이트로 이동합니다!

책

  • 제목: 러스트로 갈아타기
  • 저자: 릴리 마라, 조엘 홈즈
  • 역자: 전봉규
  • 출판사: 한빛미디어
  • 출간: 2026-01-22

[논문 리뷰] OrchestrationBench: LLM-Driven Agentic Planning and Tool Use in Multi-Domain Scenarios

Chanho Lee
다양한 분야를 공부하고 있는 학생

ICLR 2026. [Paper] [Github]

들어가며

최근 moltbot(현 openclaw), oh-my-opencode와 같은 서비스가 핫해지면서 읽으면 재밌을 것 같다는 생각에 읽고 리뷰를 해본다. 이 논문은 카카오에서 낸 논문이다. 내 리뷰보다 더 쉬운 설명은 카카오, 자체 개발 LLM 오케스트레이션 능력 평가 벤치마크 'ICLR 2026' 논문 채택... 깃허브에 오픈소스로 공개 에 있다.

간단 요약

  1. 실제 multi-domain 환경에서 LLM 오케스트레이션을 평가하기 위한 이중 언어(한국어, 영어) 벤치마크를 소개한다.
  2. workflow planning과 tool execution으로 분리하고 Graph Edit Distance(GED)와 같은 structured metric을 사용한다.
  3. 이 벤치마크는 constraint validation과 dynamic revision을 포함하는 17개 domain과 거의 100개의 tool로 구성된 수동으로 만든 데이터셋을 포함한다.
  4. 실험 결과 일관된 tool execution은 확인되었지만 planning 단계에서는 상당한 변동성이 나타나 structured 평가의 필요성을 강조한다.
  5. 새로운 domain, tool, deployment context로 확장 가능한 벤치마크로 설계됐다.

📖 AI Engineering

Chanho Lee
다양한 분야를 공부하고 있는 학생
정보

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

나는 리뷰어다 2025

Book Info

책 이미지를 클릭하면 교보문고 사이트로 이동합니다!

책

  • 제목: AI Engineering
  • 저자: 칩 후옌
  • 역자: 변성윤
  • 출판사: 한빛미디어
  • 출간: 2025-09-10

📖 핸즈온 LLM

Chanho Lee
다양한 분야를 공부하고 있는 학생
정보

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

나는 리뷰어다 2025

Book Info

책 이미지를 클릭하면 교보문고 사이트로 이동합니다!

image.png

책

  • 제목: 개발자 기술 면접 노트
  • 저자: 제이 알아마르, 마르턴 흐루턴도르스트
  • 역자: 박해선
  • 출판사: 한빛미디어
  • 출간: 2025-06-10