땅다람쥐의 개발 일기

LLM은 무례한 프롬프트를 좋아할까?

Agent에 필요한 하네스를 만들다가 문득 생각이 들었다. LLM은 무례한 프롬프트를 좋아할까? 아니면 공손한 프롬프트를 좋아할까? 만약에 무례한 거를 좋아한다면, 왜 다들 그렇게 쓰지 않지? 그래서 "내가 고민한건 누군가 벌써 고민했을 거다"라는 개인적인 믿음을 근거로 연구를 한 번 찾아봤다. 그래서 찾은 게 Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance. 과연 LLM은 어떤 프롬프트를 좋아할까? 실험 방법저자들은 먼저 영어, 중국어, 일본어 세 가지 언어를 대상으로 실험을 진행했다.모든 언어에서 GPT-3.5와 GPT-4를 평가했고, 추가로 영어는 Llama2-70..

마이크로서비스 환경이나 외부 API를 사용해야 하는 상황을 생각해 보자. 일반적으로 마이크로서비스 아키텍처에서는 각 서비스가 자신만의 데이터베이스를 가지고 있다. 그런데 하나의 비즈니스 작업을 처리하기 위해 여러 서비스를 호출해야 한다면 어떻게 될까? 예를 들어 주문을 처리하기 위해 주문 서비스, 고객 서비스, 결제 서비스를 차례대로 호출해야 한다고 가정해 보자. 우리는 이 모든 작업이 하나의 트랜잭션처럼 동작하기를 원한다. 그렇다면 이런 환경에서도 ACID 원칙을 쉽게 적용할 수 있을까? 정답은 쉽지 않다는 것이다. 각 서비스가 독립적인 데이터베이스를 관리하고 있기 때문에, 하나의 트랜잭션으로 모든 데이터베이스를 제어하기에는 여러 제약이 존재한다. 특히 외부 API까지 포함된다면 더욱 어려워진다. 하지..

금융 관련 신청서를 작성하다 보면, 채워야 하는 칸이 너무 많다는 생각이 들 때가 있다. 예를 들어 신용카드를 발급받거나 대출을 신청할 때, 금융 기관에서 요구하는 정보가 생각보다 많다. 이름이나 연락처 같은 기본적인 정보부터 시작해서 여러 가지 추가 정보를 입력해야 하는 경우도 있다. 문제는 이렇게 긴 신청서를 작성하다가 잠깐 다른 일을 하고 돌아왔을 때 발생한다. 전화가 와서 잠시 자리를 비웠다거나, 다른 작업을 하다가 브라우저 탭을 닫아버렸다고 가정해 보자. 다시 신청서를 열었을 때 지금까지 작성했던 내용이 전부 사라져 있다면 어떨까?유저 입장에서는 상당히 불편할 것이다. 처음부터 모든 정보를 다시 입력해야 하기 때문이다. 심한 경우에는 신청 자체를 포기할 수도 있을 것 같다. 서버 인메모리(In-..

이번주 회사에서 고객의 Credit Report을 벤더사에게 요청하는 엔드포인트를 만들어달라는 요청을 받았다. 벤더사에 Credit Report를 처음 요청하면 25불 정도 청구가 되고, 그 이후에 재발급 받으려면 대략 5불정도의 금액이 청구가 된다고 들었다. 이렇게 돈을 다루는 엔드포인트를 만들게 되면, 빠질 수 없는게 멱등성을 가진 엔드포인트를 만드는 일일거다. 멱등성이란?멱등성은 간단하게 얘기해서 여러번 요청이 들어와도 똑같은 결과를 보여주는 속성을 멱등성이라고 한다. HTTP Request Method에는 멱등성이 있는 친구들이 있고 없는 친구들이 있는데, 요약하면 아래와 같다. HTTP Method멱등성 여부GETOPOSTXPUTOPATCHXQUERYODELETEOHEADO POST와 PATCH..

gRPC 많이 들어본 단어다. 이름에서 보듯 RPC를 이용한 기술이고, REST API 대신 쓸 수 있다고는 대충 들었는데... 대체 언제 쓰고 왜 쓰는 걸까? gRPC에 대해서 자세히 한 번 알아보자 Remote Procedure Call (RPC)Remote Procedure Call 한국말로 원격 프로시저 호출로 불리는 RPC는 네트워크 안에 있는 다른 컴퓨터의 함수를 마치 Local 환경에 있는 것처럼 실행하는 통신 기술이다. 이게 대체 무슨 말일까? 예를 들어 클라이언트가 서버로 요청을 보낸다고 해보자. REST API를 사용해 타 서버를 호출하려면 어떤 URL로 경로를 잡을지, HTTP Method(GET/POST)는 뭘로 할지, Request/Response 객체는 어떻게 파싱 할지 등 고민..

최근 이직한 스타트업에서 데이터 백업을 어떻게 하면 더 안전하게 관리할 수 있을지에 대한 논의가 있었다. 다른 기업들이 랜섬웨어 공격을 받았다는 소식을 보면서, 우리 서비스의 데이터 보관 체계를 한 단계 강화해보자는 취지였다.이전 회사에서는 보안팀이나 데브옵스, 데이터팀이 이런 영역을 전담했기에 깊이 관여할 기회가 없었는데, 스타트업에 와서 인프라의 안전성을 직접 고민하고 설계해볼 수 있게 된 점은 엔지니어로서 꽤 즐거운 경험이었다.그렇다면 우리가 대비해야 할 최악의 시나리오, 즉 클라우드의 Root 유저 권한이 탈취당하는 상황이 발생한다면 과연 어떻게 백업 데이터를 지켜낼 수 있을까? 기존의 벡업 시스템현재 우리 인프라는 Amazon Machine Image(AMI)와 EBS 스냅샷을 활용해서 백업을 ..

이전 포스트에서 AI Agent의 구성요소 중 하나가 메모리라고 얘기를 했었습니다. 그럼 이 메모리는 왜 중요할까요? 우리가 흔히 접하는 전통적인 LLM이나 AI 모델은 기본적으로 Stateless 방식으로 동작합니다. 즉, 각 질문과 요청을 완전히 독립적인 작업으로 취급하죠. 방금 전에 나눈 대화라 할지라도 세션이 끊기거나 맥락이 넘어가면 모든 것을 잊어버립니다. 하지만 진정한 AI Agent는 질의응답만이 아니라, 워크플로우를 디자인해서 주어진 목표를 자동으로 수행하는 시스템입니다. 이러한 에이전트가 제대로 작동하려면 피드백 루프를 돌고, 지식 베이스를 활용하며, 과거의 상호작용을 통해 스스로를 개선해나가야 합니다. 즉, AI가 맥락을 유지하고, 시간에 따른 패턴을 인식하며, 과거의 경험을 바탕으로 ..

컴퓨터 공학을 배우면 코딩하는 법보다는 컴퓨터가 어떻게 작동하고 만들어져 왔는지 배웁니다. 그리고 인공지능을 배운다고 하면, Machine Learning, Deep Learning 등을 배울 때 모델, 수학 공식 등을 배웁니다. 그런데 Agentic Coding을 사용하는 우리는 Agent에 대해서 제대로 알고 쓰는 걸까요? 그래서 오늘은 Agent에 대해서 좀 더 깊게 알아볼까 합니다. 에이전트 (Agent)란?IBM 공식문서에서 정의한 바에 따르면 "가용가능한 도구(Available tools)와 함께 워크 플로우(workflow)를 디자인해서, 주어진 과제들을 자동으로 수행하는 시스템"이라고 합니다. 여기서 도구는 최신 정보를 얻거나 과제를 수행할 때 사용되는 것들을 얘기하는데요. 예를 들어서, ..

최근에 알고리즘 문제 관련 코드 리뷰를 받았다. 자바 라이브러리의 Math.pow()를 써서 지수(Exponent) 연산을 구현했는데, 처리하려는 변수의 원시 타입(Primitive Type)은 정수(Integer)였다. 피드백의 요지는 Math.pow()가 double을 반환하기 때문에 불필요한 type conversion을 강제한다는 점이었다. 따라서 정수(Integer) 연산만 전용으로 처리하는 함수를 만들어 쓰라는 권장이었다. Math.pow()가 double을 리턴한다는 사실은 알고 있었지만, 단순 형 변환(Type Conversion)을 유발하는 오버헤드는 그리 크지 않을 거라 생각했었다. 과연 그럴까?형 변환(Type Conversion, Type Casting)이란?한국어로는 Type Co..

개발 업무를 시작하고 나서, Controller - Service - Repository로 이어지는 아키텍처를 많이 봤다. 그중 Controller의 역할은 단순하게 Input을 받고/정제하고 Service 레이어에 보내주고 관련 Output을 받는 걸로 이해를 했다. 하지만 Controller를 그렇게 사용하지 않고 다른 용도를 포함해서 쓰는 코드를 본적이 있다. Controller Layer는 어떻게 정의하는게 좋을까? MVC 패턴대표적인 디자인 아키텍처인 MVC(Model - View - Controller)를 살펴보자. 먼저 Model의 대한 역할은 애플리케이션의 Business 로직과 Data 구조에 대해 관리한다. 예를 들어, 쇼핑몰에서 유저가 결제를 하게 되면 관련 Business 로직과 데..