[1]Prompt Engeenering Code Review 1강

Lang Smith란 LLM을 활용해 고도화 된 어플리케이션을 만들 수 있는 Framework이다

 

LCEL:Lang Chain Expression Language

Lang Chain 라이브러리를 활용하여 프롬프트 기반 체인을 만드는 구조이다.

template은 사용자가 입력할 수 있는 변수(PlaceHolder)를 포함한 Prompt Template이다

 

PromptTemplate.from_template 은 PlaceHolder(변수) 값을 동적으로 채울 수 있도록 만드는 Prompt Template 객체이다

LLM은 출력은 기본적으로 텍스트이기 때문에 결과를 파싱하거나 문자열로 반환하게 해준다

 

이것들을 Chain = prompt | model | output_parser로 묶어 사용하게된다

이렇게 프롬프트를 작성하여 LLM에게 정보를 입력할 수 있게 된다

여기서 invoke, stream, batch 세종류가 있는데 이는 LLM chain을 어떻게 실행하고 결과를 받을지에 대한 실행 방식을 의미한다 

invoke

하나의 입력을 주고 하나의 결과를 반환 받는 방식이다. 결과가 모두 완성될때까지 기다린 뒤, 결과를 출력하게된다

input = {"country": "AI 모델의 학습 원리"}

chain.invoke(input)

stream

하나의 입력을 주고 하나의 결과를 반환 받는다. 하지만 invoke와 다르게 실시간 토큰 단위로 결과가 출력되게 된다

# 스트리밍 출력

answer = chain.stream(input)

stream_response(answer)

batch

여러 입력과 여러 출력이 생성되게 된다 

 

Template을 문장단위로 작성 할 수 있다

 

 

본래 Chain을 이용하여 답변을 생성하면 하나의 Chain에 대해서만 답변을 얻게 된다

하지만 동시에 답변을 얻기 위해 RunnableParallel을 사용하게 되면, 두개의 질문에 답변을 동시에 얻을 수 있게된다.

Parallel 즉 병렬적으로 Chain이 실행되는 것이다.

즉 RunnableParallel을 사용하면 두 질문에 대한 단일 응답이 출력되게 되는것이다.

-여기서 만약 Batch와 RunnableParallel이 사용되게 된다면?

정답은 다수의 질문을 한꺼번에 모두 실행할 수 있게 된다.