[Weekly Stash/주간 채집] 2025년 10월 넷째주

1. [블로그] LLM의 원리는 어떻게 되는가
2. [Article] Sam Altman says ChatGPT will soon allow erotica for adult users
3. [블로그] Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

🐿️ 친칠라의 주간 채집 🌱
한 주 동안 "나중에 살펴봐야지!" 하고 수집해 둔 링크들이 그대로 잊히지 않도록,
주말마다 가볍게 살펴보고 짧은 생각을 남깁니다.
주로 LLM이나 프롬프트 엔지니어링과 관련된 내용들을 스크랩하고,
본 전공인 국어학 쪽에서도 재미있는 내용이 있으면 가져올게요!

 

1. [블로그] LLM의 원리는 어떻게 되는가

LLM의 원리는 어떻게 되는가

LLM의 원리는 어떻게 되는가

 

토큰화, 임베딩, RoPE, Transformer와 Attention, Autogressive Loop에 대해 누구라도 쉽게 이해할 수 있게 정리된 글이다. 나도 글 쓰신 분처럼 비전공자라 온갖 머신러닝 용어들을 혼자 인강과 검색과 gpt의 설명을 통해 하나하나 이해하려고 노력해 왔기 때문에 정말 반가운 글이었다. 특히 용어별로 '설명 - 왜 필요하나 - 어떻게 동작하나 - 비유 - 이해하면 좋을 포인트'로 글을 구성하셨는데, 엔지니어가 될 사람이 아니라면 '비유'와 '이해하면 좋을 포인트'만 훑어봐도 상당히 유용할 것 같다. 일하면서 RAG로 정보를 참조해서 답변을 생성하는 챗봇 플로우를 여러 버전으로 그리게 되는데, 만들다 보면 꼭 '임베딩이라는 게 뭐냐', '토큰이라는 게 글자 수랑 같은 거냐' 같은 질문을 듣게 된다. 내가 나름 이해한 대로 답변도 해 주었고 질문하신 분들도 알아서 열심히 찾아보며 이해한 것 같지만 항상 좀더 쉽고 직관적으로 설명할 수 있었으면 좋았을 텐데, 라는 생각을 했다. 어쩌면 내가 개념을 완벽히 알고 있는 게 아니라서 쉬운 설명이 안 됐던 것일지도 모르겠다. 직관적으로 와닿는 비유와, 서비스 담당자에게 필요한 핵심 포인트를 딱 찾아서 설명하는 연습이 필요하겠다는 생각이 든다.

 

2. [Article] Sam Altman says ChatGPT will soon allow erotica for adult users

Sam Altman says ChatGPT will soon allow erotica for adult users | TechCrunch

Sam Altman says ChatGPT will soon allow erotica for adult users | TechCrunch

벌써 꽤나 된 일인데, 챗봇 서비스 '이루다'가 사용자와 성적 대화를 했다는 이유로 시끌시끌했던 적이 있다. AI 서비스나 콘텐츠의 윤리에 대해 논한 사람들도 있었고, 영화 'She'와 같은 세상이 정말 올 수 있다는 신호로 받아들인 사람들도 있었다. 옳고 그름에 대해 뜨거운 논쟁이 벌어지는 한편, 이건 옳고 그름의 문제가 아니며 기술의 발전에 따라 우리가 마주할 수밖에 없는 어떤 현상일 뿐이라고 하는 의견도 있었다. 결국 이루다는 이 논란 때문이 아니라 사용 동의를 받지 않은 채팅 데이터를 활용했으며 그 과정에서 개인정보 마스킹이 제대로 되지 않았다는 문제 때문에 물러가게 됐지만... 아무튼 인간이 생성했다면 물의를 빚었을(사실 성적인 대화가 불법도 아니고... 이렇게 말하는 게 맞나 싶지만...) 발화를 AI가 생성했을 때 우리가 어떻게 대처해야 하는가에 대해 충분한 논의가 이루어지지 않았기 때문에 벌어진 상황이었다.

 

그렇다면 생성형 AI의 시대가 지금은 충분한 논의가 이루어졌는가? 이루다 사건까지 꺼내 오지 않더라도 우리는 AI가 삶에 들어오면서 생길 수 있는 여러 윤리적 문제들을 접해 왔고(대표적인 예로 딥페이크가 있겠다) 확실히 전보다는 AI 윤리에 대해 많이들 생각해보는 것 같다. AI 윤리라는 것도 굉장히 여러 측면이 있지만, 일단 AI 챗봇 서비스에서 중요하게 생각하는 부분 하나를 꼽자면 유해발화를 차단하는 가드레일(Guardrails)일 것이다. 나도 이 가드레일 도입을 위해 이것저것 찾아보고 학습이나 테스트케이스 구축을 위한 데이터를 많이 찾아봤지만... 정말 어려운 것은 도대체 어디까지가 유해한 발화인가 하는 것이다! 보통 유해발화라고 하면 욕설, 폭력, 범죄, 성적 대화, 차별 같은 범주를 설정하고 어떤 발화가 각 범주에 대해 유해한지 아닌지 체크해서 판단하게 된다. 그런데 문화적 맥락에 따라 기준이 달라지기도 하고, 보는 사람이나 서비스 씬에 따라 기준이 달라질 수도 있고, 또 유해한 발화를 걸러내느라 정말 필요한 발화까지 잘못 걸러내는 일은 없는지도 봐야 하고, 이 판단이 정말 보통 일이 아니다.

 

샘 올트만이 2025년 12월 이후, 성인 인증 사용자 대상으로 ChatGPT가 Erotica 콘텐츠 생성을 허용할 것이라고 발표했다. LLM의 성적 콘텐츠 생성을 막는 것이 과도한 검열이며 오히려 성능을 떨어뜨린다는 이야기도 있었던 만큼, 올트만의 결정이 놀랍지는 않다. 몇 년 전의 나는 이루다의 성적 대화에 충격을 먹었지만(ㅋㅋㅋ) 이제는 조금이라도 선정적일 여지가 있는 콘텐츠를 차단하는 지침이 촌스럽게 느껴지기도 한다. 앞에서 말했지만 성적인 대화 자체가 불법은 아니니까...! OpenAI에서 사용한 “treat adult users like adults” principle이라는 표현이 재미있다. 다만 분명 어느 정도의 검열은 남겨둘 것 같은데 그 선이 어디일지가 궁금하다.

 

3. [블로그] Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity | Notion

Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity | Notion

 

비록 내가 지금 만들고 있는 서비스는 창의성이나 다양함보다는 정확한 정보 전달이 최우선이라 당장 시도해볼 일은 없을 것 같은 방법이지만 Verbalized Sampling이라는 아이디어가 상당히 흥미롭다. 별도의 학습이나 복잡한 파라미터 조정이 아니라 프롬프트로 바로 시도해 볼 수 있고, 개념 자체도 이해하기 쉽다는 점에서 특히 그렇다.

 

Verbalized Sampling의 핵심 개념은 모델에게 단일한 답변이 아니라 다양한 답변을 생성하게 하면서, 각 답변의 probability까지 제시하게 지시하는 것이다. 단일한 답변을 생성하게 하는 기존 방식으로는 평가자(즉 사람)가 선호하는 예측 가능하고 전형적인 답변으로 수렴하게 된다. 이러한 현상을 mode collapse이라고 한다. (collapse라니 표현이 상당히 무섭다) 하지만 Verbalized Sampling을 적용하게 되면 덜 전형적인 답변도 생성이 될 수 있고, 이것이 Creative Writing Task에서 효과적이라고 한다. 창의성과 신선함이 필요한 씬에서는 충분히 시도해볼 만한 프롬프트 기법인 것 같다!