본문 바로가기

전체 글79

[논문] LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models AbstractLarge language models (LLMs) have been applied in various applications due to their astonishing capabilities. With advancements in technologies such as chain-of-thought (CoT) prompting and in-context learning (ICL), the prompts fed to LLMs are becoming increasingly lengthy, even exceeding tens of thousands of tokens. To accelerate model inference and reduce cost, this paper presents LLML.. 2025. 1. 9.
[논문] RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective AugmentationRetrieving documents and prepending them in-context at inference time improves performance of language model (LMs) on a wide range of tasks. However, these documents, often spanning hundreds of words, make inference substantially more expensive. We proposearxiv.orgAbstractRetrieving documents and prepending them.. 2025. 1. 9.
[논문] Compressing Context to Enhance Inference Efficiency of Large Language Models Compressing Context to Enhance Inference Efficiency of Large Language ModelsYucheng Li, Bo Dong, Frank Guerin, Chenghua Lin. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. 2023.aclanthology.orgAbstractLarge language models (LLMs) achieved remarkable performance across various tasks. However, they face challenges in managing long documents and extended con.. 2025. 1. 9.
[논문] Learning to Filter Context for Retrieval-Augmented Generation Learning to Filter Context for Retrieval-Augmented GenerationOn-the-fly retrieval of relevant knowledge has proven an essential element of reliable systems for tasks such as open-domain question answering and fact verification. However, because retrieval systems are not perfect, generation models are required to genarxiv.orgAbstractOn-the-fly retrieval of relevant knowledge has proven an essenti.. 2025. 1. 9.
음각된 타자: 게임 <NOISE 1> 본 글에서 제가 소개하고자 하는 게임은 [NOISE 1][1]이라는 게임입니다.게임의 소개에 앞서, 저의 지식으로 당장 증명할 수 없는 심증을 짚는 것으로 글을 시작하고자 합니다. 즉, 우리가 무언가를 이해하는 과정에서 인식 그 자체는 언제나 일정 부분 결손되며, 그것을 메꾸는 것은 인간 자신의 본연적 상상력 -- 비슷한 무언가 -- 이라는 것입니다. 여기서 인식이라는 것은 감각적인 결여를 의미할 수도 있고 또는 시간적 결여, 즉, 어떤 사건이 일어나는 전 과정을 지켜보지 못하는 경우일 수도 있겠습니다. 또 한 가지가 더해지는데, 바로 대상과 나 사이의 근원적인 차이, 즉 내가 너, 그, 그녀, 혹은 그것이 될 수 없다는 현실에서 비롯한 존재들 간의 근원적인 거리입니다. 나와 타자 사이의 공허는 마치 강.. 2025. 1. 6.
능동적으로 구축한 수동적인 방식의 능동적 삶 0.가끔 가다 누군가에게 나의 삶을 설명할 때면 가파른 비탈길에서 굴러 떨어지듯 살아간다고 이야기하곤 했다. 그 비유가 담고 있는 상황은 단순하고도 명확했다. 내가 멈추고 싶어도 멈출 수 없는 일들이 날 스쳐지나가고, 나는 어찌 저찌 삶을 유지해나가고 있지만 힘들다. 여기저기 부딪혀 뼈가 부러지고 피가 흐르는데, 내가 이 산의 가장 깊숙한 골짜기에 이르기 전까지 이 비탈길은 나를 놓아주지 않는다.물론 이런 비유는 과장된 측면이 있지만 최근 몇 년 간의 내 삶을 적확하게 설명할 수 있는 좋은 비유 중 하나일 것이다. 사명감을 갖고 영혼을 갈아넣었던 사업은 말아먹었고, 거기에 불을 지피던 ‘나는 특별한 존재여야 한다’는 (사업가의 기초적인 자질인) 허영심은 이제 좀 더 철이 들면서 사그라들고 말았다. 사업을.. 2024. 8. 25.
반응형

티스토리툴바