REVIEW
-
#LLM+추천시스템 Large Language Models meet Collaborative Filtering: An EfficientAll-round LLM-based Recommender System 논문 리뷰REVIEW 2024. 7. 19. 01:34
정말 오랜만에 남기는 논문 리뷰. 최근 추천시스템을 개인적으로 개발하면서, 추천시스템에 어떻게 LLM을 적용할 것이냐? 에 대한 관심을 가지고 있던 와중에 발견한 논문을 리뷰한다.오늘 소개하는 논문은 Large Language Models meet Collaborative Filtering: An Efficient All-round LLM-based Recommender System이다. (link)(github) GitHub - ghdtjr/A-LLMRecContribute to ghdtjr/A-LLMRec development by creating an account on GitHub.github.com 논문들어가기에 앞서서 관련 연구의 내용부터 집고 넘어가려고 한다. 사전 지식Collaborativ..
-
CV#1 A ConvNet for the 2020s 논문 리뷰REVIEW 2022. 4. 26. 23:08
논문 링크 : https://arxiv.org/abs/2201.03545 회사에서의 업무가 Computer Vision의 Document Analysis 쪽을 하게 되면서, 모델 성능 개선을 위해 찾던 중 읽은 논문을 요약하여 정리하려고 한다. 이 논문의 주요 포인트는 CV 분야에서 Transformer 기반의 모델이 좋은 성능을 보이는데, 이것이 Transformer가 CNN 보다 좋음을 의미하지 않는다는 것을 말하려고 하는 것이다. 현재 Image Classification 에서는 VIT 모델이, Semantic Segmentation 등의 모델에서는 hierarchical Transformers를 사용한 Swin Transformers 모델이 가장 좋은 성능을 보인다. 본 논문에서는 이 모델들에서 ..
-
지식 그래프를 Ai에 활용하기REVIEW 2022. 3. 21. 22:05
이번글은 if(kakao) 2021에서 발표된 AI on Knowledge Graph를 간단 요약한 내용입니다. 해당 발표는 카카오 엔터프라이즈의 ellie님이 발표하셨습니다. 아래의 링크를 통해 전체 내용을 볼수 있습니다. if(kakao)2021 함께 나아가는 더 나은 세상 if.kakao.com 대표적으로 지식그래프를 통해 AI Task를 해결하는 문제는 자연어처리와 visual QA분야가 있다. 지식그래프를 LM에서 사용하는 이유? 지식 그래프가 ai를 똑똑하게 만들어주기 때문. LUKE, COME(google)에서 사용 Knowledge Graph construction 의 대표적인 모델 구글 : vault (2014) 애플 : RIBE(wiki infobox → kg) diffbot Amazo..
-
추천 #2) 컨텐츠 기반 모델 - 유사도 함수, TF-IDFREVIEW 2021. 8. 8. 22:51
이 글은 유튜브의 T아카데미에 공개되어있는 추천 시스템 분석 입문하기를 기반으로 작성 되었습니다. 컨텐츠 기반 모델은 사용자가 이전에 구매한 상품 중에서 좋아하는 상품과 유사한 상품을 추천하는 알고리즘이다. 이를 찾는 방법은 아이템을 벡터 형태로 표현하여, 해당 아이템과 유사한 벡터를 가진 다른 아이템을 찾는 방식을 사용한다. 컨텐츠 기반 모델은 아래와 같은 방식으로 진행한다. 유사도 함수는 벡터로 표현된 각 상품간의 관계를 계산하기 위해서 필요한데, 굉장히 다양한 방법이 존재하지만 4가지 방식을 설명한다. 1. 유클리디안 유사도 문서간의 유사도를 계산하기 위한 방식으로 여기서 문서는 지난 편에서 이야기한 거래내역과 같다고 보면 된다. 유클리디안 유사도는 유클리디안 거리의 역을 취한 것으로, 여기서 1e..
-
추천#1) 룰 기반의 연관 분석, Apriori, FP-GrowthREVIEW 2021. 8. 7. 17:37
이 글은 유튜브의 T아카데미에 공개되어있는 추천 시스템 분석 입문하기를 기반으로 작성 되었습니다. 추천 시스템 기초 추천시스템의 목표는 어떤 사용자에게 어떤 상품을 어떻게 추천할지에 대한 것이다. 즉, 사용자를 정의하고, 서비스에서 제공하는 상품(아이템)을 제안하는 기술이다. 이는 다양한 의사결정과 관련이 있다. 예를 들어, 영화나 쇼핑몰에서 사용하기 쉽다. 실제로 당근 마켓의 상품 추천, 카카오 브런치의 글 추천에서도 사용되고 있다. 추천 시스템이 중요해진 이유는 페로토와 롱테일의 법칙을 통해 설명할 수 있다. 페로토 법칙 : 상위 20%가 80%의 가치를 창출한다. 롱테일 법칙 : 하위 80%가 상위 20%의 가치보다 크다. 롱테일의 법칙은 인터넷 환경에서 중요한데, 이는 하위 80%에게 영업기회가 ..
-
KG#3 ) Translation Model for KC (TransE, TransR 리뷰)REVIEW 2021. 4. 11. 23:50
Knowledge Graph 관련 세번째 글은 앞서 나눈 Knowledge Completion의 접근 방식인 Translation model에 대해서 나누어 보려고 한다. 오늘의 내용은 연구했던 내용과 아래의 논문들을 참고 했다. Translation Model Knowledge Completion(이하 KC)을 해결하기 위한 접근 방식으로 대표적으로 4가지(Translation Model, Semantic Matching Model, Network Representation Model, Neural Network Model)가 있다. 물론 각 접근 방식 안에서도 다양한 분류가 있다. 오늘 이야기할 해결 방식인 Translation Model은 KC 모델들의 기반이 되는 형태로 볼 수 있다. 먼저, KC..
-
KG#2) Knowledge Completion 개념 및 주요 TASKREVIEW 2020. 10. 4. 21:03
Knowledge Graph 관련 두번째 글로 Knowledge의 완전성을 높이기 위한 연구 주제인 Knowledge Completion에 대해서 나누어 보려고 한다. 오늘의 내용은 연구했던 내용과 아래의 논문을 주로 참고 했다. An overview of embedding models of entities and relationships for knowledge base completion, Dat Quoc Nguyen -> 해당 논문은 arxiv를 통해 v8까지 계속해서 업데이트하여 최신 내용이 추가되고 있다. Knowledge Completion Knowledge Completion(지식 완성)은 완전하지 않은 지식 베이스(그래프)를 완성하기 위한 연구 분야이다. 지식 완성을 쉽게 이해하기 위해 간..
-
KG #1) EmbedKGQA : Improving Multi-hop Question Answering over Knowledge Graphs usingKnowledge Base Embeddings 리뷰REVIEW 2020. 7. 23. 17:36
Bert와 같은 언어 모델의 발달로 인해, 다양한 부분에서 KG(Knowledge Graph 혹은 KB, Knowledge Base)의 한계점을 해결했지만. 여전히 Common sense와 같은 분야에서 KG를 사용하지 않을 순 없다. 그렇기에 그래프 구조를 사용하여 다양한 문제를 풀기위한 연구는 지속되고 있고, 이번 리뷰하는 논문 또한, Question Answering over KG에 관한 내용이다. Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings Apoorv Saxena, Aditay Tripathi, Partha Talukdar (Indian Institute of Science,..