faiss 는 dense vector들의 클러스터링과 유사도를 빠르게 구하는 lib 이다
tsne를 구현하면서 느린 속도를 개선하기 위해 설치를 시도한다
1. 환경 및 설치venv를 만들때 파이썬 버전을 3.8로 주었다
conda create -n faiss python=3.8
nvidia driver, cuda, cudnn을 이미 설치 되어 있다.
- (faiss) PS C:\Users\jj> nvidia-smi
- NVIDIA-SMI 528.49 Driver Version: 528.49 CUDA Version: 12.0
cuda에 맞는 pytorch를 설치한다
conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia
fiass 문서에보면 windows에서 gpu 지원을 안되는 것 처럼 되어 있으나 아래와 같이 했더는 설치는 된다.
conda install -c conda-forge faiss-gpu
현재 까지 설치(변경) 내역을 requirements.txt에 저장한다.
(faiss) PS C:\Users\jj> conda list --export > requirements_fiass.txt
나중에 동일한 환경을 재 설치하거나 다른 곳에 설치할때는 아래와 같이 하면 된다
conda install --file requirements_fiass.txt
2. 테스트 참고
https://lsjsj92.tistory.com/605
Python faiss 사용법 간단 정리 - Faiss로 효율적인 vector 유사도(similarity) 구하기
포스팅 개요 이번 포스팅은 파이썬(Python)에서 효율적인 벡터 유사도(vector similarity)를 구해주는 Faiss에 대해서 간단한 사용법을 정리합니다. 보통 벡터 유사도는 코사인 유사도(cosine similarity) 등
lsjsj92.tistory.com
https://velog.io/@nawnoes/Faiss-%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%B0
Faiss 시작하기
최근에 DPR, RAG, RETRO, FiD 등을 보면서 Retrieval에 대한 내용들이 많이 나온다. faiss에 대해 살펴보고자 한다.faiss getting started 참고faiss는 facebook research에서 개발한, dense vector들의 클
velog.io