1. 需要的模块:
1）pip install llama-index
2）pip install llama-index-embedding-huggingface
3）pip install llama-index-llms-huggingface
2. 安装CUDA版本的Pytorch
1） pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu121
3. 下载embedding大模型
1）使用modelscope的sdk将模型权重下载到本地：
pip install modelscope
from modelscope import snapshot_download
model_dir = snapshot_download(model_id="BAAI/bge-base-zh-v1.5", cache_dir="")
4. 下载LLM大模型（做rag用推荐以下的模型）
model_dir = snapshot_download(model_id="Qwen/Qwen2.5-7B-Instruct", cache_dir="")