在「AI大模型之美」时,发现很多代码不能运行。因为 OpenAI 库升级很快,版本兼容性也很差,加上有的模型也废弃了。导致运行代码困难重重。 我相信很多初学者也跟我一样遇到这些问题。所以,我对部分代码进行修改,让它们能在最新版本中运行起来。部分使用 CPU 运行的代码也改成使用 GPU 运行。
Win11 WSL2、Docker jupyterLib(基于nvidia/cuda:12.3.2-cudnn9-runtime-ubuntu22.04镜像构建的)、NVIDIA GeForce RTX 3080 Laptop GPU
建议将下面配置设置在环境变量中,或放在 {jupyter_path}/.jupyter/jupyter_notebook_config.py 中
import os
os.environ['OPENAI_API_KEY'] = 'sk-xxx' # OpenAI 或第三方代理 KEY
os.environ['OPENAI_BASE_URL'] = 'https://api.openai.com/v1' # OpenAI 或 第三方代理
os.environ['AZURE_SPEECH_KEY'] = ''
os.environ['AZURE_SPEECH_REGION'] = ''
os.environ['DID_API_KEY'] = ''
os.environ['SERPER_API_KEY'] = ''
os.environ['HUGGINGFACE_API_KEY'] = ''
COMPLETION_MODEL
换成gpt-3.5-turbo
,text-davinci-003
已废弃- 修改openai的调用及返回数据处理
- 将模型从
text-davinci-003
换成gpt-3.5-turbo-instruct
- 修改
get_fasttext_vector
(vec.reshape(1, -1)) T5Tokenizer
修改原CPU相关代码,并增加GPU示例代码gradio
调用修改,并指定server_name
和server_port
faiss
换成GPU版- 修改
llama_index
引用及存储调用等 spacy
换成GPU版- 修改
langchain
、langchain_openai
等引用 - 修改
azure.cognitiveservices.speech
调用,并修改支持生成语音播放 - 将
paddlepaddle
改为GPU版,并处理报错(增加 use_onnx=True) - 修改
gradio
支持语音播放(支持服务器没有声卡)