用本地Qwen+Deepseek大模型写的，自己也修改了一部分
想用来测试一下离线模型的效率~~~~~~
主要用来主动提前加载大模型，以节省首次和大模型交互的响应时间
或者手动从显存中卸载大模型，以便快速释放显存
**程序主要用于Ollama且基于默认的11434端口**
其他大模型调试软件，或者非Ollama默认端口的，请忽略！！
使用时注意点：
1.需要Ollama主程序正常运行中；
2.预加载大模型后还需要在交互客户端选择预加载的模型名称；
重申：本程序只时起到将模型提前载入显存或卸载出显存而已！！！
考虑到已经是手动操作了，就直接默认是永久加载，再设闲置时效好像意义不大！！！
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
