成为
Post
by Anonymous »
'''Ollama''' 是一款免费软件（开源），可以在您自己的计算机上本地运行大型语言模型 (LLM)。该软件作为接口和运行时环境，可在 macOS、Linux 或 Microsoft Windows|Windows 硬件上运行 Llama（语言模型）|Llama 3、Mistral、Gemma 等模型，而无需依赖云计算|云服务。
== 功能和架构 ==
Ollama 充当后端服务器和命令行工具 (CLI)，可抽象化执行 LLM 的复杂性。从技术上讲，Ollama 的核心基于“llama.cpp”，这是一个程序库，旨在在各种硬件架构（特别是 Apple Silicon 和标准 CPU/图形处理器|GPU）上高效运行 LLaMA 模型。
该软件采用客户端-服务器模型|客户端-服务器架构：
* '''服务器：''' 加载模型、管理内存并提供本地编程接口|API（默认端口[code]11434[/code]）的后台进程。
* '''客户端：''' CLI 或第三方应用程序，向服务器发送请求（例如提示）并接收响应。
Ollama 使用量化（信息技术）|量化（降低模型精度，例如降低到 4 位）等技术来大幅降低内存需求，以便现代 LLM 也可以在主内存|RAM 或图形内存|VRAM 有限的消费类硬件上运行。
== 功能==
* '''本地执行：'''模型完全离线运行。数据不会离开您自己的计算机，这使得 Ollama 特别适合数据保护敏感的应用程序（“私人 AI”）。 * '''Modelfile:''' 与 Dockerfile 类似，[code]Modelfile[/code] 允许定义和自定义模型。用户可以设置系统提示、参数（例如“温度”）和模型模板来创建专门的向导。
* '''REST API：''' Ollama 提供了一个简单的表述性状态传输|REST 接口，开发人员可以通过该接口将模型集成到自己的应用程序、脚本或工作流程（例如 n8n）中。
* '''硬件加速：''' 该软件支持 GPU 加速（Nvidia|NVIDIA、AMD）以及 Apple Silicon 的神经引擎（Metal）以提高推理速度。
==使用与安装==
根据操作系统的不同，安装是通过安装程序（macOS、Windows）或 shell 脚本（Linux）进行的。安装后，可以使用简单的命令下载并启动模型。
命令示例：
ollama pull llama3 # 下载 Llama 3 模型
ollama run llama3 # 启动交互式聊天会话
ollama list # 列出所有已安装的型号
对于软件开发，该项目提供了Python（编程语言）|Python和JavaScript的官方库。还有社区维护的各种接口和集成，例如 LangChain。
==支持的型号==
Ollama 维护着一个可以直接下载的模型“库”。最知名的受支持型号系列包括：
* Llama（语言模型）|Llama（来自元平台|元）
* Mistral 和 Mixtral（来自 Mistral AI）
* Gemma（来自 Google）
* Qwen（阿里巴巴集团|阿里云）
* DeepSeek（由 DeepSeek 提供）
* Phi（来自微软）
此外，用户还可以以 GGUF 格式导入自己的模型。
==发展与历史==
Ollama 由杰弗里·摩根和迈克尔·蒋创立。
Ollama 背后的公司总部位于加利福尼亚州帕洛阿尔托。 尽管该软件的核心处于 MIT 许可证之下并且可以开源提供，但桌面应用程序的更高版本已经进行了有关许可证详细信息和组件集成的社区讨论。
== 应用和接收领域 ==
Ollama 常用于本地LLM开发：
* '''企业法学硕士：''' 公司使用 Ollama 运行内部知识库和聊天机器人，而无需将敏感的公司数据发送给云提供商（一般数据保护条例|GDPR 合规性）。
* '''检索增强生成（RAG）：'''结合矢量数据库和''LangChain''等工具，Ollama用于使AI能够访问自己的文档（PDF、文本文件）。
* '''原型设计：'''开发者使用本地API来经济高效地测试AI功能。
Ollama 因其易用性而经常受到科技界的称赞，因为它降低了进入本地人工智能的门槛。尽管社区现在已经开发了基于 Ollama 的各种图形用户界面 (WebUI)，但对命令行的依赖偶尔会受到批评。
==另见==
* 大语言模型
* 人工智能
类别：免费软件
类别：人工智能
类别：Linux软件
所属类别：MacOS软件
类别：Windows软件
Mobile version