LangGraph 是一个令人着迷的话题 由于它是一种新兴语言，目前还没有太多信息，但我可以为您提供一些见解和更新

LangGraph 是一个令人着迷的话题。 由于它是一种新兴语言，目前还没有太多信息，但我可以为您提供一些见解和更新。 LangGraph 有何用途？ LangGraph 主要是为通用编程而设计的，注重可读性、效率和灵活性。 它旨在通过允许开发人员编写看起来更像自然语言的代码来简化开发过程。 主要特征： 自然语言语法：LangGraph使用类似于自然语言的语法，使非技术人员更容易理解和使用。 可读性：该语言被设计为具有高度可读性，减少开发人员的认知负担。 效率：LangGraph 旨在通过提供快捷方式和简化常见编程任务来减少编码时间。 灵活性：它允许开发人员编写适应不断变化的需求并可以处理复杂任务的代码。 结论：LangGraph 将编程语言与自然语言的优势相结合，有可能彻底改变我们编写代码的方式。 虽然它仍然是一项新兴技术，但其独特的功能和潜在的应用使其成为令人兴奋的发展。

Cognita 是一个开源框架，用于组织 RAG 代码库以及用于处理不同 RAG 自定义的前端 它提供了一种简单的方法来组织

Langchain/LlamaIndex 提供易于使用的抽象，可用于在 Jupyter Notebook 上进行快速实验和原型设计。 但是，当产品投入生产时，会遇到一些限制，例如组件应该是模块化的、易于扩展和扩展。 这就是 Cognita 发挥作用的地方。 Cognita 在底层使用 Langchain/Llamaindex 并为您的代码库提供组织，其中每个 RAG 组件都是模块化、API 驱动且易于扩展的。 Cognita 可以在本地设置中轻松使用，同时为您提供生产就绪环境以及无代码 UI 支持。 Cognita 默认情况下还支持增量索引。 Cognita 使定制和试验有关 RAG 系统的所有内容变得非常容易，并且仍然能够以良好的方式部署它。 它还附带一个 UI，可以更轻松地尝试不同的 RAG 配置并实时查看结果。 您可以在本地使用它，也可以使用/不使用任何 Truefoundry 组件。 然而，使用 Truefoundry 组件可以更轻松地测试不同的模型并以可扩展的方式部署系统。 Cognita 允许您使用一个应用程序托管多个 RAG 系统。

OSWorld：真实计算机环境中开放式任务的多模式代理基准测试

OSWorld 是首个适用于多模式代理的可扩展真实计算机环境，支持任务设置、基于执行的评估以及跨操作系统的交互式学习。 它可以作为一个统一的环境来评估涉及任意应用程序的开放式计算机任务（例如上图中的任务示例）。 我们还通过可靠、可重复的设置和评估脚本在 OSWorld 中创建了 369 个真实计算机任务的基准。 OSWorld 环境使用配置文件来初始化任务（以红色突出显示）、代理交互、代理完成时的后处理（以橙色突出显示）、检索文件和信息（以黄色突出显示）以及执行评估函数（以绿色突出显示） ）。 相应的配置项以与环境中各自组件相匹配的颜色突出显示。 出于学习或评估目的，环境可以在单个主机上并行运行。 支持无头操作。 数据统计与比较 以最少的人为干预完成复杂的计算机任务的自主代理有可能改变人机交互，显着提高可访问性和生产力。 然而，现有的基准测试要么缺乏交互环境，要么仅限于特定应用程序或领域的环境，无法反映现实世界计算机使用的多样性和复杂性，从而限制了任务的范围和代理的可扩展性。 为了解决这个问题，我们推出了 OSWorld，这是第一个可扩展的、真实的多模式代理计算机环境，支持任务设置、基

llama.cpp 的主要目标是在本地和云端的各种硬件上以最少的设置和最先进的性能实现 LLM 推理

没有任何依赖的纯 C/C++ 实现 Apple 芯片是一等公民 - 通过 ARM NEON、Accelerate 和 Metal 框架进行优化 对 x86 架构的 AVX、AVX2 和 AVX512 支持 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化，可加快推理速度并减少内存使用 用于在 NVIDIA GPU 上运行 LLM 的自定义 CUDA 内核（通过 HIP 支持 AMD GPU） Vulkan、SYCL 和（部分）OpenCL 后端支持 CPU+GPU 混合推理，部分加速大于 VRAM 总容量的模型 自启动以来，由于许多贡献，该项目已取得显着改进。 它是为 ggml 库开发新功能的主要场所。 支持的平台： Mac OS Linux Windows (via CMake) Docker FreeBSD 支持型号： 通常还支持以下基本模型的微调。 LLaMA LLaMA 2 Mistral 7B Mixtral MoE Falcon Chinese LLaMA / Alpaca and Chinese LLaMA-2 /

LM studio Server 您可以通过在本地主机上运行的 API 服务器使用在 LM Studio 中加载的 LLM

请求和响应遵循 OpenAI 的 API 格式。 将当前使用 OpenAI 的任何代码指向 localhost:PORT 以使用本地 LLM 支持的端点 GET /v1/models POST /v1/chat/completions POST /v1/embeddings POST /v1/completions 使用本地服务器 1.如果尚未安装 LM Studio，请安装。 从 https://lmstudio.ai 获取应用程序安装程序。 2. 在应用程序内，搜索并下载 LLM，例如 TheBloke/Mistral-7B-Instruct-v0.2-GGUF（磁盘上大约 4GB） 3.前往“本地服务器”选项卡（左侧的 <->） 4.从下拉列表中选择加载您下载的任何 LLM。 5.单击绿色的启动服务器按钮启动服务器。 您的 LM Studio 现在将准备好接受传入的 API 请求。 您可以安全地最小化应用程序； 服务器将继续运行。

Ollama 提供了一个简单的 API，用于创建、运行和管理语言模型 它还提供了一个预构建模型库，可以轻松集成到您的应用程序中

在本地运行模型 安装 Ollama 后，您可以运行各种语言模型。 我们以骆驼2为例： 此命令会启动 Llama 2，让您可以与它交互。 但还有哪些其他型号可供选择？ Ollama 支持多种功能，包括 Mistral、Dolphin Phi、Neural Chat 等。 这是一个快速概述： ollama run llama2 Llama 2：用于一般语言任务的 70 亿参数模型。 Mistral：另一个具有独特功能的 70 亿参数模型。 Dolphin Phi：专为特定用例设计的 27 亿参数模型。 神经聊天：用于基于聊天的应用程序的 70 亿参数模型。 您可以使用以下命令下载这些模型： ollama run mistral ollama run dolphin-phi ollama run neural-chat 请记住，70 亿参数模型至少需要 8 GB RAM，而 130 亿参数模型需要 16 GB。 330 亿个参数的模型？ 那么，您需要高达 32 GB 的 RAM。 定制模型 导入模型 Ollama 允许您从各种来源导入模型。您可以使用模型文件导入 GGUF

axolotl 是一款旨在简化各种人工智能模型微调的工具，提供对多种配置和架构的支持

特征： - 训练各种 Huggingface 模型，如 llama、pythia、falcon、mpt - 支持 fullfinetune、lora、qlora、relora 和 gptq - 使用简单的 yaml 文件或 CLI 覆盖自定义配置 - 加载不同的数据集格式、使用自定义格式或引入您自己的标记化数据集 与 xformer、Flash Attention、绳索缩放和多重包装集成 - 通过 FSDP 或 Deepspeed 与单个 GPU 或多个 GPU 配合使用 - 在本地或云端轻松使用 Docker 运行 - 将结果和可选的检查点记录到 wandb 或 mlflow - 和更多！ Get started with Axolotl in just a few steps! This quickstart guide will walk you through setting up and running a basic fine-tuning task. Requirements: Python >=3.10 and Pytorch >=2.1.1.