# insight-researcher
基于GPT4的自主AI Agent,可以使用联网搜索、本地知识库查询等工具,根据指定的研究问题写报告,例如写行业分析报告、科研综述报告。
---
基于AI Agent实现了一个自主科研的小工具🌿insight-researcher🌿,可根据用户的研究任务,一键生成万字长文报告,并且报告中引用的数据实时、可溯源,适合写行业研究报告、科研综述等。项目的总体架构如下:
![ebf5abb86b2e39c0f833ed29da0e1b1d](https://github.com/hustzhangwenfeng/insight-researcher/assets/18573957/1ca02ab5-5d3a-43fe-8822-a9a3507fd49e)
<br />
代码实现思路是,用agent来协调llm、memory和tools等模块,串起整个业务流程。具体实现流程如下:
![image](https://github.com/hustzhangwenfeng/insight-researcher/assets/18573957/7c397da7-2299-451d-8a29-51301d9eaa84)
## 解决了当前研究的如下几个痛点问题
- 人工主导的研究形成客观结论可能需要很长的时间才能找到相关的支撑数据和素材;
- 基于大模型辅助的方法受限于LLM的知识幻觉,输出的观点不可信、不可靠、不实时;
- 基于LLM + Web插件的方法,也无法输出超长(万字以上甚至几万字)全面而有深度的内容;
- 大部分的智能辅助手段都是HITL形式,需要复杂的交互和多轮的修改。
## 快速开始
> **步骤 0** - 安装 Python 3.11 或更高版本。[参见此处](https://www.tutorialsteacher.com/python/install-python) 获取详细指南。
<br />
> **步骤 1** - 下载项目:
```bash
$ git clone https://github.com/hustzhangwenfeng/insight-researcher
$ cd insight-researcher
```
<br />
> **步骤2** -安装依赖项:
```bash
$ pip install -r requirements.txt
```
<br />
> **第 3 步** - 配置环境变量:
使用 OpenAI 密钥和 Tavily API 密钥创建 .env 文件,将秘钥等相关配置写入:
```commandline
OPENAI_API_KEY=Your OpenAI API Key here
TAVILY_API_KEY=Your Tavily API Key here
```
或者直接export这些配置变量:
```bash
$ export OPENAI_API_KEY={Your OpenAI API Key here}
$ export TAVILY_API_KEY={Your Tavily API Key here}
```
- **LLM,目前仅支持 [OpenAI GPT](https://platform.openai.com/docs/guides/gpt)**。
- **对于搜索引擎,推荐使用 [Tavily Search API](https://app.tavily.com)(已针对 LLM 进行优化)**,但您也可以选择其他搜索引擎,只需将 config/config.py 中的搜索提供程序更改为 "duckduckgo"、"googleAPI"、"googleSerp "或 "searx "即可。然后在 config.py 文件中添加相应的 env API 密钥。
<br />
> **第 4 步** - 运行 main.py :
```bash
$ python main.py
```
每次运行都会用当前时间戳生成一个 task_id,运行过程中的日志记录在 logs 目录下,最终的报告在 outputs 目录下。
<br />
## 🛡 免责声明
- 本项目是一个实验性应用程序,按 "现状 "提供,不做任何明示或暗示的保证。我们根据 MIT 许可分享用于学术目的的代码。
- **请注意,使用 GPT-4 语言模型可能会因使用token而产生高昂费用**。使用本项目即表示您承认有责任监控和管理自己的令牌使用情况及相关费用。强烈建议您定期检查 OpenAI API 的使用情况,并设置任何必要的限制或警报,以防止发生意外费用。
- 如使用本项目及其修改版本提供服务产生误导性或有害性言论,造成不良影响,由服务提供方负责,与本项目无关。
## ❤️ 致谢
- [gpt-researcher](https://github.com/assafelovic/gpt-researcher):搜索引擎工具和大纲报告生成流程引用了gpt-researcher的相关成果。
- [MetaGPT](https://arxiv.org/abs/2308.00352):OpenAI模型使用的费用计算逻辑和FaissStorage模块参考了MetaGPT的相关思路。
- [AutoGPT](https://github.com/Significant-Gravitas/AutoGPT):角色选择和工具使用规划参考了AutoGPT的规划思路。
- [Generative Agents](https://arxiv.org/abs/2304.03442):斯坦福AI小镇项目提供基于message和context的反思机制思路。
没有合适的资源?快使用搜索试试~ 我知道了~
基于GPT的自主AI Agent,
共44个文件
py:39个
txt:1个
docx:1个
需积分: 5 1 下载量 92 浏览量
2024-05-11
20:50:03
上传
评论
收藏 82KB ZIP 举报
温馨提示
GPT, 通常指的是“Generative Pre-trained Transformer”(生成式预训练转换器),是一个在自然语言处理(NLP)领域非常流行的深度学习模型架构。GPT模型由OpenAI公司开发,并在多个NLP任务上取得了显著的性能提升。 GPT模型的核心是一个多层Transformer解码器结构,它通过在海量的文本数据上进行预训练来学习语言的规律。这种预训练方式使得GPT模型能够捕捉到丰富的上下文信息,并生成流畅、自然的文本。 GPT模型的训练过程可以分为两个阶段: 预训练阶段:在这个阶段,模型会接触到大量的文本数据,并通过无监督学习的方式学习语言的结构和规律。具体来说,模型会尝试预测文本序列中的下一个词或短语,从而学习到语言的语法、语义和上下文信息。 微调阶段(也称为下游任务训练):在预训练完成后,模型会被应用到具体的NLP任务中,如文本分类、机器翻译、问答系统等。在这个阶段,模型会使用有标签的数据进行微调,以适应特定任务的需求。通过微调,模型能够学习到与任务相关的特定知识,并进一步提高在该任务上的性能。 GPT模型的优势在于其强大的生成能力和对上下文信息的捕捉能力。这使得GPT模型在自然语言生成、文本摘要、对话系统等领域具有广泛的应用前景。同时,GPT模型也面临一些挑战,如计算资源消耗大、训练时间长等问题。为了解决这些问题,研究人员不断提出新的优化方法和扩展模型架构,如GPT-2、GPT-3等,以进一步提高模型的性能和效率。
资源推荐
资源详情
资源评论
收起资源包目录
基于GPT的自主AI Agent,可以使用联网搜索、本地知识库查询等工具,根据指定的研究目标写报告,例如写市场分析报告、科研报告.zip (44个子文件)
content
main.py 301B
LICENSE 1KB
examples
AI创业赛道研究报告.docx 51KB
requirements.txt 405B
insight_researcher
agent
__init__.py 45B
agent.py 5KB
__init__.py 296B
tools
retrievers
searx
__init__.py 0B
searx.py 1KB
__init__.py 468B
duckduckgo
__init__.py 0B
duckduckgo.py 479B
tavily_search
__init__.py 0B
tavily_search.py 2KB
serpapi
__init__.py 0B
serpapi.py 2KB
bing
__init__.py 0B
bing.py 2KB
google
__init__.py 0B
google.py 2KB
retriever.py 1KB
serper
__init__.py 0B
serper.py 2KB
__init__.py 45B
scraper
__init__.py 51B
scraper.py 3KB
tools.py 1KB
utils
__init__.py 135B
logs.py 2KB
util.py 617B
llm
__init__.py 39B
token_counter.py 4KB
openai_provider.py 5KB
mock_provider.py 2KB
llm.py 5KB
prompts.py 11KB
memory
__init__.py 50B
memory.py 4KB
faiss_storage.py 4KB
retriever.py 754B
config
__init__.py 48B
config.py 2KB
.gitignore 243B
README.md 4KB
共 44 条
- 1
资源评论
生瓜蛋子
- 粉丝: 3815
- 资源: 4910
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功