july-llm-camp-9-12

### 本目录为PDF解析器相关 目前实现了scipdf_parser和chatpaper_parser的批处理，通过传入pdf文件夹目录，自动解析pdf文件并存储json结果。 ### 环境配置 #### scipdf_parser环境配置 #### SciPDF Parser（需求Linux系统，本例为x86_64架构） 1. 配置JAVA环境 1. 查看系统是否已存在JAVA环境，若存在JAVA环境则会返回相应的版本，此时可跳过“配置JAVA环境”步骤 ```shell java -version ``` 2. 若不存在则需要进行安装配置 1. 查看本机架构 ```shell sudo uname --m ``` 2. 由[此处](https://pan.baidu.com/s/1uaGWirDxCW-w99hdCB3x7g?pwd=w05a)下载jdk文件 3. 将jdk文件存放至适当的位置（如/usr/local等），并解压jdk文件 ```shell tar -zxvf jdk-8u221-linux-x64.tar.gz ``` 4. 为jdk配置环境变量 1. 打开系统全局环境变量配置文件 ```shell vi /etc/profile ``` 2. 按i键进入编辑模式 3. 在配置文件尾部写入如下代码块，其中JAVA_HOME为解压后的jdk文件所在的位置 ``` JAVA_HOME=/usr/local/jdk-20.0.2 CLASSPATH=%JAVA_HOME%/lib:%JAVA_HOME%/jre/lib PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin export PATH CLASSPATH JAVA_HOME ``` 4. 按ESC退出编辑模式 5. 输入`:wq`保存此次编辑并退出文件 6. 命令行输入如下命令，重新载入环境变量 ``` source /etc/profile ``` 7. 验证是否成功配置JAVA环境，若返回版本信息则表示配置成功 ``` java -version ``` 2. 配置SciPDF Parser（参考自其readme） 1. 获取SciPDF Parser源码文件 ```shell git clone https://github.com/titipata/scipdf_parser.git ``` 2. 安装配置相应环境 ```shell cd scipdf_parser /* 第1种方式（推荐） */ pip install git+https://github.com/titipata/scipdf_parser /* 第2种方式 */ pip install -e . ``` 3. 第2步的操作仍会遗漏bs4库的安装，因此还需要进一步通过`requirements.txt`安装可能遗漏的库 ```shell pip install -r requirements.txt ``` 4. 安装SciPDF解析所需使用的模型`en_core_web_sm` ```shell python -m spacy download en_core_web_sm ``` 5. 以端口8070启动后端服务（初次启动时需花费较长时间进行自动配置） ```shell bash serve_grobid.sh ``` 6. 启动后端服务后，可参考如下示例对相应PDF文件进行解析 ```python import scipdf # 本地 PDF文件解析 article_dict = scipdf.parse_pdf_to_dict('example_data/futoma2017improved.pdf') # return dictionary # URL PDF文件解析 # option to parse directly from URL to PDF, if as_list is set to True, output 'text' of parsed section will be in a list of paragraphs instead article_dict = scipdf.parse_pdf_to_dict('https://www.biorxiv.org/content/biorxiv/early/2018/11/20/463760.full.pdf', as_list=False) # 输出样例 # output example >> { 'title': 'Proceedings of Machine Learning for Healthcare', 'abstract': '...', 'sections': [ {'heading': '...', 'text': '...'}, {'heading': '...', 'text': '...'}, ... ], 'references': [ {'title': '...', 'year': '...', 'journal': '...', 'author': '...'}, ... ], 'figures': [ {'figure_label': '...', 'figure_type': '...', 'figure_id': '...', 'figure_caption': '...', 'figure_data': '...'}, ... ], 'doi': '...' } # 传入参数`soup=True`进行更加全面的XML解析 # option to parse full XML from GROBID xml = scipdf.parse_pdf('example_data/futoma2017improved.pdf', soup=True) ``` #### chatpaper_parser环境配置 ```shell pip install -r requirements.txt ``` ### 使用方法 #### scipdf_parser ```shell # 运行后端 bash serve_grobid.sh # 启动时会额外花费数十秒 python scipdf_parser.py --dir_path {pdf所在文件夹} ``` #### chatpaper_parser ```shell python chatpaper_parser.py --dir_path {pdf所在文件夹} ```