.NET平台上的文件抽取框架toxy.zip

toxy是.NET平台上的文件抽取框架，主要解决各种格式的内容抽取问题，比如pdf, doc, docx, xls, xlsx等，尽管听上去支持了很多格式，但它的使用却是极其方便的，因为Toxy把复杂的抽取流程透明化，Toxy的用户根本不用知道内容是怎么抽出来的，这就是Toxy的重要意义。     另外Toxy的一大目标是取代IFilter成为跨平台.NET数据抽取解决方案，即支持Linux上的Mono。目前所有的测试用例都可以跑在Mono上，但是有少数没有过，正在逐步改进。从另一个层面讲，Toxy能将文件数据变成统一的结构化数据。目前Toxy支持的结构有string – 文本结构ToxyDom – Dom结构ToxySpreadsheet – 类似Excel的表单结构ToxyDocument – 类似Word的描述性文本结构ToxyEmail – 邮件结构，包括收件人、发件人、邮件内容、附件等ToxyBusinessCard – 名片结构ToxyMetadata – 元数据结构，主要包含文件的属性信息，比如作者、标题、照片大小、分辨率等。Toxy目前主要支持的文件格式及能抽取的内容此表更新至Toxy 1.4版本。文件格式支持抽取的结构化对象（抽取结果的类型）txtstringxmlToxyDomcsvstring, ToxySpreadsheetrtfstringpdfstring, ToxyDocumenthtm, htmlstring, ToxyDomvcfstring, ToxyBusinessCardzipstringmp3, ape, wav, flac, aifToxyMetadatajpeg, jpg, gif, tiff, pngToxyMetadataemlstring, ToxyEmailcnmToxyEmailxls, xlsxstring, ToxySpreadsheet, ToxyMetadatappt, pptxToxyMetadatadoc, docxstring, ToxyDocument, ToxyMetadata.vsd, .pub, .shw, .sldprt, pubx, vsdxToxyMetadata如何使用ToxyToxy的使用真的是极其简单，这里一点都不夸张，请看下面的例子：1234ParserContext context = new ParserContext("test.xlsx");ISpreadsheetParser parser = ParserFactory.CreateSpreadsheet(context);ToxySpreadsheet ss = parser.Parse();//处理抽取出来的数据这里的ToxySpreadsheet实例ss就是抽取出来的Excel数据，你可以直接用。ParserContext负责描述抽取上下文，告知Toxy要抽取的文件的路径，以及相关参数。ParserFactory是工厂模式类，负责所有解析器的实例化工作，它会根据传入文件的扩展名自动寻找合适的解析器。下面展示一下PDF文档的抽取代码，一样极其简单：123string path = TestDataSample.GetPdfPath("Sample1.PDF");var parser = new PDFTextParser(new ParserContext(path));string result = parser.Parse();这里返回的是string，也就是把PDF文档的内容直接抽取到string中，通常这种代码lucene.NET这样的搜索引擎用的比较多。再来个ToxyMetadata的抽取例子：1234string path = Path.GetFullPath(TestDataSample.GetOLE2Path("TestEditTime.doc"));ParserContext context = new ParserContext(path);IMetadataParser parser = ParserFactory.CreateMetadata(context);ToxyMetadata x = parser.Parse();这里抽取的是doc文件的元数据信息，比如文件由什么应用程序创建（并非一定是Word），作者、标题、公司等信息。只要是文件属性中详细信息列出来的东西，理论上都可以抽取出来。Toxy解析器的抽取参数Toxy的解析器不仅提供基本的抽取功能，同时也支持对抽取内容进行选择，这是通过ParserContext的Properties实现的。下面举一个Excel的抽取参数的例子：12345678ParserContext context = new ParserContext(TestDataSample.GetExcelPath(filename));ISpreadsheetParser parser = ParserFactory.CreateSpreadsheet(context);ToxySpreadsheet ss = parser.Parse();//抽取表的页头parser.Context.Properties.Add("ExtractSheetHeader", "1");//抽取表的页脚parser.Context.Properties.Add("ExtractSheetFooter", "1");ToxySpreadsheet ss2 = parser.Parse();这里的ExtractSheetHeader和ExtractSheetFooter是抽取器指定的参数，拼写不要出错，否则无效，后面的1表示开启，当然如果你喜欢，你也可以用on或者true，解析器能自动识别出这3种表示true的方式，如果想表示false，你可以用0, off或者false表示。另外SpreadsheetParser还支持是否填充空白单元格（FillBlankCells）、显示公式结果（ShowCalculatedResult）、包含批注（IncludesComments）等操作，有兴趣的可以玩玩。当然每个抽取器能够使用的参数是不一样的，本文就不详细一一列举了，在以后的文章中，我们会详细列举每个抽取器的参数及对应抽取内容。Toxy高级扩展功能Toxy除了提供基础的抽取功能，也提供一些高级的对象转换服务，比如ToxySpreadsheet转DataSet，可以直接把Excel的数据转换成DataSet，方便调用和处理。代码超级简单，如下所示：1234ParserContext c=new ParserContext(@"c:employee.xls");var parser=ParserFactory.CreateSpreadsheet(c);var spreadsheet= parser.Parse();DataSet ds = spreadsheet.ToDataSet();就这么4行代码，是不是超级爽呀！另外，ToxySpreadsheet的子结构ToxyTable支持ToDataTable操作，用法也是类似的，直接调用即可。Toxy功能展望Toxy 1.x的目标是支持足够多的文件格式，并转换成统一的结构进行抽取。而Toxy 2.x-3.x的目标是支持相似文件的互操作（相互转换），例如Excel转csv， Excel转html, Word转PDF等，当然这个路有点长，慢慢来。 标签：文件抽取框架