用scrapy采集cnblogs列表页爬虫.zip

YY博客园UML时序图之博客模块#_#http://www.cnblogs.com/rwxwsblog/p/4535014.html#_#摘要: UML建模YY系列： YY博客园UML类图之博客模块 YY博客园UML时序图之博客模块 YY博客园UML用例图-活动图-状态图之博客模块 UML建模中，描述一个事物要从其静态方面描述，也要从其动态方面描述。昨天的YY博客园UML类图之博客模块就是从静态方面的描述，那么今天从动...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=2 YY博客园UML类图之博客模块#_#http://www.cnblogs.com/rwxwsblog/p/4533086.html#_#摘要: UML建模YY系列： YY博客园UML类图之博客模块 YY博客园UML时序图之博客模块 YY博客园UML用例图-活动图-状态图之博客模块 UML几年前就接触过了，那是的学习也可为不求甚解。只知道UML是个建模的，画画图；类图、用例图、时序图和活动图神马的；学了也就学了，一直没...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=2 【转】Kettle集群#_#http://www.cnblogs.com/rwxwsblog/p/4530633.html#_#摘要: 本文转自：http://blog.csdn.net/dqswuyundong/article/details/5952009Kettle集群Kettle是一款开源的ETL工具，以其高效和可扩展性而闻名于业内。其高效的一个重要原因就是其多线程和集群功能。Kettle的多线程采用的是一种流水线并发的机制...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=2 kettle job如何利用java的反射机制获取执行的sql语句#_#http://www.cnblogs.com/rwxwsblog/p/4530497.html#_#摘要: kettle job中的JavaScript如何获取同一个job中SQL步骤的执行语句并让执行语句记录在日志中呢？首先写日志需要用到job中JavaScript写日志的方法，其次是利用java反射机制获取执行的sql。如：var sqlObj = getJobStep("SQL");var sql ...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=2 kettle job通过javascript进行循环控制#_#http://www.cnblogs.com/rwxwsblog/p/4530060.html#_#摘要: 任何一种编程语言都少不了循环，kettle中的job也一样。那么kettle中的job是怎么通过JavaScript来达到类似于编程语言中的for循环呢？var max = parent_job.getVariable("MAXCOUNT");var current = parent_job.get...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=2 kettle作业中的js如何写日志文件#_#http://www.cnblogs.com/rwxwsblog/p/4529957.html#_#摘要: 在kettle作业中JavaScript脚本有时候也扮演非常重要的角色，此时我们希望有一些日志记录。下面是job中JavaScript记录日志的方式。job的js写日志的方法。得到日志输出实例org.pentaho.di.core.logging.LogWriter.getInstance();按照...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=2 kettle转换JavaScript获取命令行参数#_#http://www.cnblogs.com/rwxwsblog/p/4529120.html#_#摘要: 日常开发中由于很多参数是变化的，需要在部署时才能确定。而写在配置文件里又显得很笨重，因而可以运行时实时指定。那么kettle是怎么获取命令行中的参数的呢？kettle可以通过转换里的JavaScript获取变量_step_.getTransMeta().getArguments()[0];#_#http://www.cnblogs.com/rwxwsblog/default.html?page=2 kettle转换JavaScript加载外部js文件#_#http://www.cnblogs.com/rwxwsblog/p/4529102.html#_#摘要: 日常开发中，时常会出现这样一种情况。有大量的函数是通用的。而每个JavaScript里面写一遍，给维护带来很大的困扰。因而需要将公共的函数写在外部js文件中。这时就需要引入外部的公共文件了。下面是在转换里的JavaScript组件中引入外部公共js文件。//加载js文件LoadScriptFile(...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=2 使用kettle转换中的JavaScript对密码进行加密和解密#_#http://www.cnblogs.com/rwxwsblog/p/4529078.html#_#摘要: 日常开发中，为了确保账号和密码的安全，时常要对密码进行加密和解密。然而kettle是怎么对密码进行加密和解密的呢？下面的代码需要再转换中的JavaScript中运行。var encrypted_password = 'not encrypted';加密（js中调用）：encrypted_passwo...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=2 解决kettle配置文件中的中文乱码#_#http://www.cnblogs.com/rwxwsblog/p/4529062.html#_#摘要: 在日常开发中有时候配置文件会出现中文（如config.properties 里有中文），为了避免出现乱码，因而要转成unicode编码。1、在设置变量的javascript（转换中的JavaScript）中进行编码转换。（推荐使用此方式）if(!Value.isNull()){ var valu...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=2 php在没用xdebug等调试工具的情况下如何让调试内容优雅地展现出来？--php数组格式化#_#http://www.cnblogs.com/rwxwsblog/p/4490951.html#_#摘要: php在没有采用xdebug进行调试的时候，用var_dump打印出来的数组总感觉是一坨坨shit。打印出来数组元素的内容既不美观也看不出数组的结构，再加之代码洁癖的原因。网上找了一下，随之调试的数组内容就优雅地展现在你面前了。不再是一坨坨恶心的shit。#_#http://www.cnblogs.com/rwxwsblog/default.html?page=7 利用chrome插件批量读取浏览器页面内容并写入数据库#_#http://www.cnblogs.com/rwxwsblog/p/4490530.html#_#摘要: 试想一下，如果每天要收集100页网页数据甚至更多。如果采用人工收集会吐血，用程序去收集也就成为一个不二的选择。首先肯定会想到说用java、php、C#等高级语言，但这偏偏又有个登陆和验证码，搞到无所适从。还在为收集web端的数据感到苦恼吗？你找对地方了。#_#http://www.cnblogs.com/rwxwsblog/default.html?page=7 linux自动定时备份web程序和mysql数据库#_#http://www.cnblogs.com/rwxwsblog/p/4488610.html#_#摘要: 前些天受朋友说linux定时备份不知道怎么搞，叫帮忙处理一下。由于这段时间正闲着，所以也就欣然答应。由于朋友对linux不懂也希望我将操作的过程记录下来，也就是越详细越好。所以写得比较$%^&*。本以为半个小时或者一个小时可以搞好，谁不知整整搞了一天。原因在哪呢？这里也顺便吐槽一下，首先问web...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=7 linux下用cronolog分割apache日志#_#http://www.cnblogs.com/rwxwsblog/p/4488396.html#_#摘要: linux下用cronolog分割apache日志，大神莫拍砖，菜鸟留一记录，小白请默默转载。连linux登陆和vi编辑都不会的，请默默关闭此页面。入正题说明：淡绿色底的为linux命令，其他的为备注说明。下载cronologwget "http://download.chinaunix.net/d...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=7 写在前面--点燃酱爆心中的那团火#_#http://www.cnblogs.com/rwxwsblog/p/4486260.html#_#摘要: 感谢在浩瀚互联网世界里，游历至此的您！有缘千里来相会，文字的相会，博客的会见。缘分？猿粪？曾几何时一直想经营一个自己的博客。记录自己的心绪，分享自己的技术，反思自己的行为，局促自己的成长。这个想法在脑海里不知道辗转和浮现了多少遍，然后又被自己的懒惰一次次无情地抛下。如此的反复而始终没有进展，积攒...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=7 Linux压缩和解压汇总#_#http://www.cnblogs.com/rwxwsblog/p/4505934.html#_#摘要: 各种后缀的压缩包压缩方法和解压方法压缩包压缩解压.tar.gz和.tgztar -czf jpg.tar.gz *.jpgtar -xzvf filename -C path.tar.bz2tar -cjf jpg.tar.bz2 *.jpgtar -xjvf filename -C path.ta...#_#http://www.cnblogs.com/rwxwsblog/default.html?page=5 [置顶]mysql主从复制实现数据库同步#_#http://www.cnblogs.com/rwxwsblog/p/4542417.html#_#摘要: mysql主从复制相信已经用得很多了，但是由于工作原因一直没怎么用过。趁着这段时间相对