人工智能课程Project —— 使用模糊专家系统做单反相机购买推荐.zip

相机导购专家系统 ==================================== 如今单反相机的高度发达为摄影爱好者带来了无限的可能，让每个人都可以在花不是那么多钱的情况下创造艺术或是记录生活。我认为，这是科技给人带来的福音。 然而，正是因为单反市场太过发达，初入单反坑的玩家往往被搞得晕头转向。常见的单反厂商有尼康、索尼、佳能。高端市场有哈苏、徕卡，低端市场有理光、富士等。每个品牌又有很多个产品线，各有不同，设计给不同需求的用户使用。 如果对单反相机的参数没有深入的研究，仅仅是听商家的吹捧，那很难在最高的性价比上买到合适自己的那款相机。往往会花冤枉钱，或发现相机的主打功能自己根本就用不上。 本专家系统就为了解决这个问题而创建，担任一个细心公正的相机导购师，通过询问用户更在意哪方面的内容、平时使用情景、预算、对重量的承受能力等，为用户推荐最合适的相机，让用户少花冤枉钱，用最少的钱买到最有用的相机。 # 数据库的采集 对专家系统而言，不仅要有规则数据库，相机本身各项指标的数据库也非常重要。本专家系统采集权威平台：DxOMark的数据库，来获得详细的相机各项指标数据。 由于没有现成的数据可供下载，我自己使用NodeJS写了采集程序来做这件事情。代码如下： ```javascript let request = require('request').defaults({ 'proxy': "http://127.0.0.1:1080" }); let Queue = require('promise-queue'); let fs = require('fs'); let path = require('path'); let queue = new Queue(10); //最多同时10线程采集 request('https://www.dxomark.com/daksensor/ajax/jsontested', //获得相机列表 (error, response, body) => { let cameraList = JSON.parse(body).data; let finishedCount = 0; cameraList.forEach(cameraMeta => { let camera = Object.assign({}, cameraMeta); let link = `https://www.dxomark.com${camera.link}---Specifications`; //拼合对应的规格网址 queue.add(() => new Promise(res => { //把request放入队列，以保证同时http请求不超过10个 let doRequest = () => { request(link, (error, response, body) => { if (error) { //如果失败则重试 console.log("retrying.." + camera.name); doRequest(); return; } let specMatcherRegexp = /descriptifgauche.+?>([\s\S]+?)<\/td>[\s\S]+?descriptif_data.+?>([\s\S]+?)<\/td>/img; let match = specMatcherRegexp.exec(body); while (match) { //用正则表达式匹配table里的每一个项目，并添加至采集结果中 camera[match[1]] = match[2]; match = specMatcherRegexp.exec(body); } fs.writeFileSync(path.join('./scraped', camera.name + '.txt'), JSON.stringify(camera, null, 4), { encoding: "UTF8" }); finishedCount++; console.log(`Finished ${finishedCount}/${cameraList.length}: ${camera.name}`); res(); }) }; doRequest(); })); }); }); ``` 采集结果如图所示，总共采集到357款单反产品：  # 数据清洗 数据采集完了，但有些数据比较脏（如含有&nbsp），有些数据是我们不需要的，有些数据用起来不方便（如分辨率是 1234 x 1234形式的字符串），属性名中有空格和大写字符，也不美观。因此，额外添加一步数据清洗。 数据清洗之后，希望留下以下属性： > 相机名称、相机图片、价格、像素数量、每秒连拍数量、重量、对焦系统质量、最大感光度、模型出厂日期、触屏存在、可录视频、有闪光灯、有蓝牙、有GPS、防水、机身材质质量 数据清洗的代码实现为： ```javascript let fs = require("fs"); let path = require("path"); function parseNumberFunctionFactory(keyMatcher, valueMatcher = /(\d+\.?\d*)/im, returnValueDecider = match => +match[1]) { return (data) => { let key = Object.keys(data).filter(_ => keyMatcher.test(_.trim()))[0]; if (!key) return null; let match = data[key].toString().match(valueMatcher); if (match) return returnValueDecider(match); else return null; }; } let parseResolution = parseNumberFunctionFactory(/^resolution$/im, /(\d+)\s*x\s*(\d+)/im, match => [+match[1], +match[2]]); let parseFrameRate = parseNumberFunctionFactory(/frame rate/im); let parseWeight = parseNumberFunctionFactory(/weight/im); let parseAutoFocus = parseNumberFunctionFactory(/number of autofocus points/im); let parseISO = parseNumberFunctionFactory(/ISO latitude/im, /(\d+)\s*-\s*(\d+)/im, match => [+match[1], +match[2]]); let parseLaunchDate = parseNumberFunctionFactory(/launchDateGraph/im, /(\d+)-(\d+)-(\d+)/im, match => new Date(match[1], match[2] - 1, match[3])); let parseTouchScreen = parseNumberFunctionFactory(/Touch screen/im, /yes/im, match => !!match); let parseVideo = parseNumberFunctionFactory(/^Video$/m, /yes/im, match => !!match); let parseFlash = parseNumberFunctionFactory(/^flash$/im, /yes/im, match => !!match); let parseWaterproof = parseNumberFunctionFactory(/^waterproof$/im, /yes/im, match => !!match); let parseBluetooth = parseNumberFunctionFactory(/^Bluetooth$/im, /yes/im, match => !!match); let parseGps = parseNumberFunctionFactory(/^GPS$/im, /yes/im, match => !!match); let parseIsMetal = parseNumberFunctionFactory(/^camera material$/im, /metal/im, match => !!match); let files = fs.readdirSync("./scraped"); files.forEach(file => { let data = JSON.parse(fs.readFileSync(path.join('./scraped', file), { encoding: "utf8" })); let resolution = parseResolution(data); //机身材质质量 let frameRate = parseFrameRate(data); let weight = parseWeight(data); let autoFocus = parseAutoFocus(data); let iso = parseISO(data); let launchDate = parseLaunchDate(data); let touchScreen = parseTouchScreen(data); let video = parseVideo(data); let flash = parseFlash(data); let waterproof = parseWaterproof(data); let bluetooth = parseBluetooth(data); let gps = parseGps(data); let isMetal = parseIsMetal(data); let cleanedData = { name: data.name, image: data.image, brand: data.brand, price: data.price, pixelDepth: data.pixelDepth, pixels: resolution ? (resolution[0] * resolution[1]) : 0, ISO: iso, maxISO: iso ? iso[1] : 0, launchDate: +launchDate, touchScreen, video, flash, waterproof, bluetooth, gps, isMetal, frameRate, resolution, weight, autoFocus, }; fs.writeFileSync(path.join('./cleaned', file), JSON.stringify(cleanedData, null, 4), { encoding: "utf8" }); }); ``` 清洗结果演示： ```json { "name": "Nikon D5", "image": "//cdn.dxomark.com/dakdata/xml/D5/vignette3.png", "brand": "Nikon", "price": 6500, "pixelDepth": 20.8, "pixels": 20817152, "ISO": [ 50, 3280000 ], "maxISO": 3280000, "launchDate": 1452009600000, "touchScreen": true, "video": true, "flash": null, "waterproof": null, "bluetooth": null, "gps": true, "isMetal": true, "frameRate": 14, "resolution": [ 5584, 3728 ], "weight": 1225, "autoFocus": 153 } ``` 看起来好多了。 # 问题的设计 斟酌一番后，我决定将询问用户的问题定为： 1. 您将如何使用本相机（多选） * 记录旅行 * 拍摄学校或公司活动 * 拍摄体育比赛 * 拍摄自然风景 * 拍摄人像 * 拍摄天文 2. 您看中哪些额外功能吗（多选） * 内置闪光灯 * 可录制视频 * 可蓝�