PHP抓取网页数据插入数据库资源-CSDN下载

共8个文件

prefs：3个

php：1个

project：1个

抓取数据

实时汇率

4星 · 超过85%的资源需积分: 41 78 浏览量 2012-06-26 17:42:04 上传评论收藏 4KB RAR 举报

在IT领域，PHP是一种广泛应用的服务器端脚本语言，尤其在网页开发中占据了重要的地位。本文将详细讨论如何使用PHP来抓取网页数据并将其存储到数据库中，以及这一技术在实际应用中的价值，例如抓取实时汇率信息。我们要理解PHP抓取网页数据的基本原理。这通常涉及到HTTP请求和HTML解析。PHP可以使用cURL库发起HTTP请求，获取网页的HTML源代码。例如，可以创建一个cURL会话，设置URL，然后执行请求： ```php $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, "http://example.com"); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $response = curl_exec($ch); curl_close($ch); ``` 得到HTML内容后，我们需要解析它来提取所需的数据。PHP可以使用DOMDocument和DOMXPath库来处理这个任务。假设我们要抓取特定的HTML元素，我们可以这样做： ```php $doc = new DOMDocument(); $doc->loadHTML($response); $xpath = new DOMXPath($doc); $data = $xpath->query('//div[@class="currency-data"]'); ``` 接着，抓取到的数据需要被清洗和格式化，以便适应数据库的存储需求。这可能包括去除HTML标签、转换数据类型等操作。然后，我们需要连接到数据库。PHP提供了MySQLi或PDO_MySQL扩展来与MySQL数据库进行交互。以下是一个简单的例子： ```php $host = 'localhost'; $db = 'my_database'; $user = 'my_user'; $pass = 'my_password'; $mysqli = new mysqli($host, $user, $pass, $db); if ($mysqli->connect_error) { die('连接失败: ' . $mysqli->connect_error); } ``` 使用SQL语句将数据插入数据库。例如： ```php $sql = "INSERT INTO exchange_rates (currency, rate) VALUES (?, ?)"; $stmt = $mysqli->prepare($sql); $stmt->bind_param("ss", $currency, $rate); // 绑定变量，执行插入操作 ``` 在这个示例中，我们假设有一个名为`exchange_rates`的表，包含`currency`和`rate`两个字段，用于存储抓取的货币名称和汇率。总结起来，"PHP抓取网页数据插入数据库"是一个涵盖HTTP请求、HTML解析、数据处理、数据库操作等多个环节的过程。在实际应用中，如监控银行网站上的实时汇率，这一技术可以帮助我们自动化地收集并存储信息，为业务决策提供及时、准确的数据支持。文件`index.php`可能是实现这个功能的主要代码文件，而`.project`、`.cache`和`.settings`可能是开发环境相关配置和缓存文件，`sql.sql`则可能包含了数据库结构或者初始化数据的SQL脚本。

资源推荐

资源详情

资源评论

收起资源包目录

ExtractWebpage.rar （8个子文件）

sql.sql 362B

.cache

.dataModel 2KB

.wsdlDataModel 1KB

index.php 3KB

.settings

org.eclipse.php.core.projectOptions.prefs 250B

org.eclipse.core.resources.prefs 88B

com.zend.php.javabridge.core.prefs 294B

.project 540B

<?php $urlstr = vita_get_url_content("http://search.china.alibaba.com/company/k-%BB%AF%D7%B1%D0%D0%D2%B5_n-y.html"); //$urlstr = htmlspecialchars($urlstr); $urlstr=iconv("GBK","UTF-8",$urlstr); preg_match_all("/<a href=\"(.*?)\".*?class=\"syscat\">联系方式<\/a>/im",$urlstr,$result,PREG_PATTERN_ORDER); $contact = $result[1]; for($i=0;$i<sizeof($contact);$i++) { $tmpurl = $contact[$i]; $contactHtml = vita_get_url_content($tmpurl); $contactHtml=iconv("GBK","UTF-8",$contactHtml); preg_match_all("/<span id=\"chinaname\" class=\"chinaname\">(.*?)<\/span>/sim",$contactHtml,$ContactCompanyName,PREG_PATTERN_ORDER); preg_match_all("/<ul class=\"mainTextColor\">.*?<li >电.*?话：(.*?)<\/li>/sim",$contactHtml,$ContactTel,PREG_PATTERN_ORDER); preg_match_all("/<ul class=\"mainTextColor\">.*?<li >移动电话：(.*?)<\/li>/sim",$contactHtml,$ContactMobile,PREG_PATTERN_ORDER); preg_match_all("/<ul class=\"mainTextColor\">.*?<li >传.*?真：(.*?)<\/li>/sim",$contactHtml,$ContactFax,PREG_PATTERN_ORDER); preg_match_all("/<ul class=\"mainTextColor\">.*?<li >地.*?址：(.*?)<\/li>/sim",$contactHtml,$ContactAddr,PREG_PATTERN_ORDER); if($ContactCompanyName[0]!=null && $ContactCompanyName[0]!="") { @dbconnectInsertData($ContactCompanyName[1][0],$ContactTel[1][0],$ContactMobile[1][0],$ContactFax[1][0],$ContactAddr[1][0]); } } echo '抓取数据完毕！'; /* * 选择方式获取网页内容 * 如果不能成功，请先检测PHP.ini文件中allow_url_fopen是否为ON，如果已经开启，那么再检测curl服务是否开启。 */ function vita_get_url_content($url) { if(function_exists('file_get_contents')) { $opts = array( 'http'=>array( 'method'=>"GET", 'header'=>"User-Agent: Mozilla/4.0\n" ) ); $context = stream_context_create($opts); $file_contents = file_get_contents($url,false,$context); } else { //user_agent $useragent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"; //伪造header $header = array('Accept-Language: zh-cn','Connection: Keep-Alive','Cache-Control: no-cache'); $ch = curl_init(); $timeout = 5; curl_setopt($ch, CURLOPT_REFERER, $url); curl_setopt($ch,CURLOPT_HTTPHEADER,$header); curl_setopt($ch, CURLOPT_USERAGENT, $useragent); curl_setopt($ch, CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout); $file_contents = curl_exec($ch); curl_close($ch); } return $file_contents; } /* * 连接数据库,插入数据 */ function dbconnectInsertData($companyName,$tel,$mobile,$fax,$addr) { $mysql_server_name="10.0.0.78"; //数据库服务器名称 $mysql_username="root"; // 连接数据库用户名 $mysql_password="000000"; // 连接数据库密码 $mysql_database="CatchInformation"; // 数据库的名字 // $companyName = mb_convert_encoding($companyName,"UTF-8","GBK"); // $addr = mb_convert_encoding($addr,"UTF-8","GBK"); $conn=mysql_connect($mysql_server_name,$mysql_username,$mysql_password); mysql_query("SET NAMES 'UTF8'"); $sql="insert into CompanyContact(companyName,tel,mobile,fax,addr) values('".$companyName."','".$tel."','".$mobile."','".$fax."','".$addr."')"; mysql_select_db($mysql_database,$conn); $result=mysql_query($sql); mysql_free_result($result); mysql_close($conn); } ?>

评论收藏

内容反馈