网页抓取
本教程介绍了使用基本 Unix 命令进行网络抓取： wget 、 grep和sed 。 特别地，我们将使用一个名为 [allrecipes] ( ) 的网站来说明如何在网上抓取以鸡肉为主要成分的食谱，然后将所有成分和说明放在将配方转换为Chicken_Recipes单个文件。
网页抓取和 wget
要下载网页，我们使用 [wget] ( )。 首先，我们想下载网站上的食谱，但我们不想下载不相关的食谱。 要将其缩小到仅鸡肉食谱，我们可以在我们的命令中指定一个 [正则表达式] ( )。 在下面显示的命令中， wget从以allrecipes.com/Recipe/开头的链接下载，并且在Chicken前后有零个或多个字符，如.* 。
wget -r -c -np -nc --accept-regex allrecipes.com/Recipe/.*Chicken.* allr
