天天基金网爬虫：北向资金、基金每日净值涨跌、大盘涨跌、基金公司信息.zip

[TOC] ## 零、版本信息 **版本：v2.0.20210513** 新增爬虫-基金经理 ----------------------------------------------------------------------------------------------------- **版本：v2.0.20210507** 更新如下： 1、北向沪股通、深股通和港股通的爬虫更改了提取url，重写了beixiang_10stock.py 2、检查了爬虫，并爬取部分数据更新到data_temp文件夹 3、考虑到全部数据过大，data_temp文件夹仅为少量数据，全部数据自行参考后文启动爬虫 ------------------------------------------------------------------------------------------------------ **版本：v1.0.20200424** 首次发布！具体功能参考下文。 ------------------------------------------------------------------------------------------------------ 启动方式：scrapy crawl spider.name 说明：阅读前可以点击原网址查看爬取的目标样式！成功抓取的数据样式在data_temp文件夹内。 本程序从天天基金网采集数据，目前包含下面5个爬虫，基本上涵盖了整个基金市场情况。可以根据实际需要，有选择性的爬取即可。 - 一、北向资金每日流向 - 二、北向资金每日前20大交易股 - 三、基金公司情况 - 四、基金排名每日涨跌情况 - 五、大盘（上证指数、深圳成指、创业板指）每日涨跌情况 --- ## 一、北向资金每日流向 - [原网址](http://data.eastmoney.com/hsgt/index.html)  - 文件名：beixiang.py （上海MarketType=1, 深圳MarketType=3） - 字段含义 爬取基本上按照原网址格式，理解起来简单。根据天天基金网提示，值得注意的有两点。1、当日资金流入`today_in`包含两个部分：已经成交的和已申报未成交的。2、当日净买额`today_net_in` = 买入`total_in`-卖出`total_out` 。 一般分析使用的是净买额为当日资金流入`today_in`。 | 字段名 | 含义 | | ---------------- | ------------------------------------------------------------ | | marketType | 市场类型：1代表上海，3代表深圳 | | datetime | 时间 | | total_net_in | 当日成交净买额 | | total_in | 买入额 | | total_out | 卖出额 | | today_in | 当日资金流入 | | grand_total_in | 历史累计流入 | | today_balance | 当日余额 | | stock_code | 领涨股代码 | | stock | 领涨股名称 | | stock_up | 领涨股涨跌幅 | | sz_index | 指数（上证或者深圳成指数，根据marketType来确定。1代表上海，3代表深圳） | | sz_index_percent | 指数涨跌幅 | ## 二、北向资金每日前20大交易股 - [原网址](http://data.eastmoney.com/hsgt/top10/2020-01-02.html) 分沪股通10大交易股和深股通10大交易股  - 文件名：beixiang_10stock.py - 字段含义 当日净流入=当日流入-当日流出； 当日成交额=当日流入+当日流出 | 字段名 | 含义 | | ------------- | ------------------------------ | | marketType | 市场类型：1代表上海，3代表深圳 | | date_time | 时间 | | rank | 排名 | | code | 股票代码 | | name | 股票名称 | | close | 当日收盘价 | | changePercent | 当日涨跌幅 | | net_in | 当日净流入 | | in | 当日流入 | | out | 当日流出 | | total | 当日成交额 | ## 三、基金公司信息 - [原网址](http://fund.eastmoney.com/Company/default.html) - [基金公司基本信息](http://fund.eastmoney.com/Company/80163340.html)  | 字段名 | 含义 | | ------------------- | ------------ | | company_code | 基金公司代码 | | company_shortName | 基金公司 | | company_name | 基金公司全称 | | position | 位置 | | general_manager | 总经理 | | website_url | 官网 | | tell | 客服热线 | | manager_total_asset | 管理规模 | | fund_amount | 基金数量 | | manager_amount | 经理人数 | | publish_date | 成立日期 | | company_property | 公司性质 | - [基金公司规模](http://fund.eastmoney.com/Company/80163340.html)  | 字段名 | 含义 | | ------------------------ | ------------------------ | | company_code | 基金公司代码 | | company_shortName | 基金公司 | | fund_type | 基金类型 | | fund_scale | 基金规模（亿元） | | fund_scale_mean | 平均每家公司基金规模 | | fund_scale_rank | 同类排名 | | fund_amount | 基金数量 | | fund_amount_mean | 平均每家公司基金数量 | | fund_amount_rank | 同类排名 | | fund_manager_amount | 基金经理数量 | | fund_manager_amount_mean | 平均每家公司基金经理数量 | | fund_manager_amount_rank | 同类排名 | - [基金公司下的基金清单](http://fund.eastmoney.com/Company/80163340.html) 这里就爬取了清单，净值等信息参考第三点基金信息即可。  | 字段名 | 含义 | | ----------------- | ------------ | | company_code | 基金公司代码 | | company_shortName | 基金公司 | | fund_name | 基金名称 | | fund_code | 基金代码 | - [公司的10大持仓股票](http://fund.eastmoney.com/Company/f10/gscc_80163340.html)  | 字段名 | 含义 | | --------------------- | ---------------- | | company_code | 基金公司代码 | | company_shortName | 基金公司 | | stock_code | 股票代码 | | stock_name | 股票名称 | | havein_mycomanpy_fund | 配置的基金数