轻量型A股每日数据爬虫项目

# XCrawler <a href="https://www.python.org/"><img src="https://img.shields.io/badge/Code-python-blue"></a> <a href="https://pypi.org/project/PyQt6/"><img src="https://img.shields.io/badge/UI-PyQt6-green"></a> <a href="https://github.com/Stock-Fund/algorithm/"><img src="https://img.shields.io/badge/Algorithm-algorithm-yellow"></a> <a href="https://github.com/Stock-Fund/algorithm_server"><img src="https://img.shields.io/badge/Algorithm-Server-pink"></a> <a href="http://dev.mysql.com/"><img src="https://img.shields.io/badge/Database-MySQL-red.svg?style=flat"></a> <a href="https://github.com/akeboshi1/workalendar"><img src="https://img.shields.io/badge/Workalendar-workalendar-brown.svg?style=flat"></a> A股爬虫项目 - 环境安装: - python3.10.12 - pip3.10.12 - chromedriver (需在usr/local/bin 路径下 xattr -d com.apple.quarantine chromedriver添加信任) - selenium - pandas - numpy - mysql - pycharm - Assets文件夹内添加一个本地文件password.txt，内部包含host,user,password,db,分别填入对应内容，(host:数据库地址，user:数据库用户名，password:数据库密码，db:数据库名称) - 核心逻辑1:通过财经网址获取全部股票的动态数据，并且经过分析，将日涨，日跌超过x%的股票进行筛选，按照股票的涨跌幅进行排序；通过对股票的大额买入卖出订单进行排序，并预测前10位买入卖出的之后的大概股价，并对买入卖出进行排序；并存储到数据库(DB:Mysql，需要跟进) - 核心逻辑2:对保留到数据库的数据按照5日，20日进行分析排序，筛选出5，20日上涨，下降的前x位的股票，进行排序，并存储到数据库(DB:Mysql) - 核心逻辑3:做T，通过股票的涨跌幅，对股票进行T操作 (此为量化核心逻辑) 1. 使用技术指标建模交易信号。比如利用布林通道、均线交叉等技术分析指标,建立买入和卖出规则。 2. 加入风险管理作为交易决策依据。比如设置止损价格和动态调整仓位,降低单日风险。 3. 采用复合指标相结合,避免单一依赖某一指标。比如结合MACD、KDJ等多 time frame 的指标信号。 4. 进行回测优化,找出参数组合效果好的交易策略。优化周期、触发点设定等策略变量。 5. 采用平滑移动平均线,避免被短期波动误导。比如用EMA作为买入信号。 6. 重点跟踪行业领跑股票,利用行业势头。同时观察大盘走势变化。 7. 使用量化选股条件排除个股风险,比如营收同比增长、获利能力等。 8. 定期回顾回测结果,调整不好的交易规则。持续优化策略模型。 9. 采取分散投资多个股票池分担风险。 - 核心逻辑4(分时逻辑): 1. 通过分析分时大额订单(主力)，小额订单(散户)，来分析当前主力参与程度及后市趋势可能 - 核心逻辑5(龙头效用): 在股市中，龙头股是市场热点的主要来源，是市场情绪的集中体现，是市场资金的“风向标”。板块龙头股的涨跌影响着这个板块后续的趋势，及该板块其他股票的走势 - 核型逻辑6(主升浪逻辑): 主升浪逻辑在股票技术分析中指的是以下几点: 1. 趋势连续上涨。价格形成一系列超过坚振位的高点和低点,形成上扬趋势。 2. 均线上行。成交量均线、动量指标等有力指标呈现上升趋势, signaling价格将继续上涨。 3. 技术指标佳于基本面。即技术因素如动量等影响较大,价格上行主要由投资者情绪驱动。 4. 竞争与买盘较强。上涨过程中出现多次触及上轨压力线后重新上扬,反映买方竞争活跃。 5. 低位集中收购。大买盘在价格收歇低位时出手,下单支持价格逆势上扬。 6. 新高突破。价格形成一系列 newer highs,创出新的高点,显示主要趋势仍在上行。 7. 指标穿线支持。如动量指标金叉死叉等技术信号表明趋势有望继续。 - 核心逻辑7: A股核心逻辑，政策导向，以上所有逻辑皆基于政策，呵呵 部分参数解释: - 量比:所谓量比，其实仅仅是一个衡量相对成交量的指标，指的是每一天每分钟平均成交量与前五天内每分钟平均成交量的比值。量比值反映出来的是当前盘口的成交力度与近五日成交力度的差别，分别表现为成交量放大或者是成交量萎缩。 1. 量比在2.5-5倍，则为明显放量，若股价相应地突破重要支撑或阻力位置，则突破有效的几率颇高，可以相应地采取行动; 2. 量比达5-10倍，则为剧烈放量，如果是在个股处于长期低位出现剧烈放量突破，涨势的后续空间巨大，是“钱”途无量的象征，但是，如果在个股已有巨大涨幅的情况下出现如此剧烈的放量，则值得高度警惕; - 委比:金融或证券实盘操作中衡量某一时段买卖盘相对强度的指标。 委比的取值自-100%到+100%，+100%表示全部的委托均是买盘，涨停的股票的委比一般是100%，而跌停是-100%。 委比为0，意思是买入（托单）和卖出（压单）的数量相等，即委买：委卖=5:5。 - 买盘卖盘: - 主动买入（外盘）: 买盘，买家以卖家的卖出价而买入成交，当所在时刻的成交价大于等于上一时刻的买卖中间价 - 主动卖出（内盘）: 卖盘，卖家以买家的买入价而卖出成交，当所在时刻的成交价小于上一时刻的买卖中间价 - 流入/出额,流入/出量: - 流入额: 主动买入的金额 - 流出额: 主动卖出点金额 - 净流入额: 流入额-流出额 - 流入量: 主动买入成交量+被动买入成交量 - 流出量: 主动卖出成交量+被动卖出成交量 - 净流入量: 流入量-流出量 - 放量: 以该股票最近一个月或者三个月的日均交易量为基准平均值。 如果该日交易量高于基准平均值的一定倍数(如150%或者200%),则认为该日交易量较大,是放量。 放量下跌，表示筹码不稳，有抛压 - 缩量: 如果该日交易量低于基准平均值的一定比例(如50%或者70%),则认为该日交易量较小,是缩量。 缩量下跌，可能会反转，因为缩量下跌表示筹码比较稳定，不愿意交出 - 放量，缩量的一些逻辑: 放量上涨股票后续上涨的概率更大，放量下跌股票后续下跌的概率更大。 - 量价背离: 1. 一般股票量价同步运行较好 2. 当股价上涨，成交量放大股票后续上涨的概率较大 3. 当股价下跌，成交量放大股票后续下跌的概率较大 4. 当股价上涨，成交量萎缩产生背离时，股票后续下跌的概率极大。 5. 当股价下跌，成交量放大产生背离时，股票后续上涨的概率极大。可能说明市场上的恐慌情绪达到高峰，投资者纷纷抛售股票。但是，这同时也可能说明已经没有更多的投资者准备抛售股票了，换句话说，市场的抛售力量可能已经被耗尽。 6. 高位放量需要注意安全 - 数据拟合: 拟合(Fitting)指的是使用某种数学函数(通常是多项式函数)来描述一组观察数据的变化趋势或隐含关系。 - 拟合的目的是从样本数据中提取隐含关系 - 它寻找一个最优函数来描述观测数据的整体趋势 - 这样我们就可以用这个函数来预测和理解新数据的预测值 - 缺口:缺口是指股价在快速大幅变动中有一段价格没有任何交易，显示在股价趋势图上是一个真空区域，这个区域称之“缺口”，通常又称为跳空。当股价出现缺口，经过几天，甚至更长时间的变动，然后反转过来，回到原来缺口的价位时，称为缺口的封闭。 缺口分普通缺口、突破缺口、持续性缺口与消耗性缺口等四种。从缺口发生的部位大小，可以预测走势的强弱，确定是突破，还是已�