Python库 | pycomp-0.1.13.tar.gz

<h1 align="center"> <a href="https://pypi.org/project/pycomp/#description"><img src="https://i.imgur.com/WcAaq1P.png" alt="pycomp Logo"></a> </h1> <div align="center"> <strong>Fábrica de componentes Python</strong> </div> <br/> <div align="center">  [](https://pypi.org/project/pycomp/)    </div> <br/> Literalmente, uma fábrica de componentes em Python criada para auxiliar implementações, automações e até treinamento de modelos de Machine Learning! O objetivo desse pacote é propor uma forma mais fácil de se trabalhar com Python a partir do fornecimento de componentes prontos (funções e classes) para uma série de atividades rotineiras e exploratórias. ## Features - :file_folder: __fs__: módulo responsável por auxiliar o manuseio de arquivos em sistemas operacionais. Em seu conteúdo, é possível encontrar funções úteis para a cópia de arquivos de um diretório origem para um diretório destino, além de funções utilizadas para a validação de presença e atualização de arquivos, entre outras. - :pencil: __log__: módulo com o objetivo de facilitar a geração, configuração e o armazenamento de logs de execução dos demais módulos do pacote. - :robot: __ml__: provavelmente o mais completo do pacote, o módulo ml (machine learning) contém componentes apropriados para a construção e aplicação de pipelines de pré-processamento de dados, além de blocos de código responsáveis por automatizar o treinamento e avaliação de modelos de aprendizado de máquina. - :bar_chart: __viz__: módulo responsável por propor componentes prontos para geração e customização de gráficos utilizando as bibliotecas matplotlib e seaborn. As funções contidas neste módulo trazem códigos consolidados para geração de insights em bases de dados a partir de análises gráficas personalizadas. A fábrica está a todo vapor! Com mais de 2 mil linhas de código, sua capacidade de produção e seu leque de fornecimento pode ser resumido em: | Tópico | Módulo | Funções | Classes | Componentes Totais |Linhas de Código | | -------------------------- | :---------------: | :---------------: | :-------------: | :-----------------: | :-------------: | | File System | `pycomp.fs.arquivos` | 4 | 0 | 4 | ~300 | | Logs | `pycomp.log.log_config` | 1 | 0 | 1 | ~70 | | Machine Learning | `pycomp.ml.transformers` | 0 | 9 | 9 | ~400 | | | `pycomp.ml.trainer` | 25 | 1 | 26 | ~1500 | | Viz | `pycomp.viz.formatador` | 2 | 1 | 3 | ~100 | | | `pycomp.viz.insights` | 5 | 0 | 5 | ~700 | ## Instalação A última versão do pacote `pycomp` encontra-se publicada no repositório [PyPI](https://pypi.org/project/pycomp/). > **Nota**: Como boa prática, recomenda-se a criação de um ambiente virual env Python para alocar as bibliotecas do projeto a ser desenvolvido. Caso não tenha um virtual env criado, o bloco de código abaixo pode ser utilizado para a criação de ambiente virtual em um diretório específico: ```bash # Criando diretório para o virtual env $ mkdir ~/<nome diretorio> # ou qualquer outro caminho $ cd ~/<nome diretorio> # Criando ambiente virtual $ python3 -m venv <nome venv> ``` Utilizando uma ferramenta de desenvolvimento (IDE ou a própria linha de comando), ative o ambiente virtual de trabalho: ```bash $ source ~/<nome diretorio>/<nome venv>/bin/activate ``` Após a ativação, é possível instalar o pacote `pycomp` via pip: ```bash # Atualizando pip e instalando pycomp $ pip install pycomp --upgrade ``` > **Nota**: o pacote `pycomp` é construído como uma ferramenta de top level em cima de outros pacotes conhecidos em Python, como sklearn, pandas e numpy. Ao instalar o `pycomp`, as dependências especificadas também serão instaladas automaticamente em seu ambiente virtual de trabalho. Resumo do output esperado no cmd após a instalação do pacote:: ``` Collecting pycomp [...] Installing collected packages: numpy, pytz, six, python-dateutil, pandas, joblib, scipy, threadpoolctl, scikit-learn, tqdm, slicer, llvmlite, numba, shap, pyparsing, cycler, certifi, kiwisolver, pillow, matplotlib, seaborn, pycomp Running setup.py install for numba ... done Running setup.py install for shap ... done Successfully installed certifi-2020.11.8 cycler-0.10.0 joblib-0.17.0 kiwisolver-1.3.1 llvmlite-0.34.0 matplotlib-3.3.2 numba-0.51.2 numpy-1.19.3 pandas-1.1.3 pillow-8.0.1 pycomp-0.0.15 pyparsing-2.4.7 python-dateutil-2.8.1 pytz-2020.4 scikit-learn-0.23.2 scipy-1.5.4 seaborn-0.11.0 shap-0.37.0 six-1.15.0 slicer-0.0.3 threadpoolctl-2.1.0 tqdm-4.51.0 ``` ## Utilização Para demonstrar uma poderosa aplicação do pacote `pycomp`, será exemplificado abaixo um trecho de código que, em poucas linhas, é responsável por: - Consolidar um Pipeline completo de DataPrep utilizando classes _transformadoras_ já preparadas - Treinar e avaliar diferentes modelos de classificação (_LogisticRegression, DecisionTreeClassifier_ e _RandomForestClassifier_) - Utilização de _RandomizedSearchCV_ para buscar os melhores hyperparâmetros para cada modelo - Registrar os resultados obtidos (dados e gráficos) em um diretório de output - Retornar um modelo específico para passos futuros Como insumo, será utilizado o dataset [Titanic](https://www.kaggle.com/c/titanic) obtido a partir da união dos arquivos `train.csv` e `test.csv`, gerando assim o input `titanic.csv` contido no script. ```python # Importando bibliotecas import pandas as pd import numpy as np from sklearn.pipeline import Pipeline from sklearn.compose import ColumnTransformer from sklearn.linear_model import LogisticRegression from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier from warnings import filterwarnings filterwarnings('ignore') from pycomp.ml.transformers import FormataColunas, FiltraColunas, DefineTarget, EliminaDuplicatas, PreencheDadosNulos, SplitDados from pycomp.ml.trainer import ClassificadorBinario # Lendo base de dados (titanic data - train + test) df = pd.read_csv('titanic.csv') cols_filter = ['survived', 'pclass', 'age', 'sibsp', 'fare'] # Pipeline da primeira camada first_layer_pipe = Pipeline([ ('formatter', FormataColunas()), ('selector', FiltraColunas(features=cols_filter)), ('target_generator', DefineTarget(target_col='survived', pos_class=1.0)), ('dup_dropper', EliminaDuplicatas()), ('na_filler', PreencheDadosNulos(value_fill=0)), ('splitter', SplitDados(target='target')) ]) # Executando pipeline X_train, X_test, y_train, y_test = first_layer_pipe.fit_transform(df) features = list(X_train.columns) # Preparando classificadores tree_clf = DecisionTreeClassifier() log_reg = LogisticRegression() forest_clf = RandomForestClassifier() # Logistic Regression hyperparameters logreg_param_grid = { 'C': np.linspace(0.1, 10, 20), 'penalty': ['l1', 'l2'], 'class_weight': ['balanced', None], 'random_state': [42], 'solver': ['liblinear'] } # Decision Trees hyperparameters tree_param_grid = { 'criterion': ['entropy', 'gini'], 'max_depth': [3, 5, 10, 20], 'max_