RulesofMachineLearning:BestPracticesforMLEngineering资源-CSDN文库

机器学习,

最佳实践

需积分: 10 162 浏览量 2017-11-07 14:49:40 上传评论收藏 449KB PDF 举报

资源详情

资源评论



Rules of Machine Learning:

Best Practices for ML Engineering



MartinZinkevich



Thisdocumentisintendedtohelpthosewithabasicknowledgeofmachinelearninggetthe

benefitofbestpracticesinmachinelearningfromaroundGoogle.Itpresentsastyleformachine

learning,similartotheGoogleC++StyleGuideandotherpopularguidestopractical

programming.Ifyouhavetakenaclassinmachinelearning,orbuiltorworkedona

machinelearnedmodel,thenyouhavethenecessarybackgroundtoreadthisdocument.



Terminology

Overview

BeforeMachineLearning

Rule#1:Don’tbeafraidtolaunchaproductwithoutmachinelearning.

Rule#2:Makemetricsdesignandimplementationapriority.

Rule#3:Choosemachinelearningoveracomplexheuristic.

MLPhaseI:YourFirstPipeline

Rule#4:Keepthefirstmodelsimpleandgettheinfrastructureright.

Rule#5:Testtheinfrastructureindependentlyfromthemachinelearning.

Rule#6:Becarefulaboutdroppeddatawhencopyingpipelines.

Rule#7:Turnheuristicsintofeatures,orhandlethemexternally.

Monitoring

Rule#8:Knowthefreshnessrequirementsofyoursystem.

Rule#9:Detectproblemsbeforeexportingmodels.

Rule#10:Watchforsilentfailures.

Rule#11:Givefeaturesetsownersanddocumentation.

YourFirstObjective

Rule#12:Don’toverthinkwhichobjectiveyouchoosetodirectlyoptimize.

Rule#13:Chooseasimple,observableandattributablemetricforyourfirst

objective.

Rule#14:Startingwithaninterpretablemodelmakesdebuggingeasier.

Rule#15:SeparateSpamFilteringandQualityRankinginaPolicyLayer.

MLPhaseII:FeatureEngineering

Rule#16:Plantolaunchanditerate.

Rule#17:Startwithdirectlyobservedandreportedfeaturesasopposedtolearned

features.

Rule#18:Explorewithfeaturesofcontentthatgeneralizeacrosscontexts.

Rule#19:Useveryspecificfeatureswhenyoucan.

Rule#20:Combineandmodifyexistingfeaturestocreatenewfeaturesin

humanunderstandableways.

Rule#21:Thenumberoffeatureweightsyoucanlearninalinearmodelisroughly

proportionaltotheamountofdatayouhave.

Rule#22:Cleanupfeaturesyouarenolongerusing.

HumanAnalysisoftheSystem

Rule#23:Youarenotatypicalenduser.

Rule#24:Measurethedeltabetweenmodels.

Rule#25:Whenchoosingmodels,utilitarianperformancetrumpspredictivepower.

Rule#26:Lookforpatternsinthemeasurederrors,andcreatenewfeatures.

Rule#27:Trytoquantifyobservedundesirablebehavior.

Rule#28:Beawarethatidenticalshorttermbehaviordoesnotimplyidentical

longtermbehavior.

TrainingServingSkew

Rule#29:Thebestwaytomakesurethatyoutrainlikeyouserveistosavetheset

offeaturesusedatservingtime,andthenpipethosefeaturestoalogtousethemat

trainingtime.

Rule#30:Importanceweightsampleddata,don’tarbitrarilydropit!

Rule#31:Bewarethatifyoujoindatafromatableattrainingandservingtime,the

datainthetablemaychange.

Rule#32:Reusecodebetweenyourtrainingpipelineandyourservingpipeline

wheneverpossible.

Rule#33:IfyouproduceamodelbasedonthedatauntilJanuary5th,testthemodel

onthedatafromJanuary6thandafter.

Rule#34:Inbinaryclassificationforfiltering(suchasspamdetectionordetermining

interestingemails),makesmallshorttermsacrificesinperformanceforveryclean

data.

Rule#35:Bewareoftheinherentskewinrankingproblems.

Rule#36:Avoidfeedbackloopswithpositionalfeatures.

Rule#37:MeasureTraining/ServingSkew.

MLPhaseIII:SlowedGrowth,OptimizationRefinement,andComplexModels

Rule#38:Don’twastetimeonnewfeaturesifunalignedobjectiveshavebecomethe

issue.

Rule#39:Launchdecisionswilldependuponmorethanonemetric.

Rule#40:Keepensemblessimple.

Rule#41:Whenperformanceplateaus,lookforqualitativelynewsourcesof

informationtoaddratherthanrefiningexistingsignals.

Rule#42:Don’texpectdiversity,personalization,orrelevancetobeascorrelated

withpopularityasyouthinktheyare.

Rule#43:Yourfriendstendtobethesameacrossdifferentproducts.Yourinterests

tendnottobe.

RelatedWork

Acknowledgements

Appendix

YouTubeOverview

GooglePlayOverview

GooglePlusOverview



Terminology



Thefollowingtermswillcomeuprepeatedlyinourdiscussionofeffectivemachinelearning:



Instance:Thethingaboutwhichyouwanttomakeaprediction.Forexample,theinstance

mightbeawebpagethatyouwanttoclassifyaseither"aboutcats"or"notaboutcats".

Label:Ananswerforapredictiontaskeithertheanswerproducedbyamachinelearning

system,ortherightanswersuppliedintrainingdata.Forexample,thelabelforawebpage

mightbe"aboutcats".

Feature:Apropertyofaninstanceusedinapredictiontask.Forexample,awebpagemight

haveafeature"containstheword'cat'".

FeatureColumn :Asetofrelatedfeatures,suchasthesetofallpossiblecountriesinwhich

usersmightlive.Anexamplemayhaveoneormorefeaturespresentinafeaturecolumn.A

featurecolumnisreferredtoasa“namespace”intheVWsystem(atYahoo/Microsoft),ora

field.

Example:Aninstance(withitsfeatures)andalabel.

Model:Astatisticalrepresentationofapredictiontask.Youtrainamodelonexamplesthenuse

themodeltomakepredictions.

Metric:Anumberthatyoucareabout.Mayormaynotbedirectlyoptimized.

Objective:Ametricthatyouralgorithmistryingtooptimize.

Pipeline:Theinfrastructuresurroundingamachinelearningalgorithm.Includesgatheringthe

datafromthefrontend,puttingitintotrainingdatafiles,trainingoneormoremodels,and

exportingthemodelstoproduction.



Overview

Tomakegreatproducts:

domachinelearninglikethegreatengineeryouare,notlikethegreatmachinelearning

expertyouaren’t.

Googlespecificterminology.

Mostoftheproblemsyouwillfaceare,infact,engineeringproblems.Evenwithallthe

resourcesofagreatmachinelearningexpert,mostofthegainscomefromgreatfeatures,not

greatmachinelearningalgorithms.So,thebasicapproachis:

1. makesureyourpipelineissolidendtoend

2. startwithareasonableobjective

3. addcommonsensefeaturesinasimpleway

4. makesurethatyourpipelinestayssolid.

Thisapproachwillmakelotsofmoneyand/ormakelotsofpeoplehappyforalongperiodof

time.Divergefromthisapproachonlywhentherearenomoresimpletrickstogetyouany

farther.Addingcomplexityslowsfuturereleases.



Onceyou'veexhaustedthesimpletricks,cuttingedgemachinelearningmightindeedbeinyour

future.SeethesectiononPhaseIIImachinelearningprojects.



Thisdocumentisarrangedinfourparts:

1. Thefirstpartshouldhelpyouunderstandwhetherthetimeisrightforbuildingamachine

learningsystem.

2. Thesecondpartisaboutdeployingyourfirstpipeline.

3. Thethirdpartisaboutlaunchinganditeratingwhileaddingnewfeaturestoyourpipeline,

howtoevaluatemodelsandtrainingservingskew.

4. Thefinalpartisaboutwhattodowhenyoureachaplateau.

5. Afterwards,thereisalistofrelatedworkandanappendixwithsomebackgroundonthe

systemscommonlyusedasexamplesinthisdocument.

BeforeMachineLearning

Rule#1:Don’tbeafraidtolaunchaproductwithoutmachinelearning.

Machinelearningiscool,butitrequiresdata.Theoretically,youcantakedatafromadifferent

problemandthentweakthemodelforanewproduct,butthiswilllikelyunderperformbasic

heuristics.Ifyouthinkthatmachinelearningwillgiveyoua100%boost,thenaheuristicwillget

you50%ofthewaythere.



Forinstance,ifyouarerankingappsinanappmarketplace,youcouldusetheinstallrateor

numberofinstalls.Ifyouaredetectingspam,filteroutpublishersthathavesentspambefore.

Don’tbeafraidtousehumaneditingeither.Ifyouneedtorankcontacts,rankthemostrecently

usedhighest(orevenrankalphabetically).Ifmachinelearningisnotabsolutelyrequiredforyour

product,don'tuseituntilyouhavedata.



Rule#2:First,designandimplementmetrics.

Beforeformalizingwhatyourmachinelearningsystemwilldo,trackasmuchaspossibleinyour

currentsystem.Dothisforthefollowingreasons:



1. Itiseasiertogainpermissionfromthesystem’susersearlieron.

2. Ifyouthinkthatsomethingmightbeaconcerninthefuture,itisbettertogethistorical

datanow.

3. Ifyoudesignyoursystemwithmetricinstrumentationinmind,thingswillgobetterfor

youinthefuture.Specifically,youdon’twanttofindyourselfgreppingforstringsinlogs

toinstrumentyourmetrics!

4. Youwillnoticewhatthingschangeandwhatstaysthesame.Forinstance,supposeyou

wanttodirectlyoptimizeonedayactiveusers.However,duringyourearlymanipulations

ofthesystem,youmaynoticethatdramaticalterationsoftheuserexperiencedon’t

noticeablychangethismetric.



GooglePlusteammeasuresexpandsperread,resharesperread,plusonesperread,

comments/read,commentsperuser,resharesperuser,etc.whichtheyuseincomputingthe

goodnessofapostatservingtime.Also,notethatanexperimentframework,whereyou

cangroupusersintobucketsandaggregatestatisticsbyexperiment,isimportant.See

Rule#12.



Bybeingmoreliberalaboutgatheringmetrics,youcangainabroaderpictureofyoursystem.

Noticeaproblem?Addametrictotrackit!Excitedaboutsomequantitativechangeonthelast

release?Addametrictotrackit!



Rule#3:Choosemachinelearningoveracomplexheuristic.

Asimpleheuristiccangetyourproductoutthedoor.Acomplexheuristicisunmaintainable.

Onceyouhavedataandabasicideaofwhatyouaretryingtoaccomplish,moveontomachine

learning.Asinmostsoftwareengineeringtasks,youwillwanttobeconstantlyupdatingyour

approach,whetheritisaheuristicoramachinelearnedmodel,andyouwillfindthatthe

machinelearnedmodeliseasiertoupdateandmaintain(seeRule#16).

MLPhaseI:YourFirstPipeline

Focusonyoursysteminfrastructureforyourfirstpipeline.Whileitisfuntothinkaboutallthe

imaginativemachinelearningyouaregoingtodo,itwillbehardtofigureoutwhatishappening

ifyoudon’tfirsttrustyourpipeline.



Rule#4:Keepthefirstmodelsimpleandgettheinfrastructureright.

Thefirstmodelprovidesthebiggestboosttoyourproduct,soitdoesn'tneedtobefancy.But

youwillrunintomanymoreinfrastructureissuesthanyouexpect.Beforeanyonecanuseyour

fancynewmachinelearningsystem,youhavetodetermine:

剩余23页未读，继续阅读

评论收藏

内容反馈

Rules of Machine Learning: Best Practices for ML Engineering

评论0

最新资源

Rules of Machine Learning: Best Practices for ML Engineering

评论0

最新资源

相关推荐

Two Scoops of Django 1.11: Best Practices for the Django Web Framework.pdf

Defensive Security Handbook: Best Practices for Securing Infrastructure

High Performance Spark: Best Practices for Scaling and Optimizing Apache Spark

Two Scoops of Django: Best Practices for Django 1.8

Two Scoops of Django: Best Practices For Django 1.6 （2014 PDF版）

High Performance Spark Best Practices for Scaling and Optimizing Apache epub

Scaling Software Agility: Best Practices for Large Enterprises part2

Two Scoops of Django : Best Practices for Django 1.8, Third Edition, 2015-05-20

Scaling Software Agility: Best Practices for Large Enterprises part1.

VMworld 2009 - PA4685:Best Practices for Successfully Selling Business Continuity and Disaster Recovery Solutions

Learning Spark Streaming Best Practices for Scaling and Optimizing Apache 无水印pdf

High Performance Spark Best Practices for Scaling and Optimizing Apache azw3

FPGA Design: Best Practices for Team-based Design FPGA设计:基于最好的团队实践

Machine Learning for Decision Makers

High Performance Spark Best Practices for Scaling and Optimizing Apache Spark

VMworld 2009 - TA2467: Best Practices to Increase Availability and Throughput for the Future of VMware

VMworld 2009 - TA11:Best Practices to Increase Availability and Throughput for the Future of VMware

人在回路机器学习Human-in-the-Loop_Machine_Learning.pdf

ChatGPT教程（终极版）最全整理

博客中Kmeans以及FCM算法数据（免积分）

hugging face的models-openai-clip-vit-large-patch14文件夹

神经网络回归预测--气温数据集

XGBoost+LightGBM+LSTM-光伏发电量预测

Mathwork+Matlab+编程手册

Stable-Diffusion WEBUI 简体中文语言包（2023.05.30更新）

基于Python+pytorch的图像处理+附完整代码图像处理，能够轻松实现图像的读取、显示、裁剪等还有机器学习等操作

时间序列预测模型实战案例(Xgboost)(Python)(机器学习)包括时间序列预测和时间序列分类，点击即可运行！

中文短信数据集-带标签