# 在线机器学习
结课分为4个作业（80分）和一个project（20分），是一个非常困难的选修课，慎选。四次作业都是University of Washington的Online Learning的作业，如果数学一般而且没有认真学过肯定是不会做的。
## Homework
作业答案我综合了往届学长的，并且问了很多人，不保证对，这里加水印主要是防止有人直接拿我的作业交了。
作业在`作业.zip`中，答案在`作业答案.pdf`。
## Project
要求在`项目说明与要求.pdf`。运行的代码在`pyBandits`。
这个代码是与老师给的代码略有出入的，因为老师给的源代码是随机生成的数据集，没法替换，所以做了处理，如果你要用老师的代码，就不用参考本仓库了。
运行代码的命令如下：
```bash
cd pyBandits
python demo.py
```
最后的运行结果就是一个图，四个算法跑这个数据集regret的大小，你去比较。
**注意这里的代码没数据集，需要你自己替换，没换是肯定运行不起来的**
### 改代码的部分
**替换后记得修改arm目录下MyArm.py中的一行，改下名字，这里是程序读取数据集的目录**
`self.csv=pandas.read_csv("data\\YourDataset.csv")`
**然后demo.py里**
`env = MAB([MyArm(p) for p in range(0,9)])`
**你数据集N列，range里面就是0,N**
除此之外，如果还报错，那就是reward太大了，在`MyArm.py`中，把`self.expectation`和`result`除以一个常数，调小（原代码这两个地方没有5000）
### 数据集
运行的关键主要是替换数据集，在里面的data下面的`YourDataset.csv`，自行替换你自己的数据集，因为数据集重复会判断抄袭，导致两个人都出问题。这里主要说下数据集格式。
介绍数据集之前说下多臂老虎机问题。一个赌徒面前有N个老虎机,事先他不知道每台老虎机的真实盈利情况，他如何根据每次玩老虎机的结果来选择下次拉哪台或者是否停止赌博，来最大化自己的从头到尾的收益。
所以数据集格式一般就是N列，代表几个老虎机，也就是你要选择的东西，然后几千行或者更多，N可以变，比如我这里就是9列，里面的数据就是这个东西在每一步的价值，说通俗一点就是，我这里9个东西，程序每运行一步，我就在这九个里面选一个东西，获得它的收益，接着下一步。比如在第一步的时候，我可能随机选到了msft，获得了30收益，大致意思是这样。
所以这个代码能运行的数据集就是这样N列几千行的数据，列代表选择的对象，也就是ARM，行就代表每一步，数值代表收益
**必须每个人自己找**
**必须每个人自己找**
**必须每个人自己找**
写报告时关于算法的内容，都在论文里，可以参考这些论文，放在了`参考文献`文件夹。
课程作业在线机器学习.zip
需积分: 5 128 浏览量
2024-03-10
22:21:13
上传
评论
收藏 58.39MB ZIP 举报
课程作业在线机器学习.zip （87个子文件） 
作业.zip 2.81MB
pyBandits 
Evaluation.py 1KB environment __init__.py 206B Environment.py 240B __pycache__ __init__.cpython-39.pyc 363B Environment.cpython-39.pyc 635B MAB.cpython-39.pyc 1KB Environment.cpython-38.pyc 614B MAB.cpython-38.pyc 1KB __init__.cpython-38.pyc 342B MAB.py 840B data YourDataset.csv 0B Result.py 960B policy UCBV.py 1KB __init__.py 179B Policy.py 360B IndexPolicy.py 692B klUCB.py 1KB UCB.py 733B BayesUCB.py 950B KLempUCB.py 2KB __pycache__ BayesUCB.cpython-38.pyc 1KB Policy.cpython-38.pyc 502B Policy.cpython-39.pyc 523B Thompson.cpython-38.pyc 1KB UCBV.cpython-38.pyc 2KB KLempUCB.cpython-39.pyc 2KB IndexPolicy.cpython-38.pyc 1KB IndexPolicy.cpython-39.pyc 1KB __init__.cpython-39.pyc 330B BayesUCB.cpython-39.pyc 1KB UCB.cpython-39.pyc 1KB Thompson.cpython-39.pyc 1KB klUCB.cpython-38.pyc 2KB UCBV.cpython-39.pyc 2KB KLempUCB.cpython-38.pyc 2KB __init__.cpython-38.pyc 309B klUCB.cpython-39.pyc 2KB UCB.cpython-38.pyc 1KB Thompson.py 854B kullback.py 6KB
README.txt 3KB posterior __init__.py 192B Beta.py 854B Posterior.py 258B __pycache__ Posterior.cpython-38.pyc 619B Beta.cpython-38.pyc 1KB __init__.cpython-39.pyc 347B Beta.cpython-39.pyc 1KB Posterior.cpython-39.pyc 640B __init__.cpython-38.pyc 326B arm __init__.py 165B Poisson.py 682B Arm.py 193B Gaussian.py 431B MyArm.py 679B Exponential.py 564B Bernoulli.py 395B __pycache__ Arm.cpython-39.pyc 636B MyArm.cpython-39.pyc 996B Poisson.cpython-39.pyc 1KB Arm.cpython-38.pyc 615B __init__.cpython-39.pyc 313B Exponential.cpython-39.pyc 1KB Bernoulli.cpython-39.pyc 825B MyArm.cpython-38.pyc 1006B Poisson.cpython-38.pyc 1KB Exponential.cpython-38.pyc 1KB __init__.cpython-38.pyc 292B Bernoulli.cpython-38.pyc 804B C setup.py 408B kullback.c 8KB Makefile 163B README.txt 457B __pycache__ kullback.cpython-38.pyc 5KB Evaluation.cpython-39.pyc 2KB Result.cpython-38.pyc 1KB Result.cpython-39.pyc 1KB kullback.cpython-39.pyc 5KB Evaluation.cpython-38.pyc 2KB demo.py 2KB 作业答案.zip 27.61MB
项目说明与要求.pdf 198KB README.assets 
image-20230109124537070.png 7KB image-20230110081023527.png 90KB 作业答案.pdf 28.01MB README.md 3KB资源评论
