简化的Lambda示例
该存储库是Flickr的简化Lambda体系结构的工作示例。 该体系结构用于使用HBase以巨大的规模融合Flickr的Magic View的批量和实时数据。
介绍
Flickr的Magic View通过应用我们的尖端计算机视觉技术自动对照片流中的照片进行分类,并根据照片中的内容以无缝视图呈现,从而避免了整理自己的照片的麻烦。 所有这一切都是实时发生的-上传照片后,便会对其进行分类并放入“魔术视图”中。
挑战
我们的计算足迹使在Flickr上轻松为超过120亿张图像创建每个用户的Magic View类别成为可能; 但是,我们还需要将其与通过实时上传照片所生成的数千万个标签来更新类别结合起来。 理想情况下,该系统必须允许我们有效地但独立地管理仅在请求时才计算最终状态的批量和实时数据。 我们求助于Yahoo的Hadoop堆栈,以找到一种构建所需规模的方法。
我们的解决方
评论0
最新资源