把整个国家变成体素:一条地理数据管线的实践
瑞士政府的开放数据门户上,有一份埃格尔北壁的高程图,采样精细到你几乎能摸到岩石的纹理。一位开发者把这类文件喂进体素管线,最终做成了一款可玩的产品:整个瑞士被还原为1:1的Minecraft世界,每个方块代表一米,马特洪峰的高度和陡峭程度都与真实一致。下载包压缩后有24...
数据工程、数据分析、可视化,以及支撑现代数据团队的工具。
2 篇文章瑞士政府的开放数据门户上,有一份埃格尔北壁的高程图,采样精细到你几乎能摸到岩石的纹理。一位开发者把这类文件喂进体素管线,最终做成了一款可玩的产品:整个瑞士被还原为1:1的Minecraft世界,每个方块代表一米,马特洪峰的高度和陡峭程度都与真实一致。下载包压缩后有24...
K-means是每个人在入门机器学习课上都会学到,然后职业生涯里却一直用错的算法。它看起来极其简单:选定K个聚类中心,把每个点分配给最近的中心,再把中心移动到其所属点的均值处,反复迭代。三行伪代码就够了。问题在于,这种简单性背后藏着一连串的陷阱,一旦把它用在真实的大规模数据上,这些陷阱就会接连爆发。