Sebastian Brestin

Context:
We wanted to improve the user and developer experience. The Spark application was presenting performance problems, and tech debt became a blocker for adding new functionality.

Solution:
重新设计Spark应用程序，使其更加健壮和灵活的数据科学家和软件工程师:
Partitioned data to avoid shuffles and data skew
减少分区数量，同时增加分区大小，以避免数据倾斜和驱动程序拥塞
使用策略缓存以避免重新计算，并通过减少查询计划来改进计算
将应用程序重构为管道，以便工程师将功能作为插件添加到管道中
在具有相等比较值的行的情况下生成确定性Spark输出

Results:
减少了50%的执行时间，增加了配置灵活性, 在第二轮中，哪一个提高了数据科学家的生产力
减少了技术债务，从而改善了开发时间和开发体验
Improved functional tests by having a deterministic output

Context:
我们希望提高集群的可用性，因为它被长时间运行的Spark作业阻塞了.

Solution:
Researched to increase Spark S3 parquet write performance. To analyze Spark jobs, 我已经使用Spark History Server和Ganglia来查明时间花在哪里，并比较配置修复.

Results:
Increased write performance by a factor of three.

Context:
我们希望提高产品的稳定性和我们的开发过程.

Solution:
为Spark管道实现健壮和通用的功能测试框架;
Allowed multiple instances of a test to run in parallel
允许测试作为套件的一部分以管道方式运行
Simulated production runs by using a representative dataset

Results:
Faster POC development
Reduced development time by 50%
Increased product stability
通过使用更少的资源模拟生产运行，降低了AWS成本

Context:
我们的一些Spark应用程序是长时间运行长达9小时的应用程序. 在此时间范围内，节点可能会内存不足或失去连接. 我们希望我们的应用程序运行得更快，并且在发生故障时更容易恢复.

Solution:
将Spark应用程序从一个单体重新设计为一个模块化的Spark应用程序，它可以编写中间结果并可以并行运行.

Results:
No failures due to out of memory
Easier to recover by re-running only the failed module

Context:
我们想要一个流失模型，我们可以用它来预测我们会员的未来，并将其集成到其他Spark应用程序中.

Solution:
构建了一个Spark应用程序，用于从多个来源摄取1TB的数据，并生成40k个可能的特征，数据科学团队可以根据这些特征执行EDA和测试模型.

Context:
数据科学团队必须最有效地使用数据和我们的系统来提高生产力.

Solution:
实现新的应用程序api，以帮助其他团队提高生产力;
1. Wrote better API for complex Spark or Cloud functionality
2. Wrote wrappers for complex application configuration
3. Implemented integration with adjacent applications
4. Wrote documentation and Unit Tests
5. Ran data analysis and data quality checks

For a minimum viable product, 我设计并实现了一个定制的Django MapReduce系统，用于将一个对象与其他数百万个对象进行匹配. 系统在60个Docker节点上运行，一个匹配任务在60秒内运行. 为了测试系统，我扩展了Django测试框架，以便在本地测试Django自定义MapReduce系统，而不需要通过使用多个进程和核心来生成虚拟机.

该项目旨在实时(或尽可能接近)将可变对象(用户可以创建/更新)与数百万个不可变对象进行匹配。.

We chose Apache Spark because of its Python support, rich analytics toolkit, and streaming capabilities.

The solution was split into three Spark apps:
01. 使用Kafka和Spark流从数据源中检索可变数据, extracting features and saving the result to Cassandra.
02. 使用Kafka和Spark流从数据源中检索不可变数据, 提取特征并将结果保存到磁盘作为Parquet文件.
03. Loads data from Parquet files, 计算所有不可变对象与来自Cassandra的单个可变对象之间的匹配百分比.

In order to query data in a reasonable amount of time, 我使用Elasticsearch对PostgreSQL表(数十亿条记录)进行了反规范化. 这将读性能提高了两个数量级，但增加了写损失. 因为只有部分文档频繁更改, 这个问题通过使用Elasticsearch对复杂字段的批量部分更新和Groovy脚本解决了.

I led the implementation of a single-sign-on platform, using OpenID Connect, Django, PostgreSQL, Angular/TypeScript和AWS(它集成了客户的整个产品套件).

While working as a contractor, I used NLTK, Scikit-learn, AWS Transcribe, AWS Lambda运行情绪分析以改善客户支持.

我领导了一个使用Django的高内容流平台的实现, PostgreSQL, Elasticsearch, and AWS. 该系统允许使用RESTful API高效地推送/提取内容.

在使用Spark时，我注意到缺乏关于PySpark的适当文档. 这种情况促使我将这篇文章放在一起，旨在全面解释使用PySpark的二级排序设计模式.

The article covers two solutions. 第一个解决方案使用Spark的groupByKey，它在reducer阶段进行排序，而第二个解决方案使用Spark的repartitionAndSortWithinPartitions，它利用shuffle阶段和迭代器到迭代器的转换来更有效地排序，而且不会耗尽内存.

我写了一篇关于PostgreSQL和数据分区的文章，并提供了使用Django web框架的实际示例.

本文的第一部分介绍了对数据进行分区的原因，以及如何在PostgreSQL中实现分区.

第二部分描述了在使用web框架(如Django)时可以利用PostgreSQL分区的一些解决方案.

与PostgreSQL打交道多年的经历激发了我写一篇任何开发人员都应该知道的关于索引的文章.

In the first section of the article, 我将介绍PostgreSQL b树索引结构的基本原理，重点介绍b树数据结构及其主要组件——叶节点和内部节点, what are their roles, 以及在执行查询时如何访问它们(这个过程也称为索引查找). The section ends with the index classification, 更广泛地了解索引关键度，这有助于解释对查询性能的影响.

In the second section, 下面是对查询计划的快速介绍，以便更好地理解后面的示例.

In the third section, I introduce the concept of predicates, 并且解释了PostgreSQL根据索引定义和可行性对谓词进行分类的过程.

最后一节将深入讨论扫描的机制以及索引如何定义, data distribution, 甚至谓词的使用也会影响查询的性能.