Satyanarayana Annepogu
Verified Expert in Engineering
Database Developer
Satya是一名高级数据工程师，拥有超过15年的IT经验，为银行和保险客户设计和开发数据仓库. 他擅长使用AWS和Azure数据工程堆栈设计和构建现代数据管道和流. Satya是使用AWS和Azure云数据技术交付企业数据解决方案现代化的专家.
Portfolio
Experience
Availability
首选的环境
Apache气流，AWS胶水，Azure Synapse, ETL实现 & Design, Amazon S3 (AWS S3), Databricks, AWS Lambda, Python 3, Data Engineering, Big Data, Python, APIs, REST APIs, SSH
The most amazing...
...我做过的项目是设计, developing, 并支持基于云的和传统的数据仓库应用程序.
Work Experience
Data Engineer
Millicom国际移动电话SA - Main
- 使用AWS Glue和Apache Airflow编排复杂的数据工作流, 确保ETL流程的有效和及时执行.
- 实现了动态和可扩展的数据管道，可以无缝地适应数据量的波动, 提高系统的可靠性和性能.
- 架构Lambda函数支持实时数据处理, 提供即时洞察和分析功能.
- 已建立的事件驱动架构, 允许自动缩放和资源优化, 从而产生响应迅速且具有成本效益的解决方案.
- 将S3实现为集中式数据存储库, 优化存储成本，简化数据访问. 利用S3的版本控制和生命周期策略等特性，确保数据完整性和高效的数据生命周期管理.
- 在数据处理管道中开发和应用复杂的业务规则, 用有意义的见解丰富分析层.
- 与业务涉众密切合作，以理解和实现特定于领域的规则, 确保处理的数据与业务需求精确一致.
- 进行了彻底的性能优化, 微调AWS胶水作业和气流dag，以最大限度地提高处理速度和资源效率.
- 实现可扩展的解决方案，以适应未来的数据增长, 为长期可持续性和适应性提供基础.
Data Analyst
海姆斯登服务公司
- 担任具有分析师技能的高级数据工程师，并从事ETL体系结构解决方案的工作.
- 执行需求评估并设计合适的数据流或数据批.
- 处理具有数据完整性的解决方案优化和端到端数据管道.
- 在AWS Glue中设计和开发ETL流程，以各种文件类型(JSON)迁移活动和API数据, ORC, 和Parquet)合并为Amazon RedShift.
- 设计和开发ETL流程，提取Salesforce数据并将其加载到Amazon Redshift.
AWS Data Engineer
IBM
- 使用AWS服务(如S3、Glue和RedShift)设计和实现数据管道.
- 使用Python和SQL开发和维护数据处理和转换脚本. 使用AWS数据库服务(如RDS和DynamoDB)优化数据存储和检索.
- 使用AWS Redshift和Athena构建和维护数据仓库和数据湖.
- 使用AWS IAM和KMS实现数据安全和访问控制. 使用AWS CloudWatch和其他监控工具对数据管道和系统进行监控和故障排除.
- 与数据科学家和分析师合作，提供数据见解并支持他们的数据需求.
- 使用AWS Lambda和其他无服务器技术进行自动化数据处理和部署.
- 使用AWS Step Functions和其他工作流工具开发和维护ETL工作流. 了解最新的AWS数据服务和技术，并推荐新的解决方案来改进数据工程流程.
Azure数据工程师和数据仓库顾问
IBM
- 使用ADF设计和开发数据摄取管道，使用Databricks和notebook使用PySpark设计和开发处理层. 领导数据管道的规划、开发、测试、实现、文档和支持.
- 实施项目的各个方面, 包括使用ADF暂停和恢复Azure SQL数据仓库, ADF管道将业务规则用例作为CSV的可重用资产, fixed width, and excel files.
- 与客户和IBM ETL团队合作, 分析了本地基于informatica的ETL解决方案, 并使用Azure数据工厂管道和Azure Databricks PySpark和Spark SQL设计了ETL解决方案.
- 与技术和产品利益相关者合作，了解面向数据的项目需求，并帮助实现解决方案的Azure基础架构组件，作为解决方案的一部分，以创建CPD应用程序的第一个可用迭代.
- 使用PySpark和Spark SQL为各种复杂的数据转换需求编排和自动化管道poc.
- 使用PowerShell脚本实现管道自动化，使用Azure数据工厂和Azure Databricks对管道进行性能调优.
高级ETL顾问和团队领导
IBM
- 在高要求的环境中开发解决方案，并为其他团队成员提供实际指导. 负责复杂的ETL需求，设计和评估需求的完整性和准确性.
- 实现了基于informatica的ETL解决方案，满足严格的性能要求. 与产品开发团队和高级设计师合作开发架构需求，以确保客户对产品满意.
- 确定需求对ETL团队是否可行，并进行影响评估，以根据需求确定工作量的大小.
- 开发了整个软件开发生命周期(SDLC)项目计划，以实现ETL解决方案并确定资源需求.
- 协助并验证所有设计阶段可交付成果的解决方案设计和生产. 管理构建阶段和质量保证代码，以满足需求并遵守ETL体系结构. 解决困难的设计和开发问题.
- 为团队提供项目目标的远景, 确保讨论和决定导致结束, 保持健康的团队动力.
- 使团队熟悉客户需求, specifications, design targets, 开发过程, design standards, techniques, 以及支持任务执行的工具.
- 在塑造和完善ETL Informatica整体架构方面发挥了积极的主导作用. 识别、推荐和实现ETL过程和体系结构改进.
高级ETL开发人员
Genesys
- 为类型二维开发映射，用于更新已有的行和在目标中插入新行. 负责执行与不同流程相关的格式化报告.
- 创建和开发动态报告，如向上钻取和向下钻取、串联和并行. 分析生成、失败、等待和计划的报告数量.
- 生成的内置仪表板, failed, waiting, 还有关于一刻钟的报告, hour, day, month, and year.
高级ETL开发人员
Magna Infotech Ltd
- 管理ETL开发和数据仓库应用程序支持活动.
- 获得了从维度建模到ETL设计的实践经验.
- 开发了用于更新现有行和在目标中插入新行的类型二维映射.
Experience
TCR (Tool Client Rate)工作台
TCR Desk应用程序迁移解决方案利用Azure良好架构框架的最佳实践，并遵守客户端的Azure服务治理规则，以确保解决方案的安全性, resilient, highly available, and scalable. 这些设计原则适用于在客户端的Azure生产环境中实现. 同样的设计将在灾难恢复和没有高可用性和灾难恢复的低级环境中实现.
Contribution
•使用ADF设计和开发数据摄取管道，并使用PySpark使用Databricks和notebook设计和开发处理层.
• Led the planning, design, development, testing, implementation, documentation, 以及数据管道的支持.
•与ETL团队合作，包括客户和IBM.
•分析本地基于informatica的ETL解决方案，并使用Azure数据工厂管道设计ETL解决方案, Azure Databricks, PySpark, and Spark SQL.
客户盈利能力洞察(CPI)
Contribution
•在高要求的环境中开发解决方案，并为其他团队成员提供实际指导.
负责复杂的ETL需求和设计.
•实施基于informatica的ETL解决方案，满足严格的性能要求.
•与产品开发团队和高级设计师合作，制定架构要求，以确保客户对产品满意.
•评估要求的完整性和准确性.
确定ETL团队的需求是否可行.
•进行影响评估，并根据需求确定工作量的大小.
制定完整的SDLC项目计划，实施ETL解决方案并确定资源需求.
•在塑造和完善ETL Informatica整体架构方面发挥了积极的主导作用.
Achmea Solvency II
《欧博体育app下载》规定，保险公司的所有重大风险都需要更加透明，以便能够计算出在不可预见的情况下需要保留多少资本作为保险. 在这些要求和法规的推动下，Achmea启动了价值管理计划.
一个重要的程序结果是通过集成的精算数据仓库实现了自动报告功能.
•版本1:人寿400保险
•版本2:非寿险
•版本3:ALI/AMIS
•释放-4:生命力
Contribution
•与建模师进行实际知识转移会议.
•领导设计各层的技术设计会议.
•分析功能设计文档，并为各个层准备分析表.
•广泛从事技术设计生成文档集的工作，并根据当前版本进行修改.
数据分析师- Azure数据工厂专业知识
Skills
Languages
SQL, Python, t - sql (transact - sql)， Python 3, Snowflake, XML, C, c++， Pascal, R, Scala
Frameworks
Apache Spark、Spark
Tools
Informatica ETL, Autosys, AWS Glue, Tableau, Spark SQL, Amazon Athena, Postman, Amazon Elastic MapReduce (EMR), Apache Airflow, AWS IAM, Amazon CloudWatch, Amazon QuickSight, GitHub, Excel 2016, Microsoft Excel, Jira, Control-M, Google Analytics, Power Query, Microsoft Power BI, Amazon SageMaker
Paradigms
ETL，维度建模，商业智能(BI)， OLAP, ETL实现 & 设计、看板、数据库设计、DevOps、数据科学
Platforms
Oracle, Azure, Databricks, 亚马逊网络服务(AWS), Amazon EC2, Apache Kafka, Linux, AWS Lambda, 谷歌云平台(GCP)
Storage
Netezza, IBM Db2, 数据库管理系统(DBMS), Data Pipelines, 关系数据库, Databases, PostgreSQL, SQL存储过程, Data Integration, 数据库体系结构, Oracle PL/SQL, NoSQL, 数据库事务, MySQL, 数据库生命周期管理, Azure SQL数据库, Azure SQL, JSON, Data Lakes, PL/SQL, Microsoft SQL Server, Redshift, Amazon Aurora, AWS数据管道服务, PostgreSQL 10, Amazon DynamoDB, 数据库管理(DBA), 数据库迁移, 数据库结构, OLTP, Apache Hive, SQL Server集成服务(SSIS), Amazon S3 (AWS S3), Datadog, Elasticsearch
Other
Azure Databricks, Unix Shell脚本, Informatica, Data Engineering, Pipelines, Data Management, Data Modeling, Data Architecture, Migration, Query Composition, 数据仓库设计, Data Warehousing, CSV文件处理, CSV, ETL Tools, 脚本语言, Orchestration, 技术项目管理, ETL Development, 数据转换, Normalization, Shell Scripting, Architecture, Data Analysis, Data Analytics, 数据库优化, PL/SQL Tuning, 数据构建工具(dbt), DAX, Transactions, Data, ETL Pipelines, Cloud, Data Feeds, Data Extraction, Leadership, Delta Lake, Azure数据工厂, Azure Data Lake, Azure Synapse, Azure SQL数据仓库(SQL DW), Informatica Cloud, 查询优化, 性能调优, Analytics, XLSX文件处理, Data Migration, APIs, Data Wrangling, Big Data, Amazon RDS, Excel Macros, Lambda Functions, 大数据架构, AWS云架构, CI/CD Pipelines, Webhooks, BI Reporting, CDC, 数据驱动的仪表盘, Business Services, Identity & 访问管理(IAM), 实体关系, Message Queues, SSH, Azure数据浏览器, Consulting, Machine Learning, Google Analytics 4, Data Visualization, Microsoft Power automation, Real Estate, Geospatial Data, AWS认证云从业者, Microsoft Azure, eCommerce, ETL Testing
Libraries/APIs
REST APIs, Pandas
Education
技术或电气工程学士学位
贾瓦哈拉尔尼赫鲁理工大学-海德拉巴，印度
Certifications
AWS认证云从业者
AWS
Azure数据工程师
Microsoft
微软Azure基础
Azure
如何使用Toptal
在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.
Share your needs
Choose your talent
开始你的无风险人才试验
对顶尖人才的需求很大.
Start hiring