SparkSQL作为Apache Spark项目中的一个模块，专注于提供结构化数据处理能力，支持SQL和Hive查询语言，是大数据处理领域的关键技术之一。TDW（Teradata Warehouse）是一个大数据平台，提供了数据接入、任务调度、即时查询、机器学习等一系列功能，而TDWSparkSQL则是在TDW平台基础上对SparkSQL模块的封装与优化。
TDWSparkSQL简介及使用部分，提到了TDW大数据平台集成了Lhotse（任务调度）、IDE/IDEX（即时查询）、Hive、SparkSQL等多种技术组件，可以支持图像处理、XML解析、深度学习等多种计算任务，并且集成了HiveServer和SparkClient等客户端工具，这为SparkSQL的使用和优化提供了丰富的工具集。
TDWSparkSQL内部机制方面，TDW采用的SparkSQL版本是基于SparkSQL 1.6，并且正在测试基于SparkSQL 2.1的版本。TDW对社区SparkSQL进行了改进，包括兼容TDWHive语法和数据格式、支持二级分区、Hive UDF函数、Python UDF/UDAF、以及自动分区功能等。
兼容性改造的介绍揭示了TDW为了使***QL与TDW平台和Hive更好地协同工作，进行了包括SQL语法、元数据格式和数据存储格式方面的改造。特别提及了对TDWHive元数据存储格式的支持、Protobuf表、PG表的兼容等细节。
对于Driver离散化的讨论，强调了将SparkDriver从HiveServer分离出来，以减轻HiveServer的压力，并限制在HiveServer上运行SQL的并行度。此外，还提到了通过yarn-cluster形式提交SQL作业，并通过引入新的通信协议来获取作业状态和数据返回，以此提高系统的效率和稳定性。
TDWSparkSQL的自动分区功能允许自动设置分区数目，并让shuffle并行度由数据量决定，这有助于避免手动设置可能产生的性能瓶颈。
TDWSparkSQL的使用方式主要通过IDE（集成开发环境）介绍，提到了在TDW集成开发环境中如何配置连接、选择应用组以及执行SQL任务。TDWSparkSQL的实践与调优部分，则可能涉及到了实际操作中的一些调优技巧和经验分享。
总体来看，TDWSparkSQL的开发与实践分享2017年所侧重的最后优化重点可能包含以下几点：
1. 对SparkSQL版本的更新和优化，包括兼容新旧版本的特性以及性能改进。
2. 兼容性改造，确保TDWSparkSQL能够与TDW平台现有组件和Hive无缝集成。
3. 性能优化，包含Driver离散化和自动分区功能，以提高SparkSQL在处理大数据时的效率。
4. 对于作业调度和资源管理的优化，使得系统能更好地利用资源，同时减少对单点的压力。
5. 改进SQL作业的提交方式和状态获取，提供更稳定高效的数据处理能力。
6. 自动化分区和并行度调整，让系统根据数据量自动决定分区数目和并行度，以适应不同规模的数据处理任务。
7. 通过集成开发环境提供友好的用户操作界面，简化开发和调试过程。
这些知识点对于使用和理解TDW平台上的SparkSQL优化具有重要价值，能够帮助开发者提升处理大数据的能力和效率。
