MySQL Cluster 7.3 GA: Increasing Developer Flexibility and Simplicity

다음은 아래의 url을 번역한 것입니다.

http://dev.mysql.com/tech-resources/articles/mysql-cluster-7.3.html

 

Highlights: NoSQL JavaScript with node.js, Foreign Keys, and Auto-Tuned Clustering

The MySQL team at Oracle are excited to announce the General Availability of MySQL Cluster 7.3, ready for production workloads.

Oracle의 MySQL팀은 이번에 MySQL Cluster 7.3을 발표하였다.

Some might call MySQL Cluster 7.3 "the foreign keys release" - and sure enough it is a major engineering achievement to build a distributed database that enforces referential integrity across a shared-nothing cluster, while maintaining ACID compliance and cross-shard JOINs. But MySQL Cluster 7.3 is so much more as well - especially if you are developing new JavaScript-based services along with node.

이번에 MySQL Cluster 7.3에는 FK를 사용할 수 있게 기능을 추가하였다. 이것은 shared-nothing cluster사이에 cross-shared JOIN과 ACID를 유지하면서 referential integrity을 유지할 수 있게 한다는 것이다. 그러나, MySQL Cluster 7.3은 노드 사이에 JavaScript-based 기반으로 개발자들이 개발할 수 있게 되어서 더 좋게 되었다.

The design focus for MySQL Cluster 7.2 is enabling developer agility - making it simpler and faster than ever to build new services with a highly scalable, fault tolerant, real-time database. The key enhancements delivered by MySQL Cluster 7.3 are summarized below.

MySQL Cluster 7.2에서의 중점적인 디자인 핵심은 쉽게 개발할 수 있게 하는 것이었다. – 높은 확장성과 fault tolerant, real-time database을 가지고 새로운 서비르를 개발할 때 훨씬 단순하고 빨라졌다. 여기에 MySQL Cluster 7.3에 의해 key에 대한 기능이 추가되면서 다음과 같이 요약할 수 있게 되었다.

 

Figure 1: MySQL Cluster 7.3, Faster & Easier Application Development

• NoSQL JavaScript Connector for Node.js: Enables a single programming language and a single tool-chain by extending JavaScript from the client to the server, all the way through to the database, bypassing the SQL layer to deliver lower latency and reduced development cycles.
• NoSQL JavaScript Connector for Node.js: Client에서 서버로 연결하여 작동하는 확장된 JavaScript에 의한 single tool-chain이자 하나의 언어로서 사용이 가능하다. 이건 SQL layer를 통과하지 않고 바로 데이터베이스에서 데이터를 추출하는 방법으로 낮은 대기시간과 적은 비용을 소비하여 진행한다.  
• Foreign Keys: Strengthens data modeling and simplifies application logic by automatically enforcing referential integrity between different tables distributed on different shards, on different nodes ... even in different data centers
• Foreign Keys: 이 기능이 가능해 짐으로서 데이터모델링에 좀 더 강하게 되고 자동적으로 다른 테이블간의 데이터의 일관성을 보장함으로서 application을 단순하게 해준다.
• MySQL 5.6 Support: Developers can combine the InnoDB and MySQL Cluster NDB storage engines within a single database, using the very latest MySQL 5.6 release.
• MySQL 5.6 Support: 개발자들이 InnoDB와 MySQL Cluster NDB Storage Engine을 하나의 인스턴스에서 조합하여 사용할 수 있게 지원한다.
• Connection Thread Scalability: Increases cluster performance and capacity by improving the throughput of each connection to the data nodes, thus reducing the number of connections that need to be provisioned, and enabling greater scale-out headroom. Performance testing is showing up to 7.5x higher throughput per connection, enabling more client threads to use each connection.
• Connection Thread Scalability:  데이터 노드의 각 커넥션을 통한 처리량을 증대함으로 cluster의 성능을 증대하고 용량을 증가 시켰다. 그래서, 노드간에 필요한 커넥션의 수를 줄이고, 좀 더 scale-out할 수 있게 하였다. 각 커넥션에서 사용하는 client thread를 더 enable함으로서 커넥션당 처리량은 7.5x에서 더 높게 나타나는 것을 성능 테스트를 통해 확인할 수 있다.
• Auto-Installer: Get it all up and running in minutes! Graphically configure and provision a production-grade cluster, automatically tuned for your workload and environment, without ever resorting to "RTFM".
• Auto-Installer: 모두 설치하고 시작하는데 몇분이면 된다. RTFM을 재정렬할 필요 없이, 사용자의 workload와 환경을 자동적으로 설정하여 사용할 수 있게 한다.

Lets take a closer look at MySQL Cluster 7.3. You can also get started by downloading the MySQL Cluster Evaluation Guide.

그럼이제 MySQL Cluster 7.3에 대해 좀 더 자세히 알아보자.

MySQL Cluster NoSQL JavaScript Connector for Node.js

Node.js is hot! In a little over 3 years, it has become one of the most popular environments for developing next generation web, cloud, mobile and social applications. Bringing JavaScript from the browser to the server, the design goal of Node.js is to build new real-time applications supporting millions of client connections, serviced by a single CPU core.

Node.js는 인기가 많다. 약 3년 정도의 동안에, Node.js는 차세대 웹,클라우드, 소셜 애플리케이션 개발 환경에 가장 인기있는 것 중의 하나가 되었다. 브라우져에서 서버로 바로 자바스크립트를 가져다 주는 그와 같은 Node.js의 디자인으로 새로운 실시간 애플리케이션을 수많은 클라이언트 커넥션을 관리함으로서 하나의 CPU를 사용하는 환경에서 만들기 쉬운 모듈이다.

Making it simple to further extend the flexibility and power of Node.js to the database layer, the new JavaScript for Node.js Connector is part of MySQL Cluster 7.3.

database layer로 Node.js의 힘과 호환성을 증대하기에 쉽게 만들어진 Node.js 커넥터를 위한 새로운 자바 스크립트가 MySQL Cluster 7.3의 하나의 부분으로 개발됬다.

With its non-blocking, event-driven asynchronous design, MySQL Cluster is the perfect architectural fit to node in building real-time, distributed services with tens of thousands of concurrent connections. Support for on-line schema changes enable these services to evolve rapidly, without downtime.

블럭킹을 사용하지 않고, 이벤트에 대해 비동기적으로 디자인을 함으로 MySQL Cluster는 동시접속자가 10000을 넘나드는 실시간 서비스에 최적화되게 설계하였다. 또한, 다운타임없이 온라인상에서 스키마를 변경할 수 있게 지원한다.

Implemented as a module for the V8 engine, the new driver provides node with a native, asynchronous JavaScript connector that can be used to both read and write results sets directly from MySQL Cluster, without transformations to SQL. The benefits are three-fold:

V8 엔진을 위한 모듈로서 실행되는 새로운 드라이버는  비동기방식의 자바스크립트 커넥터를 제공하는데, 이것은 MySQL Cluster로 부터 SQL을 실행해서가 아닌 직접적으로 result set을 받아서 읽고 쓸 수 있게 지원한다. 이것에 대한 장점은 3가지가 있다.

1. Developers only need to use JavaScript to access the database, enabling rapid development cycles and faster time to market;

1. 개발자는 빠른 개발환경하에서 데이터베이스에 접속하는 자바스크립트를 사용하는 것만 필요하다.

2. The SQL layer is bypassed, delivering lower runtime latency and higher throughput for simple queries.

2. SQL layer는 사용하지 않고, 바로 빠른 시간에 간단한 쿼리로 높은 처리량을 가지고 데이터를 가져올 수 있다.

3. As the client connects directly to the cluster rather than a MySQL layer, there is no need for any failover handling as this is all handled at the data node layer.

3. client connector가 MySQL layer가 아니라 cluster 에 직접 접속하여 데이터를 가져오기 때문에 failover 핸들링을 할 필요가 없다. 그것은 data node layer에서 알아서 한다.

Figure 2: MySQL Cluster NoSQL Connector for Node enables end-to-end JavaScript development

Rather than just presenting a simple interface to the database, the Node.js module integrates MySQL Cluster's native API library directly within the web application itself, enabling developers to seamlessly couple their high performance, distributed applications with a high performance, distributed, database delivering 99.999% availability.

Developers can re-use JavaScript from the client to the server, all the way through to the database supporting real-time, high-scale services such as:

database에 대한 단순한 인터페이스를 제공하기 때문에, Node.js 모둘은 MySQL Cluster의 native API library 와 web application안에서 높은 성능 및 사용률을 보장하면서 융합할 수 있다.  개발자는 클라이언트에서 서버로 연결하는 자바 스크립트를 재사용할 수 있다. 이때 모든 작업은 실시간으로 데이터베이스를 통하면서 높은 성능을 가지고 이뤄낼 수 있기 때문에 다음과 같은 서비스에 사용할 수 있다.

• Process streaming data from digital advertising, real-time bidding and analytics systems
• 디지탈 광고, 실시간 입찰, 분석시스템을 통한 streaming data 프로세싱
  
• Gaming and social networks, powering the back-end infrastructure for serving mobile devices.
• 게임과 소셜 네트워크와 같은 모바일 서비스
  

As an added benefit, you can direct the connector to use SQL so that the same API can be used with InnoDB tables.

장점을 덧붙이자면, 사용자는 SQL을 사용하여 커넥터를 직접 연결하여 사용할 수 있는데, 같은 API를 사용하여 InnoDB 테이블의 데이터도 가져올 수 있다.

The JavaScript Connector for Node.js joins a growing portfolio of NoSQL interfaces for MySQL Cluster, which already include Memcached, Java, JPA and HTTP/REST. And of course, developers can still depend on SQL to execute complex queries and access the rich ecosystem of connectors, frameworks, tooling and skills.
Node.js를 위한 자바스크립트 커넥터는 MySQL Cluster를 위한 NoSQL 인터페이스의 포트폴리오를 따른다. 이것은 이미, Memcached, Java, JPA and HTTP/REST 을 포함하고 있다. 물론, 개발자는 아직 기존 개발 방식을 사용하여 SQL을 사용하는 것이 더 친숙할지도 모른다.

Whichever interface is chosen for an application, SQL and NoSQL can be used concurrently across the same data set, providing the ultimate in developer flexibility. Therefore, MySQL Cluster may be supporting multiple applications, each with different query models and access patterns:

어플리케이션을 위해 어떤 인터페이스를 선택하던지, SQL과 NoSQL은 결과적으로는 개발자의 편의를 제공하기 위해 같은 데이터를 동시에 제공하기 위해 사용할 수 있다. 그래서, MySQL Cluster 는 다음과 같은 쿼리 모델과 패턴을 사용할 수 잇게 제공한다.

• Relational queries using SQL
• 관계형 쿼리를 위한 SQL
  
• Key/Value or Key/Object based web services using Node.js, Memcached or REST/HTTP
• key-value, key-object로 구성된 데이터를 위한 Node.js, Memcached or REST/HTTP를 위한 모듈
  
• Enterprise applications with the ClusterJ and JPA connectors
• Enterprise application을 위한 ClusterJ와 JPA connector
  
• Ultra low-latency services using the C++ NDB connector.
• Ultra low-latency 서비스를 위한 C++ NDB Connector.
  

자세한 것은 레퍼런스에서 공부해 보도록 한다.

Foreign Keys

 

Foreign Key (FK) support has been one of the most requested enhancements to MySQL Cluster - bringing powerful new functionality while eliminating development complexity. FKs in MySQL Cluster enable new use-cases including:

FK는 사용자들의 중요한 요구 사항 중의 하나로서 제공되었다. -이것은 개발의 복잡도를 줄이기 위해 제공되는 새로운 기능 중의 하나로 추가되었다.  MySQL Cluster의 FK는 다음과 같은 경우에 사용할 수 있다.

• Packaged applications such as eCommerce and Web Content Management or 3rd party middleware that depend on databases with Foreign Key support;

• ecommerce와 Web content Management와 같은 Package로 만들어진 application이나 3rd party 미들웨어와 같이 database 에서 FK를 지원해 줘야 하는 경우

• Custom projects requiring Foreign Key constraints to be implemented at the database layer.
• 데이터베이스 Layer에서 FK를 지원해 줘야 하는 Custom 프로젝트 같은 경우

Implementation

 

The definition and behaviour of FKs largely mirrors that of InnoDB, allowing developers to re-use existing MySQL skills in new projects.

FK를 사용하는 방법이나 작동 방식은 개발자의 편의성을 위해 InnoDB와 거의 동일하다.

 

FKs are enforced within the MySQL Cluster data nodes, allowing any client API accessing the cluster to benefit from them - whether they are SQL or one of the NoSQL interfaces (Memcached, C++, Java, JPA, HTTP/REST or the new JavaScript for Node.js API).

Cluster는 어떤 interface를 사용하던지 그 안에서 FK 기능을 실현하기 위해 client API  접근을 허용하여 Cluster data node안에서 강제적으로 FK가 동작하도록 한다.

 

The core referential actions defined in the SQL:2003 standard are implemented:

SQL:2003 표준에 따라 다음과 같은 기능을 수행할 수 있다.

• CASCADE
• RESTRICT
• NO ACTION
• SET NULL

In addition, the design supports online adding and dropping of Foreign Keys, enabling the database to continue serving client requests during DDL operations.

추가적으로, FK를 온라인 상에서 추가하고, 제거할 수 있게 디자인 되어있어서, DDL 작업 중에 client의 요청사항을 계속 수행하게 할 수 있다.

 

Configuration and Getting Started

 

There is nothing special you have to configure - FK constraint checking is enabled by default.

FK를 설정하는 방법은 그리 특별한 것이 없다.

 

If you intend to migrate existing tables from another database or storage engine, for example from InnoDB, the DBA should drop FK constraints prior to the import process and then recreate them when complete.

만약, 사용자가 다른 데이터베이스나 스토리지엔진으로 테이블을 이관하려고 한다면, 예를 들어, InnoDB로 부터 이관하려고 한다면, DBA는 작업전에 FK 제약을 drop하고 작업을 진행한 후 다시 생성하여 완료할 것이다.

 

MySQL Workbench can be used to view the relationships and FK constraints between tables, as demonstrated in the figure below. The engineering team are working on the ability to introduce constraints between existing tables within Workbench.

MySQL Workbench는 테이블 사이의 관계도를 FK를 통해 확인할 수 있다. 엔지니어 팀은 이 툴을 통해서 존재하는 테이블 사이의 제약 사항을 확인할 수 있다.

 

 

 

Figure 3: Viewing MySQL Cluster FK Constraints with MySQL Workbench

 

MySQL 5.6 Support

 

The SQL layer of MySQL Cluster 7.3 is based on the latest MySQL 5.6 GA release, enabling developers to take advantage of enhanced query throughput and replication robustness.

MySQL Cluster 7.3의 SQL Layer는 MySQL 5.6 GA 최신버젼에 기초한다. 그래서, 개발자는 쿼리의 처리량과 replication 기능에 추가적인 잇점을 가질 수 있다.

 

Enhanced Optimizer for Improved Query Throughput

 

The MySQL 5.6 Optimizer has been re-factored for better efficiency and performance, and provides an improved feature set for diagnostics. The key MySQL 5.6 optimizer improvements include:

MySQL 5.6 Optimizer는 성능과 효율성 측면에서 더 좋게 개선되었다. 그리고, 다음과 같은 추가적인 기능들을 제공한다.

• Subquery Optimizations: Using semi-JOINs and materialization, the MySQL Optimizer delivers greatly improved subquery performance, simplifying how developers construct queries;
• Subquery 최적화: semi-JOIN 과 materialization(실체화)를 통해, MySQL Optimizer는 subquery 성능을 많이 향상시켰다. 그래서, 개발자는 좀 더 간단히 쿼리를 만들 수 있게 되었다.
• Multi-Range Reads: Improves query execution times by returning data more efficiently.
• Multi-Range Reads: 좀 더 효과적인 방법으로 데이터를 추출함으로서 쿼리 성능 시간을 향상시켰다.
• Better Optimizer Diagnostics: Enhanced EXPLAIN output and traces for tracking the optimizer decision-making process.
• 좀 더 나은 Optimizer 진단방법: explain 기능을 강화하고, optimizer 결과를 트래킹 할 수 있는  trace 기능을 강화하였다.

Cross-Data Center and Cross-Database Replication Flexibility

 

MySQL Cluster uses the MySQL Server's replication for geographic distribution of clusters, enabling users to:

MySQL Cluster는 지역적으로 떨어져 있는 Cluster 간에 MySQL의 Replication으로 연결하여 사용할 수 있다.

• Mirror complete clusters across regions for disaster recovery;
• Mirror로 Cluster를 구성하여서 특정 지역에서 사고 발생 시 다른 지역의 Cluster를 사용하여 시스템을 안정적으로 사용할 수 있다.  
• Replicate data from the MySQL Cluster NDB storage engine to InnoDB or MyISAM slaves, typically for active archives or report generation.
• MySQL Cluster NDB Storage Engine에 위치한 Replica 데이터를 InnoDB또는 MyISAM slave에 넣을 수 있다.

MySQL 5.6 includes the broadest set of replication enhancements ever delivered in a single release, with key features available to MySQL Cluster 7.3 including:

MySQL 5.6은 그 single release안에 replication 기능 강화를 위한 기능들을 포함하고 있는데, 그것은 다음의 내용과 같다.

• Replication event checksums to detect and prevent corrupt data being replicated between clusters;
• Replication event를 detect하고, cluster데이터 사이에 replicated된 잘못된 데이터를 막기 위해 checksum기능을 추가하였다.  
• Crash-safe, transactional replication, providing self-healing recovery in the event of an outage in the replication channel between clusters;
• cluster 사이의 replication channel 안에서 정전과 같은 상황 시 자체 healing recovery 기능을 제공하여 장애에 안전하고 문제없이 replication될 수 있게 하였다.

It is worth noting geographic replication in MySQL Cluster is active/active (multi-master) - so two remote clusters can both service write requests.

MySQL Cluster안의 지역적인 Replication이 active/active상태로 쓰인다면 주목할 가치가 있는데, 2개의 remote cluster가 모두 write 요청을 받아서 처리할 수 있기 때문에 그렇다.

 

For readers new to MySQL Cluster, Multi-Site Clustering can be used as an alternative to geographic replication when splitting a single cluster between data centers - though it should be noted that the datacenters should be connected via high speed, high quality WAN links.

MySQL Cluster는 지역적으로 떨어진 데이터 센터 사이에 하나의 Cluster를 분리하여 지역적인 Replication을 구성할 수  있는 Multi-Site Clustering을 제공한다. - 데이터센터 사이에 속도를 위해서 높은 성능을 가진 WAN Link를 설치해서 연결해야 한다.

 

This flexibility in cross-data center replication makes MySQL Cluster very popular for those applications that rely on the geographic distribution of data - for example PayPal's fraud detection system is deployed on MySQL Cluster, spread across five Amazon Web Services regions.

cross-data center replication의 호환성은 MySQL Cluster를 데이터에 대한 지역적인 분포에 의존하는 application에 매우 유용하다. 예를 들어, PayPal 의 fraud detection system과 같은 것이 그러한다. 이것은 MySQL Cluster 로 구성하여, 5개의 아마존 웹 서비스 지역에 분포되어있다.

 

Mixing and Matching with InnoDB

 

MySQL's pluggable storage engine architecture enables developers to configure InnoDB or MySQL Cluster alongside each other in a single application, determined by the attributes and access patterns of each table.

It is not uncommon to find most tables configured to use InnoDB, while those that have the highest write loads, lowest latency or strictest availability requirements configured to use MySQL Cluster.

MySQL의 pluggable storage engine architecture는 개발자들이 하나의 application에서 각테이블의 속성및 접근 패턴에 의해 결정하여 서로 InnoDB나 MySQL Cluster를 설정하여 사용할 수 있게 한다. 빠른 쓰기와 낮은 wait time,엄격한 가용성 요구사항을 가진 테이블은 MySQL Cluster에 구성하여 사용하면서 대부분의 테이블은 InnoDB로 사용하는게 흔한일은 아니다.

 

With support for MySQL 5.6 across both InnoDB and MySQL Cluster, developers can take advantage of the latest MySQL Server, whichever storage engine they are using.

MySQL 5.6이 InnoDB와 MySQL Cluster를 동시에 지원하는 것으로 인해, 개발자는 스토지리 엔진을 사용함으로서 얻을 수 있는 잇점을 얻을 수 잇게 되었다.

 

Connection Thread Scalability

 

To fully exploit the distributed architecture of MySQL Cluster, users are advised to configure multiple connections between their MySQL Servers or API nodes to the data nodes. This allows MySQL Cluster to execute many more simultaneous operations in parallel.

MySQL Cluster의 배포된 기술을 온전히 사용하기 위해, 사용자는 MySQL Server 또는 API Node에서 data node로의 멀티 커넥션을 설정하여 사용하는 것이 좋다. 이것은 MySQL Cluster를 좀 더 병렬로 동시에 접근하여 사용할 수 있게 한다.

 

Each of the connections to the data node layer consumes one of the 256 available node-ids, which in some scenarios can cap the scalability of the cluster.

data node layer의 각각의 커넥션은 256개의 사용할 수 있는 node-ids 중 하나를 소비한다. 이것은 cluster 의 확장성에 영향을 준다.

 

MySQL Cluster 7.3 increases the throughput of each connection so that fewer connections (and therefore node-ids) are needed to service the same workload. Performance testing shows up to 7.5x higher throughput per connection depending on workload, enabling more client threads to use a single connection.

MySQL Cluster 7.3은 각 커넥션의 처리량을 증가하게 하여서, 더 적은 커넥션들이(node-ids) 이 똑같은 작업량을 처리할 수 있게 하였다. 성능 테스트에서 커넥션당 처리량이 더 높아진것을 확인할 수 있다.  

 

As a result of Connection Thread Scalability, more nodes can be added to the Cluster to further scale capacity and performance without hitting the 256 node-id limit.

connection thread 의 확장능력에 대한 결과로, 더 많은 노드들을 Cluster에 추가할 수 있게 되었다.

 

MySQL Cluster GUI-Based Auto-Installer

 

The Auto-Installer makes it simple for DevOps teams to quickly configure and provision highly optimized MySQL Cluster deployments. Developers can spend more time innovating in their code, rather than figuring out how to install, configure and start the database.

Auto-Installer는 개발팀에서 빨리 설치할 수 있게 만들어 준다. 그래서, 개발에 좀 더 많은 시간을 소비할 수 있게 해준다.

 

 

Implemented with a standard HTML GUI and Python-based web server back-end, the Auto-Installer intelligently configures MySQL Cluster based on application requirements and available hardware resources, stepping users through each stage of cluster creation:

HTML GUI를 사용하여 화면구성이 이루어져 있고, 내부 코드는 Python으로 만들어져 있다. Auto-Installer는 application  요구사항과 유용한 하드웨어 리소스에 맞게 설정할 수 있게 제공하고, 사용자는 단계에 맞춰 진행만 하면 된다.

1. Workload Optimized: On launching the browser-based installer, users can specify the throughput, latency and write-load characteristics of their application;
2. Workload Optimized : 브라우저 인스톨러를 실행하면, 사용자는 처리량과 대기시간과 application의 write-load 특징을 선택할 있다.
3. Auto-Discovery: The Installer automatically discovers the underlying resources available from the local and remote servers that will make up the Cluster, including CPU architecture, cores and memory.
4. Auto-Discovery: 인스톨러는 자동적으로 로컬과 리모트 서버에서 발생할 수 있는 잠재적인 리소스 이용량을 찾아낼 수 있다.

With these parameters, the installer creates optimized configuration files and starts the cluster.

이 파라메터들을 가지고, 인스톨러는 최적화된 설정 파일을 생성하고, 그것으로 클러스터를 시작한다.

 

Figure 4: Automated Tuning and Configuration of MySQL Cluster

 

The user remains in complete control of the installation:

사용자는 설치를 완벽하게 제어할 수 있다.

• Individual configuration parameters can be modified by the user;
• 사용자가 개인적으로 직접 설정 파라메터를 수정할 수 있다.
• The user may override the topology defined by the installer, specifying which hosts run each of the cluster processes;
• 사용자는 인스톨러에 의해 정의된 topology를 직접 각각 클러스터 프로세스를 실행하여 덮어쓰게 할 수 있다.
• The Cluster can be remotely started and stopped from a single browser window.
• 클러스터는 브라우저를 통해, 실행시킬 수도 중단 시킬수도 있다.

Developed by the same engineering team responsible for the development of the MySQL Cluster database, the installer provides standardized configurations that make it simple, quick and easy to build stable and high performance clustered environments.

MySQL Cluster 를 개발한 동일한 개발팀에 의해 개뱔된 이 인스톨러는 빠르고 쉽게 성능 좋은 클러스터 환경을 구축할 수 있게 표준화된 구성을 제공한다.

 

 

 

Figure 5: DevOps maintains complete control over Cluster configuration and deployment