Giải pháp lưới dữ liệu và các mẫu trình tăng tốc

Mar 21 2022
Chúng ta thường xuyên bận tâm đến công nghệ Lưới Dữ liệu trong khi bỏ qua những kết quả kinh doanh đáng kinh ngạc mà nó có thể mang lại. Dưới đây là một số cơ hội tốt nhất cho Data Mesh trong doanh nghiệp.

Chúng ta thường xuyên bận tâm đến công nghệ Lưới Dữ liệu trong khi bỏ qua những kết quả kinh doanh đáng kinh ngạc mà nó có thể mang lại. Dưới đây là một số cơ hội tốt nhất cho Data Mesh trong doanh nghiệp.

Ảnh của Payton Tuttle trên Unsplash

Mang lại kết quả kinh doanh vượt trội với Lưới dữ liệu

Giống như nhiều người trong số các bạn, tôi là một nhà công nghệ và tôi thực sự thích đi sâu vào công nghệ Lưới dữ liệu cấp thấp. Nhưng kinh nghiệm của tôi cho thấy việc hiểu lợi ích của Data Mesh cũng quan trọng như các chi tiết triển khai của nó.

Tại sao? Vâng, tôi cho rằng, thực tế là bất kỳ cuộc hành trình nào của Data Mesh sẽ không phải là một nỗ lực tầm thường và có thể sẽ tiêu tốn hàng triệu đô la. Tuy nhiên, ai đó phải chọn tab. Và để giải quyết vấn đề này, chúng ta nên chuẩn bị để trả lời một câu hỏi rất thiết thực: Data Mesh có thể đạt được những kết quả kinh doanh nào?

Trong loạt bài này, tôi sẽ giới thiệu một số mẫu “giải pháp” và “bộ tăng tốc” kết hợp Sản phẩm dữ liệu và các khả năng của Lưới dữ liệu để mang lại kết quả kinh doanh thực tế và hữu hình. Các bài tiếp theo của loạt bài này sẽ khám phá chi tiết từng giải pháp và các mẫu máy gia tốc.

Bài viết này giả định rằng bạn có hiểu biết cấp cao về Data Mesh. Nếu bạn cần một số thông tin cơ bản về Data Mesh, có một số bài viết tuyệt vời có sẵn tại đây (các mẫu), tại đây (kiến trúc), tại đây (nguyên tắc) và tại đây (các bài học kinh nghiệm).

Các mẫu lưới dữ liệu áp dụng cho các Hệ thống hoạt động và tương tác (không chỉ Analytics)

Data Mesh liên kết các hệ thống phân tích và hệ thống vận hành / tham gia thông qua một tập hợp chung gồm "hệ thống ống nước", cấu trúc tổ chức (quyền sở hữu, tư duy nền tảng) và các mối quan tâm về quản trị. Như Zhamak Dehghani đã chỉ ra trong cuốn sách gần đây của cô ấy “lưới dữ liệu gợi ý thu hẹp khoảng cách và vòng lặp phản hồi giữa hai mặt phẳng [phân tích và hoạt động], thông qua dữ liệu được chia sẻ như một sản phẩm và được định hướng xung quanh các miền. Lưới dữ liệu kết nối hai mặt phẳng [phân tích và hoạt động] theo một cấu trúc mới - mạng lưới các sản phẩm và ứng dụng dữ liệu được kết nối ngang hàng ”.

Nhưng tôi sẽ đi xa hơn một chút. Tôi đề nghị rằng các nguyên tắc của Lưới dữ liệu - quyền sở hữu dữ liệu, dữ liệu như một sản phẩm, tự phục vụ và quản trị liên kết - có thể được áp dụng tốt như nhau cho các hệ thống hiểu biết sâu sắc cũng như hệ thống ghi chép và tham gia. Trên thực tế, ngoài “sản phẩm dữ liệu phân tích”, tôi còn ủng hộ “sản phẩm dữ liệu hoạt động” và “sản phẩm dữ liệu tương tác” mang sức mạnh của Lưới dữ liệu đến các hệ thống / dữ liệu hồ sơ điều hành doanh nghiệp và những sản phẩm thu hút khách hàng của chúng tôi.

Bây giờ, để rõ ràng, tôi đồng ý với quan điểm của Dehghani rằng Data Mesh hiện đang tập trung vào phân tích vì đó là vấn đề nan giải hiện nay, nhưng điều đó không thay đổi thực tế là các nguyên tắc và mẫu của Data Mesh có thể mang lại lợi ích cho nhiều thách thức trong toàn doanh nghiệp , bao gồm cả những yếu tố liên quan đến hệ thống / dữ liệu của hồ sơ hệ thống / dữ liệu của hợp đồng.

Vì vậy, khi tiếp tục với bài viết này, bạn sẽ thấy giải pháp Lưới dữ liệu và các mẫu trình tăng tốc không chỉ bao gồm các sản phẩm dữ liệu phân tích mà còn cả các sản phẩm dữ liệu hoạt động và tương tác.

Hình 1, Sản phẩm dữ liệu phân tích, hoạt động và tương tác

Giải pháp, Trình tăng tốc và Mô hình Nền tảng

Có một số nhóm mô hình được cấu tạo để mang lại kết quả kinh doanh vượt trội:

  • Các mẫu nền tảng bao gồm các mẫu cấp thấp như Thay đổi dữ liệu thu thập và các mẫu xương sống truyền sự kiện (danh sách đầy đủ được cung cấp ở phần sau của bài viết này). Các mẫu này thường được sử dụng để xây dựng Lưới dữ liệu doanh nghiệp cốt lõi nhưng cũng có thể được sử dụng trực tiếp để tập hợp một mẫu giải pháp. Những mẫu này đã được thảo luận chi tiết trong các bài viết trước .
  • Accelerator Patterns cung cấp các khối xây dựng cấp cao được cấu tạo để giải quyết các yếu tố quan trọng của một vấn đề kinh doanh. Trong nhiều trường hợp, chúng được lắp ráp từ các mẫu nền tảng.
  • Các mẫu Giải pháp là sự kết hợp của các mẫu nền tảng và bộ tăng tốc nhằm giải quyết một vấn đề kinh doanh thực tế.
  • Hình 2, Tóm tắt các mẫu lưới dữ liệu

Vì vậy, cũng giống như dữ liệu trong toàn doanh nghiệp được kết nối với nhau, các mẫu giải pháp cố gắng giải quyết những thách thức trong việc kết nối các hệ thống hiểu biết sâu sắc, sự tham gia và hồ sơ. Do đó, không có giới hạn thực tế nào khác ngoài trí tưởng tượng trong việc tạo và triển khai các mẫu giải pháp.

Khi bạn đọc qua những mô hình này, bạn có thể sẽ nhận ra rằng có nhiều cách để giải quyết những thách thức kinh doanh mà họ giải quyết. Các mẫu giải pháp và bộ tăng tốc này đã được lựa chọn vì Data Mesh, với các nguyên tắc cốt lõi và kiến ​​trúc bổ sung, đặc biệt phù hợp để giải quyết những thách thức này một cách thiết thực.

Vì vậy, chúng ta hãy đi sâu vào!

Dưới đây là một số mẫu giải pháp phổ biến nhất:

Hình 3, Các mẫu giải pháp: Lưới dữ liệu AI / ML, Hệ thống lưới dữ liệu cam kết

Mẫu giải pháp Lưới dữ liệu hỗ trợ AI / ML (Hình 3) cho thấy cách Mạng dữ liệu có thể thiết lập môi trường phân tích thời gian thực hỗ trợ truyền dữ liệu. Data Mesh sử dụng mẫu máy gia tốc “ Live Replica ” (sẽ thảo luận ở phần sau của bài viết này) môi trường này thu thập dữ liệu từ các hệ thống hoạt động - trong thời gian gần như thực - để cung cấp một hoặc nhiều nguồn lưu trữ dữ liệu. Nhưng cũng quan trọng không kém, Data Mesh sử dụng Thay đổi dữ liệu Capture , Event Streaming Backbone , và các mẫu cơ sở Kiểm toán / Nhật ký Thay đổi Bất biến để cung cấp dòng dữ liệu cần thiết cho khả năng tái tạo mô hình và khả năng truy xuất nguồn gốc được yêu cầu trong các ngành được quản lý như Dịch vụ tài chính và Chăm sóc sức khỏe. (Bài báo chuyên sâu sắp ra mắt)

Mô hình giải pháp Lưới Dữ liệu về Hệ thống Tương tác (Hình 3) đẩy nhanh việc triển khai “các hệ thống tương tác”. Trong trường hợp Lưới dữ liệu thường đề cập đến “hệ thống hiểu biết sâu sắc” (hay còn gọi là hệ thống phân tích), các mẫu Lưới dữ liệu có thể được áp dụng dễ dàng để thiết lập “hệ thống tương tác”. Các hệ thống tham gia này kết hợp thông tin từ nhiều nguồn để cung cấp cái nhìn nhất quán và tổng thể về dữ liệu khách hàng và tất cả dữ liệu liên quan cần thiết để mang lại trải nghiệm khách hàng vượt trội. Data Mesh sử dụng mẫu máy gia tốc Live Replica (sẽ được thảo luận ở phần sau của bài viết này) để di chuyển dữ liệu trong thời gian gần thực từ hệ thống hoạt động (hoặc sản phẩm dữ liệu) sang sản phẩm dữ liệu tương tác. (Bài báo chuyên sâu sắp ra mắt)

Hình 4, Các mẫu giải pháp: Lưới dữ liệu hiện đại hóa kế thừa, Lưới dữ liệu tăng tốc đám mây

Mẫu giải pháp Lưới dữ liệu hiện đại hóa kế thừa (Hình 4) sử dụng các mẫu bộ gia tốc StranglerCQRS (sẽ thảo luận ở phần sau của bài viết này) để di chuyển dữ liệu theo cách an toàn, đáng tin cậy - và không phô trương -. Và khi dữ liệu được di chuyển gần thời gian thực sang các nền tảng mới, một sản phẩm dữ liệu mới nhất quán được cung cấp có thể thay thế và theo thời gian, sẽ thay thế các nền tảng cũ cũ hơn. (Bài báo chuyên sâu sắp ra mắt)

Mẫu giải pháp Lưới Dữ liệu Tăng tốc Đám mây (Hình 4) sử dụng các mẫu Bản sao Trực tiếp và Bộ tăng tốc Strangle (sẽ thảo luận ở phần sau của bài viết này) để tăng tốc đáng kể quá trình di chuyển trên đám mây của bạn. Mẫu này di chuyển dữ liệu từ bất kỳ loại hệ thống nào (giao dịch hoặc phân tích) hoặc sản phẩm dữ liệu đến một kho lưu trữ dữ liệu thường trú trên đám mây an toàn. Điều cơ bản là tạo ra “giếng trọng lực” dữ liệu được yêu cầu để xây dựng các hệ thống gốc đám mây hiệu suất cao một cách hiệu quả. (Bài báo chuyên sâu sắp ra mắt)

Mẫu giải pháp Zero Trust Data Mesh (Hình 5) tạo ra một sản phẩm dữ liệu an toàn và đáng tin cậy. Tất cả các doanh nghiệp - đặc biệt là những doanh nghiệp trong các ngành được quản lý - quản lý dữ liệu nhạy cảm (ví dụ về quy định bao gồm GDPR , PCI , PII , HIPPA ). Tuy nhiên, việc bảo vệ dữ liệu đó rất tốn kém, tốn thời gian và khó có thể đúng. Và tôi chắc chắn rằng có quá nhiều dự án được tính đến đã bị trì hoãn do thiếu tầm nhìn xa để dự đoán nhu cầu bảo mật. Mẫu giải pháp này giải quyết vấn đề này bằng cách tạo quy trình có thể lặp lại (DevSecOps) để nhanh chóng tạo ra một Sản phẩm dữ liệu an toàn - tối quan trọng - không tin cậy -. (Bài báo chuyên sâu sắp ra mắt)

Mẫu giải pháp Mesh Quản lý Dữ liệu Tổng thể (MDM) (Hình 5) giúp hiểu dữ liệu sổ sách ghi chép hoặc dữ liệu chính và dữ liệu liên quan có liên quan của bạn nằm ở đâu. Các giải pháp MDM truyền thống tạo ra các bản sao của dữ liệu chủ yêu cầu các kỹ thuật đồng bộ và di chuyển dữ liệu phức tạp. Mặt khác, mẫu này sử dụng Danh mục sản phẩm dữ liệu doanh nghiệp để cho phép dữ liệu nằm trong các sản phẩm dữ liệu tự nhiên của chúng nhưng sử dụng tính năng có thể phát hiện của sản phẩm dữ liệu để thu thập các liên kết đến thông tin dữ liệu chủ động. (Bài báo chuyên sâu sắp ra mắt)

Các mẫu bộ tăng tốc

Các mẫu Accelerator là các khối xây dựng cấp cao, thường được xây dựng dựa trên các mẫu Lưới dữ liệu nền tảng, có thể được kết hợp để đẩy nhanh việc cung cấp các mẫu giải pháp. Dưới đây là một số phổ biến nhất.

Hình 6, Các mẫu bộ tăng tốc: Khả năng quan sát sản phẩm dữ liệu, Bảo mật sản phẩm dữ liệu

Mẫu trình tăng tốc khả năng quan sát sản phẩm dữ liệu cung cấp khả năng hiển thị về Sản phẩm dữ liệu (sắp có bài viết chuyên sâu) . Mẫu này hiển thị một số thuộc tính sản phẩm dữ liệu tĩnh và động quan trọng (có thể truy cập thông qua danh mục / trang tổng quan sản phẩm dữ liệu) bao gồm:

  • Di chuyển dữ liệu , cung cấp khả năng theo dõi sự kiện cấp thấp trong Sản phẩm dữ liệu nhưng cũng tương quan với các sự kiện xảy ra cả bên trong và giữa các sản phẩm dữ liệu; Thông tin này rất quan trọng để gỡ lỗi và có được khả năng hiển thị trong giao tiếp không đồng bộ cao trong và giữa các sản phẩm dữ liệu.
  • Siêu dữ liệu , cung cấp thông tin về dữ liệu được quản lý trong Sản phẩm dữ liệu.
  • Định nghĩa Giao diện , cung cấp khả năng hiển thị các phương pháp truy cập cho Sản phẩm dữ liệu.
  • Lược đồ sự kiện , cung cấp định nghĩa về các sự kiện được Sản phẩm dữ liệu sử dụng hoặc phát ra.
  • Chỉ số , cung cấp thông tin về các kiểu tiêu thụ sản phẩm dữ liệu.
  • Dòng dữ liệu , cung cấp dòng dữ liệu trong Sản phẩm dữ liệu.
  • Quyền truy cập dữ liệu , cung cấp khả năng hiển thị về bảo mật và các quyền truy cập cần thiết để truy cập sản phẩm dữ liệu.
  • Cảnh báo và Lỗi , cung cấp khả năng hiển thị các cảnh báo và lỗi hoạt động để hỗ trợ giám sát sản xuất.
  • Kiểm soát truy cập dựa trên vai trò , đảm bảo rằng chỉ các thực thể được ủy quyền (tức là đã được chỉ định vai trò được ủy quyền trong hồ sơ của họ) mới có thể truy cập Sản phẩm dữ liệu.
  • Kiểm soát truy cập dựa trên thuộc tính , bảo vệ quyền truy cập vào các cột, trường hoặc thuộc tính riêng lẻ của dữ liệu trong Sản phẩm dữ liệu.
  • Kiểm soát truy cập dựa trên hàng , bảo vệ quyền truy cập vào từng hàng hoặc nhóm dữ liệu liên quan trong Sản phẩm dữ liệu.
  • Hình 7, Các mẫu bộ tăng tốc: Khả năng hoạt động của sản phẩm dữ liệu, Bộ tách sóng cho các sản phẩm dữ liệu

Mẫu trình tăng tốc Strangler cho Sản phẩm Dữ liệu sử dụng Mẫu Strangler-Fig nổi tiếng là một cơ chế thực tế và khả thi để di chuyển dữ liệu từ Sản phẩm dữ liệu này sang Sản phẩm dữ liệu khác. Data Mesh sử dụng một số mẫu nền tảng bao gồm API, Thay đổi dữ liệu thu thập và xương sống của Dòng sự kiện để di chuyển dữ liệu một cách an toàn và đáng tin cậy giữa các sản phẩm dữ liệu. (Bài báo chuyên sâu sắp ra mắt)

Hình 8, Các mẫu bộ tăng tốc: Sản phẩm dữ liệu bản sao trực tiếp, CQRS cho các sản phẩm dữ liệu

Mẫu trình tăng tốc Live Replica tạo ra một bản sao dữ liệu trực tiếp gần thời gian thực (độ trễ từ 50–500 mili giây). Data Mesh sử dụng các mẫu nền tảng của Change Data Capture và Event Streaming Backbone để di chuyển dữ liệu an toàn, đáng tin cậy và trong thời gian gần thực sang sản phẩm dữ liệu được đồng bộ hóa (trong vòng 50–500 mili giây). (Bài báo chuyên sâu sắp ra mắt)

Mẫu tăng tốc CQRS cho Sản phẩm dữ liệu áp dụng mẫu CQRS nổi tiếng để tối ưu hóa hiệu suất bằng cách tách biệt các hoạt động đọc và ghi sản phẩm dữ liệu giữa các Sản phẩm dữ liệu. Data Mesh sử dụng các API, Change Data Capture và Event Streaming Backbone để phân tách các phương thức truy cập dữ liệu một cách duyên dáng và đáng tin cậy. (Bài báo chuyên sâu sắp ra mắt)

Các mẫu nền tảng

Các thành phần cấp thấp nhất - các mẫu cơ sở của lưới dữ liệu - được sử dụng để tạo ra cả mẫu máy gia tốc và giải pháp. Những điều này sẽ được thảo luận trong các bài viết khác:

Mạng dữ liệu doanh nghiệp là nền tảng mới nổi của doanh nghiệp kỹ thuật số thời gian thực. Giải pháp, Trình tăng tốc và Mô hình Nền tảng cung cấp một cách hiểu thực tế và giải quyết các thách thức kinh doanh và kỹ thuật phổ biến. Và bằng cách sử dụng các mẫu này, Data Mesh cung cấp một cách thực tế để giải quyết những thách thức này để tạo ra giá trị thực và kết quả kinh doanh hữu hình.

Hy vọng rằng bài viết này cung cấp cho bạn cái nhìn sâu sắc cần thiết để bắt đầu Lưới dữ liệu doanh nghiệp của riêng bạn!

***

Tất cả các hình ảnh trong tài liệu này trừ những nơi có ghi chú khác đã được tạo bởi Eric Broda (tác giả của bài viết này). Tất cả các biểu tượng được sử dụng trong hình ảnh đều là biểu tượng PowerPoint có sẵn và không có bản quyền.

Các ý kiến ​​được trình bày trong bài viết này là của riêng tôi và không nhất thiết phản ánh quan điểm của khách hàng của tôi.

© Copyright 2021 - 2023 | vngogo.com | All Rights Reserved