Airflow Là Gì

Airflow, một căn nguyên nguồn mở, được áp dụng để sắp xếp các luồng các bước dưới dạng biểu thứ chu kỳ theo phía (DAG) của những tác vụ theo cách lập trình. Một lịch trình luồng không khí được sử dụng đặt trên lịch các quy trình quá trình và đường ống cách xử lý dữ liệu. Giao diện người tiêu dùng Airflow cho phép dễ dàng hình dung các đường ống chạy trong môi trường xung quanh sản xuất, thống kê giám sát tiến trình của quy trình quá trình và xử lý sự gắng khi cần. Những tiện ích mẫu lệnh đa dạng mẫu mã được áp dụng để thực hiện các ca phẫu thuật phức hợp trên DAG.Bạn đang xem: Airflow là gì

Trong blog này, hãy thảo luận về lập định kỳ và tiến hành các các bước Talend với Airflow.Bạn đang xem: Airflow Là Gì

Điều kiện tiên quyết

Luồng khí 1.7 trở lên trên Python 2.7 Studio mở Talend (Tích hợp tài liệu lớn hoặc dữ liệu)

Ca sử dụng

Lập kế hoạch và triển khai các công việc Talend ETL cùng với Airflow.

Bạn đang xem: Airflow là gì

Bạn sẽ xem: Airflow là gì

Tóm tắc

người sáng tác Talend việc làm lịch trình các bước Talend giám sát và đo lường quy trình quá trình trong web UI

Mô tả công việc

Việc làm cho Talend ETL được tạo nên bởi:

tham gia application_id từ applicant_loan_info và loan_info như miêu tả trong sơ đồ dưới đây:


*

*

Đang tải dữ liệu trùng khớp vào loan_application_analysis bảng. Áp dụng một cỗ lọc bên trên LoanDecisionType lĩnh vực vào  các loan_application_analysis bảng nhằm cô lập những giá trị như Approved , bị trường đoản cú chối , và bị thu hồi . Áp dụng một cỗ lọc không giống trên các giá trị được tách riêng làm việc trên để tách bóc riêng LoanType thành Cá nhân , Tự động , Tín dụng cùng Nhà .

Công việc Talend đã tạo ra xây dựng và dịch rời đến địa chỉ máy chủ. Một DAG mang tên Loan_Application_Analysis.py được chế tạo với đường dẫn tương ứng của các tập lệnh để triển khai luồng theo yêu thương cầu.

Tạo folder DAG với khởi động lại máy chủ web luồng không khí

Sau khi setup Airflow, hãy triển khai như sau:

chế tạo ra thư mục DAG ( / trang chủ / ubfox / airflow / dags ) trong đường truyền Airflow. Dịch chuyển tất cả các .py tập tin vào thư mục DAG. Khởi rượu cồn lại máy chủ web Airflow bằng mã dưới đây để coi DAG này trong list UI: Loginto the AIRFLOW_HOME path-- eg.(/home/ubuntu/airflow) lớn restart webserver ---> airflow webserver to restart scheduler ---> airflow scheduler

Sau khi khởi cồn lại sever web, tất cả .py các tệp hoặc DAG trong thư mục sẽ được tham chiếu và cài vào list DAG UI web.

Xem thêm: Cách Liếm Âm Hộ Như Một Vị Thần Khiến Cô Ấy Nghiện, Hướng Dẫn Cách Bú Cô Bé Lên Đỉnh Sướng Nhất

Lập chiến lược công việc

Lưu ý : quá trình có thể được kích hoạt thủ công bằng phương pháp nhấp vào nút Run bên dưới cột Liên kết như hình dưới đây:

*

Cả hai công việc được lên lịch tự động hóa và được kích hoạt thủ công bằng tay có thể được xem như trong giao diện người dùng như sau:

*

Giám liền kề công việc

Xem biểu đồ

Các tâm trạng của các các bước được thể hiện dưới dạng bối cảnh như bên dưới đây:

*

Chế độ coi cây

Các tâm lý của các công việc cùng cùng với ngày thực hiện của các công việc được trình bày dưới dạng cây như bên dưới đây:

Xem Gannt

Các trạng thái của các quá trình cùng cùng với ngày tiến hành của các các bước được biểu đạt theo format Gannt như bên dưới đây:

Xem thời lượng tác vụ

Khi nhấp vào tab Thời lượng tác vụ , chúng ta có thể xem thời lượng tác vụ của toàn thể quá trình hoặc DAG theo định dạng bối cảnh như bên dưới đây:

Xem trường vừa lòng nhiệm vụ

Bằng phương pháp nhấp vào Duyệt > Trường hợp tác vụ , bạn có thể xem những trường hòa hợp mà các tác vụ đã chạy, như được hiển thị bên dưới:

Xem công việc

Bằng cách nhấp vào Duyệt > Công việc , chúng ta có thể xem cụ thể như thời gian bắt đầu, thời gian chấm dứt và người triển khai công việc, như được hiển thị trong sơ đồ bên dưới:

Xem nhật ký

Bằng bí quyết nhấp vào Duyệt > ViewLog , chúng ta cũng có thể xem cụ thể của nhật ký, như được hiển thị trong sơ đồ bên dưới:

Hồ sơ dữ liệu

Để thông số kỹ thuật dữ liệu của bạn, nhấp vào Quản trị viên > Kết nối để chọn loại kết nối cơ sở dữ liệu, như được hiển thị vào sơ đồ mặt dưới:

Biểu đồ

Các loại trực quan hóa khác nhau có thể được khiến cho thời gian tác vụ với trạng thái trọng trách bằng biểu đồ.

Để tạo các biểu vật dụng như thanh, đường, quần thể vực, v.v. Cho 1 DAG ví dụ bằng truy hỏi vấn SQL, nhấp vào Cấu hình dữ liệu > Biểu đồ > DAG_id , như được hiển thị vào sơ đồ mặt dưới:

thông báo gồm email

Để bật thông báo, hãy tiến hành như sau:

Định cấu hình cài đặt trong airflow.cfg tệp trong airflow_home đường dẫn, như hiển thị bên dưới:

Đặt lại setup email của người sử dụng thành cài đặt Gmail >  allow_less safe_apps > ON nhằm nhận thông tin qua e-mail từ Airflow.

Một email thất bại quá trình được hiển thị bên dưới đây:

Phần kết luận

Trong blog này, cửa hàng chúng tôi đã trao đổi về tác giả, lập lịch và giám sát và đo lường quy trình công việc từ giao diện người tiêu dùng web, tương tự như kích hoạt các công việc Talend trực tiếp từ giao diện người tiêu dùng web theo yêu cầu bằng cách sử dụng bash toán tử. Chúng ta có thể chuyển dữ liệu từ cơ sở dữ liệu này lịch sự cơ sở dữ liệu khác bởi generic_transfer toán tử.