Dùng Dagger và Gopython ký nguyên loại bỏ toàn bộ file YAML trong pipeline CI/CD
Hướng dẫn kỹ thuật sử dụng Dagger và Gopython để loại bỏ hoàn toàn file YAML trong pipeline CI/CD, thay bằng mã Python thuần túy để tăng tính linh hoạt và bảo mật.
Nguồn ảnh: Zezya · Pixabay Content License
Giới thiệu
Trong các hệ thống CI/CD hiện đại, file YAML thường được dùng để định nghĩa pipeline, nhưng việc này mang lại nhiều hạn chế về tính linh hoạt, bảo mật và khả năng kiểm soát. Bài viết này giới thiệu cách sử dụng Dagger và Gopython để thay thế hoàn toàn file YAML bằng mã Python thuần túy, giúp xây dựng pipeline CI/CD linh hoạt, an toàn và dễ bảo trì hơn.
Tại sao cần loại bỏ YAML trong CI/CD?
File YAML trong CI/CD (như trong GitHub Actions, GitLab CI, hoặc Drone CI) thường bị chỉ trích vì:
- Thiếu tính lập trình: Không thể dùng điều kiện, vòng lặp, hàm, hoặc logic phức tạp.
- Khó bảo mật: Mã YAML có thể bị xâm nhập hoặc thay đổi nếu không kiểm soát tốt.
- Khó kiểm thử: Không thể chạy test đơn vị cho logic pipeline.
- Khó mở rộng: Khi pipeline phức tạp, YAML trở nên khó đọc và duy trì.
Dùng Dagger để xây dựng pipeline bằng Python
Dagger là một công cụ lập trình để xây dựng pipeline CI/CD bằng code (thường là Python), cho phép bạn định nghĩa các bước làm việc như các hàm trong Python. Bạn có thể sử dụng VPS RAM lớn để chạy Dagger với hiệu suất cao.
Dưới đây là một ví dụ cơ bản sử dụng Dagger để build và test ứng dụng Python:
import dagger
async def main():
# Khởi tạo Dagger
client = dagger.Client()
# Lấy image Python
python = client.container().from_("python:3.11")
# Mount source code
src = client.host().directory("./src")
# Build và test
result = (
python
.with_directory("/src", src)
.with_workdir("/src")
.with_exec(["pip", "install", "-r", "requirements.txt"])
.with_exec(["python", "-m", "pytest"])
)
# Lấy kết quả
output = await result.stdout()
print(output)
# Chạy chương trình
import asyncio
asyncio.run(main())
Sử dụng Gopython để kiểm tra và xử lý mã Python trong pipeline
Gopython là một công cụ kiểm tra mã Python, giúp phát hiện lỗi cú pháp, kiểm tra kiểu dữ liệu và tối ưu hóa mã. Khi bạn xây dựng pipeline bằng Python, việc kiểm tra mã là rất quan trọng để đảm bảo chất lượng.
Chạy Gopython để kiểm tra mã Python trong dự án:
# Cài đặt Gopython
pip install gopython
# Chạy kiểm tra
gopython check ./src --strict
Thực hiện pipeline hoàn toàn bằng Python
Bằng cách kết hợp Dagger và Gopython, bạn có thể xây dựng một pipeline CI/CD hoàn toàn bằng Python, không cần file YAML. Ví dụ:
import dagger
import subprocess
async def build_and_test():
client = dagger.Client()
# Build image
image = (
client.container()
.from_("python:3.11")
.with_directory("/src", client.host().directory("./src"))
.with_workdir("/src")
.with_exec(["pip", "install", "-r", "requirements.txt"])
.with_exec(["python", "-m", "pytest"])
)
# Kiểm tra mã với Gopython
subprocess.run(["gopython", "check", "./src", "--strict"])
# Build và push image
result = await image.publish("myapp:latest")
print(f"Image published: {result}")
# Chạy pipeline
import asyncio
asyncio.run(build_and_test())
Thực hiện và kiểm tra
Để kiểm tra pipeline đã được xây dựng:
- Tạo một dự án Python với thư mục
srcvà filerequirements.txt. - Tạo file
pipeline.pyvới mã Python như trên. - Chạy:
python pipeline.pytrên VPS có Cloud VPS RAM lớn. - Đảm bảo Gopython được cài đặt và chạy kiểm tra mã.
Giải quyết sự cố
- Không chạy được Dagger: Kiểm tra Docker đã chạy và có quyền truy cập.
- Không tìm thấy Gopython: Cài đặt lại bằng
pip install gopython. - Yêu cầu quyền truy cập: Đảm bảo VPS có quyền truy cập vào thư mục nguồn.
Tài liệu tham khảo
Cấu hình Cloud VPS RAM cao tối ưu cho AI, Database & Cache
SSD NVMe Enterprise RAID 10, đường truyền CMC & FPT Quận 9 chống DDoS Anycast, Uptime SLA 99.99%.
VPS-4E
Đã gồm VAT 10%
- CPU: 4 vCPU
- RAM: 8 GB
- SSD: 50 GB NVMe
VPS-5E
Đã gồm VAT 10%
- CPU: 8 vCPU
- RAM: 16 GB
- SSD: 100 GB NVMe
