Сбой при монтировании тома оператора модуля Kubernetes, в результате чего модули не создаются

Я пытаюсь преобразовать задание искровой отправки, которое настраивалось через файл yaml, в dag воздушного потока и запустить его через воздушный поток. Задание не выполняется, когда я пытаюсь смонтировать том и загрузить конфигурационную карту. Блок кода volumne mount выглядит примерно так в yaml

  volumeMounts:
    - mountPath: /etc/jtp
      name: config-vol

И конфигурационная карта, которую нужно загрузить, выглядит примерно так

  volumes:
  - configMap:
      name: qa-jtp-llt
    name: config-vol

Теперь, когда я пытаюсь перевести то же самое на свой даг, он превращается во что-то вроде этого

 

from kubernetes.client import models as k8s
from airflow import DAG
from datetime import timedelta
from datetime import datetime
from airflow.utils.dates import days_ago
from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodOperator
from airflow.utils.trigger_rule import TriggerRule


volume_mount = k8s.V1VolumeMount(name='config-vol', mount_path='/etc/jtp', sub_path=None, read_only=True)

configmaps = [k8s.V1EnvFromSource(config_map_ref=k8s.V1ConfigMapEnvSource(name='config_name'))]

volume = k8s.V1Volume(
    name='config-vol',
    persistent_volume_claim=k8s.V1PersistentVolumeClaimVolumeSource(claim_name='config-vol'),
)

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'wait_for_downstream': False,
    'start_date': datetime(2020, 10, 8),
    'email': ['[email protected]'],
    'email_on_failure': False,
    'email_on_retry': False,
    'max_active_runs': 1,
    'catchup': True
}   a


dag = DAG(
    'sample_job',
    default_args=default_args,
    description='sample job to run on kubernetes-pod-operator',
    schedule_interval=None,
)

sample_job = KubernetesPodOperator(
        task_id='task-1',
        name='sample-job',
        namespace='namespace1',
        image='image_name',
        image_pull_policy='Always',
        volumes=[volume],
        volume_mounts=[volume_mount],
        configmaps=configmaps,
        cmds=["/opt/entrypoint.sh", "driver"],
        arguments=[
            '--class', 'something.thisthing.mainclass',
            'myjar_file_name.jar',
            'property_file_1.properties',
            'property_file_2.properties',
        ],
        dag=dag,
    )

 

Я пробую это на версии airflow 2.0.0 и использую оператор kubernetes pod. Проблема, с которой я сталкиваюсь, заключается в том, что когда я запускаю это задание в Airflow, это, в свою очередь, запускает локальный модуль для задания, который, в свою очередь, должен запускать другой модуль в пространстве имен, выполняющем задачу. Но второй модуль, который должен запустить задачу, не запускается, и сообщения об ошибке нет. Когда я удаляю все компоненты спецификации тома, такие как volume, volume_mount, config_map, появляется второй модуль в пространстве имен и выдает сообщение об ошибке о невозможности найти файл свойств. Что мне не хватает? Что я здесь делаю не так ?? Пробовали разные способы запустить это безуспешно, поэтому обратились за помощью к этому сообществу.

См. также:  django async ORM исполнитель sync_to_async заменяет concurrent.futures.ThreadPoolExecutor при использовании gevent

Спасибо

Понравилась статья? Поделиться с друзьями:
IT Шеф
Комментарии: 1
  1. Ashit_Kumar

    Скорее всего, у вас нет pvc с именем config-vol в пространстве имен namespace1.

    Вам необходимо указать правильное имя PVC для V1VolumeMount (name = ‘existing-pvc-name’, …)

    Вы должны иметь возможность перечислить доступные ПВХ в этом пространстве имен с помощью:

    kubectl -n namespace1 get pvc
    

    Пытаясь подключить несколько томов к KubernetesPodOperator, я получаю FileNotFoundError: [Errno 2] No such file or directory: '/data/airflow/report_configs' даже после того, как у меня были разные тома для KubernetesPodOperator. Я считаю, что volumes и volumeMounts являются типом списка и будут монтировать все тома (каждый с другим pvc / pv) в списке. Добавление более одного тома / volumeMount не работает. Какие-либо предложения ?? person Ashit_Kumar; 04.12.2020

    это может иметь отношение к вашему вопросу. stackoverflow.com/questions/57754521/ person Ashit_Kumar; 17.12.2020

    Это была не та же проблема, но моя касалась нескольких томов. Я смог это сделать, добавив executor_config в k8s_pod_operator. executor_config может содержать несколько томов, как показано в этом примере https://stackoverflow.com/questions/57312376/unable-to-execute-airflow-kubernetesexecutor person Ashit_Kumar; 17.12.2020

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: