feat/add iac aws #539

EzzioMoreira · 2022-09-11T15:03:28Z

Titulo

Migra projeto Maria Quitéria para ECS AWS.

Garanta que seu topic/feature/bugfix branch tenha uma branch nomeada e não a sua branch main esteja no PR
Dê um titulo que expresse o objetivo do PR
Associe seu PR a uma Issue criada no repositósito. Caso seja uma correção de linguagem ou pequenas correções, não é necessário
Descreva o objetivo do PR
Inclua links relevantes para a sua modificação/sugestão/correção
Descreva um passo-a-passo para testar o seu PR

Issue

Objetivo

Migra projeto da infraestrutura on-primese para AWS.

Cria um cluster ECS para projeto Maria Quitéria.
Cria um loadbalance.
Cria containers no cluster.
Cria um banco de dados RDS para projeto Maria Quitéria.

Referências

Estamos utilizando os seguintes projetos:

Como testar

Será preciso definir secrets no repositório do projeto Maria Quitéria para testar os códigos terraform:
Para criar secrets no github siga essa documentação -> Documentação Github secrets
Esses são os segredos que precisamos criar no github:

DOCKER_LOGIN
TOKEN_DOCKERHUB
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
AWS_DEFAULT_REGION

Após configurar as secrets será preciso definir o valor das variavéis do arquivo terrafile.tf.

subnet_ids = ["id-subnet1", "id-subnet2"]
vpc_id = "id-vpc"

TO DO

Precisamos alterar o arquivo settings.py para pegar os valores das variavel de ambiente:

default_db = postgres://POSTGRES_USER:$POSTGRES_PASSWORD@POSTGRES_ENDPOINT:5432/POSTGRES_NAME

EzzioMoreira · 2022-09-11T16:59:38Z

web/settings.py

+    DATABASES = {
+        'default': {
+            'ENGINE': 'django.db.backends.postgresql',
+            'POSTGRES_ENDPOINT': os.getenv('POSTGRES_ENDPOINT'),
+            'POSTGRES_NAME': os.getenv('POSTGRES_NAME'),
+            'POSTGRES_USER': os.getenv('POSTGRES_USER'),
+            'POSTGRES_PASSWORD': os.getenv('POSTGRES_PASSWORD'),
+        }
+    }


Não sei se essa é maneira mais elegante para utilizar variaveis de ambiente.

Tá OK pra mim isso 👍

Uma outra opção seria usar o dj-database-url para parsear uma variável DATABASE_URL que é geralmente usada em serviços, mas não é necessário.

Acabei de notar que o dj-database-url já está sendo utilizado em prod, então eu acho que só precisa definir a variável de ambiente DATABASE_URL.

EzzioMoreira · 2022-09-11T17:00:10Z

web/settings.py

@@ -153,7 +162,7 @@ class Common(Configuration):

 class Dev(Common):
    DEBUG = True
-    ALLOWED_HOSTS = ["localhost", "127.0.0.1", "[::1]", "0.0.0.0"]
+    ALLOWED_HOSTS = ["localhost", "127.0.0.1", "[::1]", "0.0.0.0", "load-balance-mentoria-1815320676.us-east-1.elb.amazonaws.com"]


Talvez conseguimos resolver o allow_host utilizando a URL do site.

Eu acabei não vendo esse comentário. Eu acho que dá para só definir a variável ALLOWED_HOSTS que a versão em prod carrega automaticamennte.

O problema que você estava tendo é rodando local?

lgfa29

A maioria é só sugestão, mas está bem legal 🙂

lgfa29 · 2022-09-11T17:37:58Z

Dockerfile

@@ -18,3 +18,5 @@ RUN apt-get update && \
 COPY . .

 RUN python manage.py collectstatic --no-input
+
+CMD ["python", "manage.py", "runserver", "0.0.0.0:8000"]


Seria bom ler a porta de uma variável de ambiente, assim daria para fazer o bind e uma porta especificada pelo usuário.

Vamos tentar fazer o uso do CMD durante do build da imagem docker.

lgfa29 · 2022-09-11T17:38:27Z

iac/container_definitions.json

+      ],
+      "environment": [
+        {
+          "name": "AWESOME_ENV_VAR",


Isso era para ser um exemplo? 😄

Sim, vou criar uma variável no pipeline que fará a substituição por production ou staging.

iac/container_definitions.json

lgfa29 · 2022-09-11T17:45:57Z

iac/terrafile.tf

+data "template_file" "container_definitions" {
+  template = file("./container_definitions.json")
+  vars = {
+    IMAGE = var.image
+  }
+}


Esse provider foi depreciado. Você pode usar a função templatefile no lugar:

module "ecs_mentoria" { # ... container_definitions = templatefile("${path.module}/container_definitions.json", { IMAGE = var.image, }) # ... }

Usar path.module também torna o acesso a arquivos mais fácil, já que fica relativo ao lugar onde a expressão foi definida.

Boa, vou fazer o ajuste e testar.

iac/terrafile.tf

lgfa29 · 2022-09-11T17:55:29Z

iac/terrafile.tf

+    name        = "sentry_dsn",
+    description = "Parâmetro referente à variável de ambiente SENTRY_DSN",
+    type        = "String",
+    value       = " "


Não conheço de RDS, então posso estar falando besteira, mas a ideia aqui é uma string com um espaço em branco como valor ou uma string vazia? É importante notar que são duas coisas diferentes.

(A mesma coisa para os outros valores).

Esse recurso é referente ao parameter store da aws ele é semelhante a um cofre que pode armazenar valores de variáveis ou segredos. Vou analisar junto com a equipe do projeto Dados Abertos de Feira de Santana quais variáveis de ambiente serão criadas no projeto Maria Quitéria.

iac/terrafile.tf

lgfa29 · 2022-09-11T18:05:00Z

web/settings.py

+    DATABASES = {
+        'default': {
+            'ENGINE': 'django.db.backends.postgresql',
+            'POSTGRES_ENDPOINT': os.getenv('POSTGRES_ENDPOINT'),
+            'POSTGRES_NAME': os.getenv('POSTGRES_NAME'),
+            'POSTGRES_USER': os.getenv('POSTGRES_USER'),
+            'POSTGRES_PASSWORD': os.getenv('POSTGRES_PASSWORD'),
+        }
+    }


Tá OK pra mim isso 👍

Uma outra opção seria usar o dj-database-url para parsear uma variável DATABASE_URL que é geralmente usada em serviços, mas não é necessário.

lgfa29 · 2022-09-11T18:16:18Z

.github/workflows/cicd.yml


-on: [ push, pull_request ]
+env:
+  TF_VAR_image: ezmom/mariaquiteria:latest


Essa imagem vai ficar em uma conta do pessoal de Feira de Santana?

Estou utilizando essa para teste, ainda não tenho o nome do registrer do projeto Maria Quitéria. Assim que conseguir faço o ajuste.

Co-authored-by: Luiz Aoqui <[email protected]>

anapaulagomes · 2023-01-29T14:09:06Z

Oi, pessoas! Precisam de ajuda aqui? @EzzioMoreira @lgfa29

EzzioMoreira · 2023-01-29T14:55:15Z

@anapaulagomes tudo bem? No momento não precisamos de ajuda. Ainda estamos em recesso na Mentoria DevOps. Vou ver direitinho quando podemos voltar aos trabalhos e consequentemente vamos conseguir avançar na migração da aplicação para ECS.

anapaulagomes · 2023-01-29T16:16:07Z

Massa, muito obrigada, @EzzioMoreira! 🚀

EzzioMoreira added 4 commits September 11, 2022 11:45

feat: adiciona pipeline iac

80ee6da

feat: add template PR

babdc81

test: teste de deploy

788a4f9

fix: ajsute allorhost e variaveis banco

6dbf195

EzzioMoreira commented Sep 11, 2022

View reviewed changes

lgfa29 approved these changes Sep 11, 2022

View reviewed changes

lgfa29 reviewed Sep 11, 2022

View reviewed changes

EzzioMoreira and others added 6 commits September 19, 2022 18:36

fiz: ajuste nome repositório

9925cb6

Co-authored-by: Luiz Aoqui <[email protected]>

fix: ajuste module source

64e7507

Co-authored-by: Luiz Aoqui <[email protected]>

fix: ajuste terrafile

c05ef88

Co-authored-by: Luiz Aoqui <[email protected]>

fix: remove linha terrafile

e585c0c

Co-authored-by: Luiz Aoqui <[email protected]>

fix: remove linha terrafile

904287f

Co-authored-by: Luiz Aoqui <[email protected]>

test/teste deploy stg (#1)

03da86b

anapaulagomes added the infraestrutura label May 8, 2023

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

feat/add iac aws #539

feat/add iac aws #539

EzzioMoreira commented Sep 11, 2022 •

edited

Loading

EzzioMoreira Sep 11, 2022 •

edited

Loading

lgfa29 Sep 11, 2022

lgfa29 Sep 11, 2022 •

edited

Loading

EzzioMoreira Sep 11, 2022 •

edited

Loading

lgfa29 Sep 11, 2022

lgfa29 left a comment

lgfa29 Sep 11, 2022

EzzioMoreira Sep 19, 2022

lgfa29 Sep 11, 2022

EzzioMoreira Sep 19, 2022

lgfa29 Sep 11, 2022

EzzioMoreira Sep 19, 2022

lgfa29 Sep 11, 2022

EzzioMoreira Sep 19, 2022

lgfa29 Sep 11, 2022

lgfa29 Sep 11, 2022

EzzioMoreira Sep 19, 2022

anapaulagomes commented Jan 29, 2023

EzzioMoreira commented Jan 29, 2023

anapaulagomes commented Jan 29, 2023

feat/add iac aws #539

Are you sure you want to change the base?

feat/add iac aws #539

Conversation

EzzioMoreira commented Sep 11, 2022 • edited Loading

Titulo

Issue

Objetivo

Referências

Como testar

TO DO

EzzioMoreira Sep 11, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

lgfa29 Sep 11, 2022 • edited Loading

Choose a reason for hiding this comment

EzzioMoreira Sep 11, 2022 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

lgfa29 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

anapaulagomes commented Jan 29, 2023

EzzioMoreira commented Jan 29, 2023

anapaulagomes commented Jan 29, 2023

EzzioMoreira commented Sep 11, 2022 •

edited

Loading

EzzioMoreira Sep 11, 2022 •

edited

Loading

lgfa29 Sep 11, 2022 •

edited

Loading

EzzioMoreira Sep 11, 2022 •

edited

Loading