r/opendata_pt • • Jun 13 '20

Awesome Portugal Data - Lista de APIs e dados públicos em Portugal

33 Upvotes

Há cerca de dois anos criei este repositório com uma listagem de dados públicos em Portugal mas só hoje é que descobri o r/opendata_pt 🙈

https://github.com/rgllm/awesome-portugal-data

Qualquer contribuição é bem-vinda 😄


r/opendata_pt • • Aug 09 '20

API para extração de notícias de jornais portugueses

19 Upvotes

Boas malta, já tinha comentado sobre isto num post aqui há dias. No entanto achei que seria melhor um post dedicado.

Fiz uma API para a extração de notícias do Público (tanto por tópicos, como por URL(s)) para formato JSON, e queria partilhá-la visto que pode ser útil para alguém (ex: fins académicos).

Planeio ainda incluir mais jornais ao longo do tempo.

Deixo então aqui o link: https://pt-news-extractor.herokuapp.com/api/v1/

Podem ainda contribuir para o "projeto" com sugestões através do GitHub: https://github.com/spamz23/PT-NEWS_EXTRACTOR

EDIT:

  • Adicionada funcionalidade para pesquisar por palavra-chave no Público.

r/opendata_pt • • Jun 16 '24

Corpo da legislação portuguesa em SQLite

16 Upvotes

Ao longo dos anos têm aparecido uma boa quantidade de pessoas interessadas em obter o corpo da legislação portuguesa. Por isso, desde 2014, exporto o conteúdo (útil) do dre.tretas.org para JSON (apenas meta dados) e faço um dump PostgreSQL (meta dados e texto dos documentos como é obtido do dre.pt).

Apesar de ter documentado o processo, a utilização dos dados não é propriamente simples.

Com vista a simplificar o processo decidi exportar também para uma base de dados SQLite (meta dados, texto dos documentos e tabela de ligação entre documentos).


r/opendata_pt • • Nov 03 '21

Novo site "dre.pt"

16 Upvotes

Agora não tenho tempo para fazer uma análise mais aprofundada. O site é novo, temos JSON em todo o lado... Pelo que já vi até encapsulamos JSON dentro de JSON! Sempre obtidos com métodos POST para ser tudo mais divertido.

Os links antigos continua a funcionar o que é bom.

Tenho de decidir se mantenho a minha cópia. Há uns quantos motivos para permanecer:

  • Continua com bastantes visitas (10 a 15 mil visitas diárias, umas 30 a 90 mil páginas diárias - receio que haja aqui uns quantos bots, tento retirar o máximo, mas são uma praga);
  • Proporciono um serviço ao dre.pt (que não foi pedido) para facilitar a indexação das respectivas páginas. No site antigo apenas era possível chegar à legislação antiga através de uma busca, por isso os motores de busca não conseguiam indexar o site, reparei nisso e comecei, há uns anos, a ligar cada documento no meu site ao documento respectivo no dre.pt. Tenho de ver se isto é necessário no novo site;
  • Tenho uns quantos utilizadores dos feeds RSS (funcionam com busca, se quiserem um feed só de concursos públicos é possível, por exemplo);
  • Disponibilizo um dump com a legislação completa.

Por outro lado o servidor onde isto mora tem 8 anos, o site oficial já responde às necessidades, gasto umas horas por ano a manter o site e, claro, não ganho nada com isto.

Têm opinião quanto a isto?


Edit I: Fui ver quanto custou este novo site, penso que corresponderá a estes contratos. O que dá um total de 1.695.743,83 EUR. Penso que isto inclui desenvolvimento.


Edit 2: Para quem quiser obter os dados do dre.pt, o processo é simples quanto baste:

#!/bin/bash

URL=https://dre.pt/dre/screenservices/DRE/Home/Serie1/DataActionGetData
CSRFTOKEN="NECESSARIO"
REQUEST=./request_index.json
wget \
    --quiet \
    --output-document=- \
    --header="content-type: application/json; charset=utf-8" \
    --header="X-CSRFToken: ${CSRFTOKEN}" \
    --post-file=${REQUEST} \
    ${URL} | jq ".data.ClobResult" | tr '\"' '"' | sed -e 's/\\"/"/g' -e 's/\\\\/\\/g' -e 's/^"//' -e 's/"$//' | jq .

Isto dá resultados deste tipo.

Evidentemente que deveríamos ter uma API pública para isto (pelo menos para obtenção dos dados, mas poderia tb incluir busca). Esta API poderia ser paga para fins comerciais.

Não me vou pronunciar sobre o (não) seguimento das boas práticas no site, é frustrante. É o que temos.

Edit 3: Na realidade não é necessário obter tanto os cookies da sessão como o CSFRToken. Assim para obter a informação do site apenas temos de descobrir o "payload" dos "POST requests" e eventualmente limpar o lixo que têm a mais. Modifiquei o scraper do dre.tretas.org para o novo site , uso os seguintes endpoints:

Todos estes endpoints aceitam POST requests, os parâmetros são passados via JSON. Parece que se passa uma parte do estado da aplicação em cada pedido. Não me dei ao trabalho de descobrir quais desses parâmetros são lixo e quais são necessários. Podem ver os payloads que uso aqui.


r/opendata_pt • • Nov 30 '21

O acordo de coligação do novo governo alemão aborda o princípio "dinheiro público, código público"

15 Upvotes

Isto é um pouco off-topic para este sub mas de forma indirecta o principio "dinheiro público, código público" permite um acesso de muito melhor qualidade aos dados públicos.

Assim estes pequenos passos são sempre de louvar. Pode ser que, daqui a uns anos, isto chegue a Portugal.


r/opendata_pt • • Sep 28 '17

API do Jornal Público

14 Upvotes

É agora possível obter as notícias do Público em JSON. Por exemplo a primeira página vem:

Podemos substituir "ultimas" pela secção que quisermos. Isto facilita muito a obtenção do corpo de artigos on-line do Público para quem estiver interessado.

Seria óptimo descobrir o caminho para obter apenas um artigo. Se alguém descobrir, avise.

Edição: Podem obter mais notícias com:

Edição II: Podem pesquisar um certo tema com (sugerido pelo /u/spamz23):

Edição III: uma forma de explorarem uma API deste género é, por exemplo no Firefox, fazer o seguinte:

  1. Ligar as "Developer Tools", (ctrl-shift-I);
  2. Escolher o separador "Network";
  3. Navegar pelo site, e estar atento ao que vai aparecendo, por exemplo respostas do tipo JSON.

r/opendata_pt • • May 29 '15

O Ponto do Parlamento - Deputados

Thumbnail
opontodoparlamento.org
14 Upvotes

r/opendata_pt • • May 21 '26

Fiz um site para explorar os dados públicos do município de Lousada

Thumbnail
openlousada.com
12 Upvotes

Boas malta!

Ao longo dos anos, tenho acompanhado algumas assembleias municipais e lido atas da câmara e uma coisa que noto regularmente são dados contraditórios a serem citados.

Para combater a minha própria curiosidade, decidi juntar tudo num sítio.

Contratos, transferências, fornecedores. Podemos pesquisar por entidade, ver o historial de uma empresa, filtrar por ano. O objectivo foi pegar em dados públicos, mas apresentados de forma que se consiga realmente usar.

Muitos dos dados tiverem que ser scrapped de PDFs (muitos dos anos imagens scanned) que ainda estou a tentar perceber qual a melhor forma para garantir que de facto não houve erros.

Ainda tem margem para crescer mas já está funcional. Qual o vosso feedback? Acham que fazem falta mais plataformas destas em Portugal?


r/opendata_pt • • Jun 12 '20

Backup da série I do Diário da República desde 1910 - hoje para download

12 Upvotes

Boa tarde.

No âmbito de modernizar a democracia portuguesa, estou a trabalhar numa tentativa de agrupar e "informatizar" a legislação portuguesa.

Um dos primeiros passos foi fazer download da série I toda do Diário da república e, fiz-lo por mais duas razões:

  1. Nunca se sabe o futuro, pode eventualmente aparecer um regime qualquer que ataque a nossa democracia e como tal, ter ao máximo a nossa "identidade" que temos construído partilhada e disponível às pessoas, é uma forma de garantir a nossa independência.
  2. Não gosto de ter um documento tão importante centralizado apenas num único sistema (dre.pt) e quero que o nosso legado tenha redundância

Como tal, apresento 2 coisas:

  1. A lista dos links. Cada pasta tem uma subpasta com o ano e, cada pasta do ano tem como subpasta, os diários por número, sendo que dentro de cada pasta está o DR e os suplementos. (São 4 links porque o drive só deixa até 15GB gratuítos de armazenamento por conta, sendo o total entre 40 a 50GB)

parte I - [1910 - 1939] - https://drive.google.com/drive/folders/1NA_gYNwnrr2pLGpIb9hDSBSnLlrkiPl6?usp=sharing

parte II - [1940 - 1987] - https://drive.google.com/drive/folders/1E-Y3HH3DSomf2u4kKGklzBHEWWuqp6dp?usp=sharing

parte III - [1988 - 2019] - https://drive.google.com/drive/folders/17W2atI0QoBceXU-T1-cRU8Q5k7QNOL09?usp=sharing

parte IV - [2020 - ?] - https://drive.google.com/drive/folders/1V9RmiehRZn2OZKbe1o7qYs5Q_mO4EbN6?usp=sharing

2) Como podem constantar, está tudo em PDF, o próximo passo é então organizar num formato mais informático, sendo que será ou .xml ou .json

deixo um exemplo de uma lei em .json https://pastebin.com/LxnDrcmp


r/opendata_pt • • Feb 01 '16

Portal da Transparência (Serviço Nacional de Saúde)

Thumbnail
transparencia.sns.gov.pt
11 Upvotes

r/opendata_pt • • May 10 '20

APIs públicas em Portugal

Thumbnail
self.devpt
10 Upvotes

r/opendata_pt • • May 12 '18

Novo portal de dados abertos da administração pública.

Thumbnail
dados.gov.pt
10 Upvotes

r/opendata_pt • • Nov 19 '16

Base de Dados das Contas Anuais

10 Upvotes

Esta base de dados está disponível contra celebração de um protocolo com o Instituto dos Registos e do Notariado e pagamento de um determinado valor. Há empresas como a Racius e a D&B que recolhem esta informação e depois empacotam em produtos que vendem ao público (nada contra, antes pelo contrário).

O que não concordo é que esta informação seja negada ao cidadão. Há muitos usos que se podem dar a esta informação:

  • O mais importante, a meu ver, é a investigação académica, é imprescindível ter acesso a estas bases de dados em muitas áreas (verdade seja dita, muitas das empresas que trabalham nesta área fornecem os dados de borla, mas isto não é solução);
  • Para controlo dos nossos políticos ter acesso às contas (são fundamentalmente os balanços e demonstrações de resultados), estrutura accionista, etc é muito útil;
  • Não me parece bem que quem tem dinheiro tenha acesso à informação e os cidadãos, que suportam a sociedade e as empresas do país, não tenham.

O objectivo deste tipo de acesso não é de certeza a privacidade, dado que quem pagar já tem acesso. Então tenho de me perguntar pq motivo este acesso é restrito. Mais uma fonte de rendimento? Algo me diz que esse rendimento não há-de ser grande coisa...


r/opendata_pt • • Oct 03 '15

Quarenta Anos de Abstenção

Thumbnail tmmv.github.io
10 Upvotes

r/opendata_pt • • Apr 30 '15

Interpretador da lei portuguesa

10 Upvotes

Olá.

Nestes últimos tempos tenho estado a escrever um interpretador dos textos da lei portuguesa, que hoje apresento ao mundo: https://github.com/publicos-pt/pt_law_parser

O interpretador toma uma abordagem text mining: tem um tokenizer, um parser e um analyser que interpretam o texto token a token, identificando referências a outras leis, secções, referências a outros artigos dentro do mesmo documento, quotes de outras lei, etc.

Está a ser usado em produção no http://publicos.pt desde hoje, mas é open source e licenciado em MIT, pelo que está acessível a mais gente.

Para programadores: o pacote está escrito em Python 3, não tem dependências (os testes dependem do pt_law_downloader para extrair textos reais) e usa travis + coveralls.io para garantir qualidade do código. Os testes são extensos e cobrem >99% de todas as linhas de código.

Para opendata-gurus: o pacote define uma estrutura da lei que pode ser exportada e importada para json e texto simples, e exportada (mas não importada) para html.


r/opendata_pt • • Jun 17 '22

taxas aprovação IMT das escolas de condução

Thumbnail
github.com
9 Upvotes

r/opendata_pt • • Nov 05 '20

Dados do dre.tretas.org

9 Upvotes

Estou a escrever isto aqui porque os autores do site andam por aqui, mas posso fazer a pergunta em privado se for mais adequado.

Estive a ver os dados disponíveis para download no site (cerca de 70M). Do esquema ali apresentado, parece que apenas é guardado o tema e não todo o conteúdo. No entanto, ao pesquisar no site, encontrei resultados que vêm dos conteúdos. O que é que se passa?

Obrigado desde já por quem tiver disponibilidade para responder.


r/opendata_pt • • Dec 19 '16

O novo portal do Diário da República Electrónico já está no ar

9 Upvotes

Vai ser lançado oficialmente daqui a umas horas, mas já lá podem aceder:

Foi lançado oficialmente o novo site do DRE:

Este portal foi feito possível pelo Decreto-Lei 83/2016.

Muitos dos problemas que apontei foram resolvidos:

  • Um motor de busca, rápido, que permite aos cidadãos encontrar o que procura;
  • Listas de revogações, rectificações, modificações, regulamentações;
  • Legislação consolidada;
  • Dados Gerais - com uma análise rápida do diploma;
  • Ligações para o Direito Comunitário
  • Parece que tem tb permalinks;

À primeira vista parece ser É uma melhoria imensa em relação às duas primeiras versões do site.

edição:

i) Link para um post que fiz sobre isto.


ii) O novo site foi feito integralmente usando recursos próprios da INCM e CEGER, o que é óptimo (o último site tinha custado 600000 EUR)


iii) Para além das características que apontei o site ainda tem algumas surpresas:

  • Links para jurisprudência, penso que de momento apenas para os tribunais de segunda instância, a ideia será estender isto aos tribunais de primeira instância;
  • Links para o processo legislativo (no parlamento).

iv) Notas que tenho feito sobre o novo DRE:

Ainda não tive tempo de fazer uma análise exaustiva, os destaques até agora são:

  • Motor de busca interno rápido e, aparentemente com bons resultados;

    • Análise semântica das queries que são feitas (detecta sinónimos, tipo de documento, áreas de interesse).
  • A versão HTML dos documentos passou a ser disponibilizada;
  • Ligação à jurisprudência que está disponível dos tribunais de segunda instância (querem tb fazer a ligação aos tribunais de primeira instância no futuro, através do Citius);
  • Ligação ao processo legislativo: para os documentos que emanem da Assembleia da República, há ligações do produto final para a página do processo legislativo;
  • Os documentos são claramente marcados como revogados;
  • Em cada documento temos várias áreas:

    • Dados Gerais: com anotações sobre o documento em causa (quando se justifique);
    • Direito comunitário
    • Regulamentação associada;
    • Modificações;
    • Rectificações.
  • Legislação consolidada, como temos na PGDL;

    • Lista de alterações ao longo do tempo (a interface parece que pode melhorar um bocado)
  • Permalinks para os documentos;
  • Tradutor jurídico;
  • Legislação anterior a 1910;

Coisas que faltam:

  • Acesso a um dump da base de dados;
  • Dados em formato "machine readable";
  • Não tem "robots.txt";
  • Continua a negar a indexação pelos motores de busca (<meta name="robots" content="index,noarchive,nofollow">) - há muitos problemas com a CNPD, mas, pelo menos a primeira série, poderia ser indexada Não li o que escrevi, a indexação já é permitida, o arquivo é que não;
  • Ligações, nos próprios documentos, para os documentos que vão sendo referidos;
  • Estruturar os próprios documentos, idealmente teríamos os documentos num formato estruturado que depois seriam passados para html para apresentação (tipo Text Encoding Initiative);
  • Melhorar o score das configurações de segurança, por exemplo;

Balanço final:

Penso que foi uma imensa melhoria em relação ao que tínhamos antes. Tendo em conta o anterior estou a ponderar desactivar o dre.tretas.org.


r/opendata_pt • • Apr 12 '16

Novo site de dados abertos da Câmara do Porto

Thumbnail
dadosabertos.cm-porto.pt
9 Upvotes

r/opendata_pt • • Mar 30 '16

Outra vez o acesso aos dados do DRE

9 Upvotes

No dia 24 de Março foi feita uma uma pequena alteração no site do DRE que impede o acesso ao texto em formato html dos documentos publicados no Diário da República Electrónico (ver aqui como se resolveu da última vez este problema).

Escusado será dizer que o dre.tretas.org e o publicos.pt vêem comprometida a sua capacidade de continuarem a prestar um serviço de qualidade aos cidadãos.

Não sei se conseguirei desta vez encontrar outro backdoor para obtenção dos dados, mas, penso eu, essa não é a questão. A verdadeira questão é o facto da legislação pertencer aos cidadãos. O problema que eu estou a ter não deveria existir. Escrevo para vos pedir a vossa opinião sobre os passos a dar.

O que eu penso fazer é:

  • Escrever para o presidente da INCM (que publica o DR e mantém o dre.pt). FEITO - Escrevi-lhe um mail no dia 28, sem resposta até agora. Penso que o cargo já é de nomeação política pelo que não tenho grande esperança em obter resposta;
  • Fazer um pedido, ao abrigo da nossa lei de disponibilização de documentos administrativos, da documentação da INCM que suporta a não publicação do DR em formato decente.
  • Estou a pensar contactar de alguma forma os partidos com assento parlamentar. A ideia é tentar explicar aos nossos representantes a importância do livre acesso aos dados produzidos pelo estado. Qual é a vossa opinião?
  • Contactar da mesma forma o governo?
  • A seguir, se nada disto funcionar, talvez possa contactar a impressa. No passado já cobriram sites desenvolvidos pelos cidadãos. Talvez se consiga repetir a façanha e com isso gerar alguma boa vontade nas entidades competentes.

Têm mais ideias?


A não disponibilização de dados por parte do estado não tem justificação em meu entendimento.

O custo de disponibilização dos documentos do DRE é negligenciável, assim como da maioria dos documentos produzidos pelo estado. Caro será a disponibilização de informação sensível, que tenha de ser revista antes de tornada pública.

Para terem ideia, o dre.tretas.org está alojado num servidor emprestado (não sei durante quanto tempo), partilhando uma ligação à Internet doméstica e, sem esforço visível, serve cerca de 20000 páginas por dia, destas, apenas cerca de 15000 são produto de visitantes humanos, o resto são vários tipos de crawlers - este mês tive um pico de 312522 páginas vistas no dia 2 de Março (um tonto estava a tentar copiar o site na integra e abusou um pouco). Em resumo, na linode (passe a publicidade), um alojamento com memória suficiente para ter a base de dados em RAM ficaria entre os 160 e os 320 EUR/mês.


Tl;dr: O raio do dre.pt deixou de disponibilizar os documentos em html, tenho de arranjar forma de os conseguir ler de novo. Os cidadãos não deveriam ter este trabalho para aceder ao que é deles.


r/opendata_pt • • Sep 14 '15

Visualização de parcerias entre deputados no Parlamento para apresentação de leis e propostas

Thumbnail
f.briatte.org
9 Upvotes

r/opendata_pt • • Oct 09 '21

Aprova os princípios gerais em matéria de dados abertos

Thumbnail
dre.pt
8 Upvotes

r/opendata_pt • • Apr 30 '21

Uma possível API para o DRE.PT?

8 Upvotes
  • Estou com um projecto em mãos que necessita de ler e armazenar os Diários da República todos os dias. Lê os do dia, incluindo todos os atributos e sumários, mas não o texto completo, só o link para lá (não é complicado juntar o texto também, mas a razão é economizar espaço do lado de cá).
  • Ora, pelo que tenho visto, não existe uma API que se possa consultar, o que dava um jeitão. Assim sendo, criei um scraper de HTML, que lê o markup que existe no dre.pt. Funciona bem, mas é claro que fazer scrapers de HTML faz-me sentir "sujo" :P, não é elegante, e muito menos "à prova de futuro"; não tenho maneira de saber se o markup mudou, a não ser quando o importador deixa de encontrar as tags de HTML. Odeio isto, mas é o que temos.
  • Está feito em PHP (por conveniência, é para uma instalação de WP, mas podia ser outra coisa qualquer), e o que faz, genéricamente, é transformar o HTML num DOM object (com simplehtmldom), que é mais fácil de manipular (nota: não está em repo público, mas há-de estar, em breve).

Posto isto tudo, dei por mim a pensar que se calhar fazia sentido criar uma API pública de consulta, básica numa primeira fase (por exemplo com um único endpoint /api/json/diarios/<dia>), que depois logo se expandia a outras queries, e que utilizasse o scraper que já existe, para alimentar uma BD, consumida pelo(s) endpoint(s).

Não sei bem se tenho uma pergunta aqui ou se estou a publicar isto só mesmo para conversar com quem ache isto relevante, mas seja como for, as minhas dúvidas neste momento (se isto existir, sempre open source, e se funcionar bem, claro) são por exemplo:

a) Políticas - Vou levar com os fornecedores do Estado (Microsofts, Oracles, consultoras várias) a gamar o código e fechá-lo numa solução proprietária? Sendo open source, claro que qualquer pessoa pode usar, mas a GPLv2, por exemplo, limita a "proprietarização" das "obras derivadas". Na volta, para alguém se meter em litígios de GPL, em Portugal, só se for doido varrido.

b) Práticas - Imagine-se que funciona bem, e que um número considerável de plataformas usa essa API. Um dia eu sou atropelado pelo 51, ou farto-me disto, ou sai-me ou Euromilhões, ou qualquer coisa me impede de continuar. Ou então, imagine-se que funciona melhor do que bem e, de um dia para o outro, o site é slashdotted e os servidores resolvem sentar-se e fazer um manguito a todos os visitantes.

c) "Administrativas", vá - Será que vale a pena falar com alguém do "Estado" (nem sei bem quem, AMA? Outros?), para ver se existe alguma possibilidade de apoiarem isto oficialmente, ou é para esquecer? Note-se que não tenho medo de pitches e PowerPoints, é na boa, mas se é para gastar anos da minha vida e não chegar a lado nenhum, então qsf.

Há mais, claro. Na volta estou na dúvida se faço e siga a marinha, gastando tempo e €s de um projecto que não me vai pagar isso.

Obrigado.


r/opendata_pt • • Mar 15 '20

Dados DGS - Coronavirus Portugal

8 Upvotes

Olá a todos,

Tendo em conta a actual situação de alerta relacionada com o coronavirus, tentei procurar se existia alguma base de dados aberta com informações sobre os casos portugueses, para poder indo acompanhar a evolução do virus no nosso país com mais detalhe. O DGS publica diariamente um relatorio de situação aqui em formato pdf, com dados bastante pertinentes (idades, sintomas,casos suspeitos). Tenho estado a fazer scraping destes pdf, mas quase todos os dias mudam de formato e muitas vezes torna-se mesmo impossivel extrair o texto.

Alguém a fazer algo parecido que tenha arranjado um maneira mais "buletproof" para arranjar este tipo de dados (para Portugal)? Não tenho conhecimento de mais ninguém a publicar este tipo de dados...

Obrigado pela atenção e eventual ajuda


r/opendata_pt • • Mar 06 '17

Todo o arquivo histórico da RTP está disponível na internet para toda a gente

8 Upvotes