Open Source În Proiectul Gisheo Universitatea de Vest din Timișoara
Despre Proiect● Scopul proiectului: – Crearea unei platforme de eLearning pentru  GIS folosind capa...
Despre Proiect● Finanțare: – Proiectul este finanțat de Agenția Spațială  Europeană prin intermediul ...
Despre Proiect● Infrastructura: – 4 Clustere interconectate: ● UVT ● UTCN ...
Despre GRID (în general)● Este o colecție eterogenă de  resurse (calculatoare,  stocare, dispozitive, servicii,  ...
Despre GRID (în general) Organizație Virtuală● Persoane care colaborează  partajând date într­un mod  ...
Arhitectura Gisheo Processing DataManagemen t
Țeluri Inițiale● Țeluri – Utilizarea „serviciilor” GRID pentru fundamentul  proiectului. – ...
Tehnologii Utilizate● Execuție: – Condor HTC (http://www.cs.wisc.edu/condor/)● Manipulare: – GDAL (htt...
Tehnologii Utilizate● Indexare: – PostgreSQL (http://www.postgresql.org/) ● PostGIS (http://po...
Tehnologii Utilizate● Prezentare – OpenLayers (http://openlayers.org/) – Google Web Toolkit ( ...
Execuție: Condor HTC /  Middleware● Condor HTC – platformă de calcul distribuit – High Throughput...
Procesare și Manipulare● Procesare ­ Arhitectura Generală:
Procesare – Componente  Principale● Serviciul G­PROC: – Descrie sarcinile date de utilizator în „li...
Manipulare● Majoritatea operațiilor sunt susținute direct de  biblioteca GDAL. – Este folosit pentru a oferi...
Manipulare● O parte din procesări sunt „wrapere” pentru  funcționalități oferite de GRASS. – Exemplu: r.mapc...
Indexare (GDIS)● Realizată cu ajutorul PostgreSQL și a extensiei  PostGIS. – Indexează informațiile stocate ...
Stocare● Datele indexate de GDIS sunt stocate folosind  diverse medii: – Servere FTP – Hadoop Distrib...
Distribuție● FTP: – Servere FTP clasice (și GridFTP) – Server FTP bazat pe HDFS● WMS: – Bazat ...
Prezentare● Google Web Toolkit: – Platformă WEB 2.0 (buzz) – Folosită pentru a crea o interfață „interac...
SfârșitÎntrebări ?
of 21

Prezentare proiect GiSHEO - Marian Neagu

Seminar "Soluții open source pentru prelucrarea și reprezentarea datelor geospațiale", 19-20 noiembrie 2010 - Timișoara
Published on: Mar 4, 2016
Published in: Technology      
Source: www.slideshare.net


Transcripts - Prezentare proiect GiSHEO - Marian Neagu

  • 1. Open Source În Proiectul Gisheo Universitatea de Vest din Timișoara
  • 2. Despre Proiect● Scopul proiectului: – Crearea unei platforme de eLearning pentru  GIS folosind capabilitățile GRID● Parteneri: – Universitatea de Vest din Timișoara – Agenția Spațială Română – Institutul National de Cercetari Aerospatiale  „ELIE CARAFOLI” – Universitatea Tehnică Cluj­Napoca
  • 3. Despre Proiect● Finanțare: – Proiectul este finanțat de Agenția Spațială  Europeană prin intermediul programului PECS – Programul PECS este un program de suport al  țărilor aderate la EU după 2004, cu scopul  aderări la ESA
  • 4. Despre Proiect● Infrastructura: – 4 Clustere interconectate: ● UVT ● UTCN ● INCAS ● ROSA – Middleware: Condor: ● 1 nod central ● 3 grupuri de noduri de lucru: UVT, UTCN și INCAS (offline) ● 2 noduri de stocare: UVT și INCAS
  • 5. Despre GRID (în general)● Este o colecție eterogenă de  resurse (calculatoare,  stocare, dispozitive, servicii,  etc) care sunt geografic  distribuite, cu conținut  dinamic● GRID Computing – OGSA (http://www.globus.org/ogsa)
  • 6. Despre GRID (în general) Organizație Virtuală● Persoane care colaborează  partajând date într­un mod  organizat● Grup de indivizi sau instituții  care partajează resurse  computaționale pentru un țel  comun● Infrastructură de control al  accessului la resurse pe  baza unor credențiale
  • 7. Arhitectura Gisheo Processing DataManagemen t
  • 8. Țeluri Inițiale● Țeluri – Utilizarea „serviciilor” GRID pentru fundamentul  proiectului. – Integrarea a diverse proiecte realizate/finanțate  de ESA (BEAM, BEAT). – Folosirea exclusivă de proiecte „Open Source”. – Oferirea de servicii de procesare în timp real
  • 9. Tehnologii Utilizate● Execuție: – Condor HTC (http://www.cs.wisc.edu/condor/)● Manipulare: – GDAL (http://www.gdal.org/) – GRASS (http://grass.osgeo.org/) – OpenCV (http://opencv.willowgarage.com/wiki/)● Stocare: – Apache HDFS (http://hadoop.apache.org/hdfs/)
  • 10. Tehnologii Utilizate● Indexare: – PostgreSQL (http://www.postgresql.org/) ● PostGIS (http://postgis.refractions.net/)● Distribuție: – Apache Mina (http://mina.apache.org/) ● Mina FTP Server – Mapnik (http://mapnik.org/) – TileCache (http://tilecache.org/)
  • 11. Tehnologii Utilizate● Prezentare – OpenLayers (http://openlayers.org/) – Google Web Toolkit ( http://code.google.com/intl/ro/webtoolkit/)
  • 12. Execuție: Condor HTC /  Middleware● Condor HTC – platformă de calcul distribuit – High Throughput Computing● Platformă modulară: – Condor­manager: nod de control – Condor­worker: nod specializat în execuția  codului utilizatorilor/dezvoltatorilor – Condor­scheduler: componenta de planificare  (de selecție a nodurilor pentru execuția unui  task)
  • 13. Procesare și Manipulare● Procesare ­ Arhitectura Generală:
  • 14. Procesare – Componente  Principale● Serviciul G­PROC: – Descrie sarcinile date de utilizator în „limbajul”  middleware­ului utilizat – Planifica sarcinile pentru execuție – Se integrează cu planificatorul dezvoltat in proiect  (OsyRIS) – Este accesibil ca serviciu web (SOAP)● Workload and Resource Management: – condor­scheduler
  • 15. Manipulare● Majoritatea operațiilor sunt susținute direct de  biblioteca GDAL. – Este folosit pentru a oferii access la diverse  „containere” (Ex. HDF, GeoTiff, etc) într­un  mod uniform. – Ne permite dezvoltarea de procesări în mod  generic, fără a fi nevoiți să tratăm special  fiecare tip de date (cel puțin teoretic :)
  • 16. Manipulare● O parte din procesări sunt „wrapere” pentru  funcționalități oferite de GRASS. – Exemplu: r.mapcalc, etc● OpenCV: – Bibliotecă pentru „Computer Vision” care s­a  dovedit extrem de utilă in proiect. Mai ales  datorită algoritmilor implementați de aceasta
  • 17. Indexare (GDIS)● Realizată cu ajutorul PostgreSQL și a extensiei  PostGIS. – Indexează informațiile stocate în nodurile de  stocare pe baza caracteristiciilor acestora:  extent, „meta date”, etc – Expune informațiile prin intermediul serviciilor  SOAP și parțial WMS – Permite regăsirea eficientă a datelor
  • 18. Stocare● Datele indexate de GDIS sunt stocate folosind  diverse medii: – Servere FTP – Hadoop Distributed File System: ● Stocare distribuită (și redundantă) ● Extrem de eficientă daca este combinată cu un  planificator conștient de amplasarea datelor.
  • 19. Distribuție● FTP: – Servere FTP clasice (și GridFTP) – Server FTP bazat pe HDFS● WMS: – Bazat pe o combinație între Mapnik si  TileCache – Combinat în general cu mai multe nivele de  caching (Memcachedb si Memcache)
  • 20. Prezentare● Google Web Toolkit: – Platformă WEB 2.0 (buzz) – Folosită pentru a crea o interfață „interactivă” cu  utilizatorul● OpenLayers: – Client JavaScript pentru WMS/TMS
  • 21. SfârșitÎntrebări ?

Related Documents