Ivan Zini

Blog tecnico di un sistemista bolognese. [senza condivisione la conoscenza è inutile.]

Soluzione free/Open Source al provvedimento del garante privacy sugli Amministratori di sistema

Come molti di voi sapranno il 15 Dicembre 2009 è entrato in vigore  il provvedimento del garante che prevede la registrazione e la conservazione per almeno 6 mesi dei log di accesso degli amministratori di sistema.
Non è questa la sede per discutere della bontà o meno del provvedimento ma in soldoni il garante intende regolamentare, nelle aziende, gli accessi ai sistemi di elaborazione e agli archivi elettronici da parte degli amministratore di sistema (ads) , in quanto questa figura professionale possiede, per sua natura tecnica, particolari privilegi per accedere a qualunque sistema e apparato informatico presente in azienda.
Non mi propongo assolutamente come esperto in materia di privacy anzi, ma visto che occorre adeguarsi al provvedimento e la cosa mi tocca molto da vicino essendo ads io stesso, ho cercato una soluzione gratuita e possibilmente open source che soddisfi almeno i requisiti minimi di tale provvedimento.
Facendo una ricerca sulla rete ho “intuito” che molte delle soluzioni commerciali proposte non erano altro che sistemi open source maccheronati e mascherati venduti però a peso d’oro alle aziende.

Inizialmente avevo pensato di utilizzare un server linux dotato di rsyslog per la ricezione e l’archiviazione dei log ma poi ho optato per una soluzione che utilizzi per la parte server il prodotto “Splunk“.
Splunk è un soluzione di log management, disponibile per Linux, Windows, Osx, Solaris  e FreeBSD, che gestisce veramente una vasta gamma di tipologia di log ed è gestibile interamente tramite un’interfaccia web molto intuitiva e potente.

E’ utilizzabile gratuitamente con una limitazione di 500 Megabytes giornalieri di archiviazione, una quota più che sufficiente per la gestione dei log dell’adm.
Inoltre Splunk rispetta i requisiti del provvedimento in termini di inalterabilità dei log in quanto una volta acquisito il file di log esso viene indicizzato, trasferito sul proprio repository e certificato aggiungendo al file il riferimento temporale qualora non fosse presente.
Per la parte client, visto la maggioranza in azienda di macchine windows, ho scelto “Snare Agent for Windows” un pacchetto open source che installa un servizio di log degli eventi di windows ed è amministrabile tramite una pagina web.
Proseguiamo con la realizzazione del sistema sia lato server che client.

Step 1. Lato server : installazione e configurazione di Splunk
Come già detto splunk è disponibile sia per Windows sia per Linux e,  inutile dirlo, ho scelto di installarlo su una macchina Linux (virtuale si intende!) con Ubuntu 9.10 a 32 bit.
Qui sono disponibili i pacchetti di installazione.
Una volta scaricato il pacchetto “splunk-4.x.x.x-linux-2.6-intel.deb” lanciarlo e installarlo tramite il gestore di pacchetti di Ubuntu.
Ora collegatevi con utente root al terminale e lanciate splunk con il seguente comando:

/opt/splunk/ bin/splunk start

per impostare splunk all’avvio dal boot :

/opt/bin/splunk enable boot-start

si otterà:
Checking prerequisites…
Checking http port [8000]: open
Checking mgmt port [8089]: open
Checking configuration…  Done.
Checking index directory…  Done.
Checking databases…
Validated databases: _audit, _blocksignature, _internal, _thefishbucket, history, main, sample, splunklogger, summary
All preliminary checks passed.

Starting splunk server daemon (splunkd)… Done.
Starting splunkweb… Done.

If you get stuck, we’re here to help.
Look for answers here: http://www.splunk.com/base/Documentation

The Splunk web interface is at http://nomeserver:8000

Occorre collegarsi via web ad http://nomeserver:8000 per la maschera di login:

L’utente è “admin” con password “changeme”…inutile dire che va cambiata!


Nella schermata principale trovate il tab “Browse application” dove è possibile aggiungere il modulo “Splunk for Windows” per gestire i log provenienti da macchine Microsoft.

Una volta installata l’applicazione occorre aggiungere la porta d’ascolto per i log.
In alto a destra tasto “Manager” dopodiché cliccare su “Data Inputs”.

Ora dobbiamo aggiungere la porta di ascolto a cui lo Snare agent di windows manda i log: tale porta è la 514  del protocollo UDP.
Quindi cliccare “add new” in corrispondenza della voce “UDP”:


Ora alla voce “UDP port” scrivere 514 e in “set soucetype” scegliere la voce “from list” e dall’elenco in “Select source type from list” selezionare la voce “windows_snare_syslog” come da figura sotto.

Ora Splunk è in grado di ricevere i log dai client windows dallo snare agent che andiamo adesso a installare e configurare.

NB  Dopo 60 gg la Licenza di Splunk si tramuta da Enterprise a Free e non gestice più l’accesso tramite username e password (access control).
Si può ovviare a questo utilizzando un proxy come indicato in quest’altro mio post (leggere in fondo commento n.4)

Step 2. Lato client : installazione e configurazione di Snare Agent for Windows.
Scaricare dal sito intersectalliance il pacchetto per windows relativo alla propria versione.
Una volta installato collegarsi via browser alla pagina di configurazione di snare agent all’indirizzo http://localhost:6161/

Occorre configurare la porta di invio dei log che troviamo nel menù a sinistra “Network configuration” e configurare nel modo seguente (vedi figura sotto):

  • “Destination Snare Server address” –>inserire l’IP della macchina su cui è installato Splunk.
  • “Destination Port” –> 514
  • Spuntare la voce “Enable SYSLOG Header?”
  • in “SYSLOG Facility” selezionare la voce  “Auth”
  • “SYSLOG Priority”     selezionare la voce  “Notice

Rimane solamente da creare un filtro sugli eventi che si intende registrare e inviare al server.
Cliccare sul menù di sinistra la voce “Objectives configuration” e si troveranno la lista degli oggetti di cui viene tenuta traccia.

In questo caso relativo solo al login e logout dell’utente administrator ho cancellato tutti gli oggetti creandone uno nuovo che faccia al caso nostro.

In questo modo vengono memorizzati gli eventi di login/logout dell’utente inserito tra asterischi nel campo” User search term” selezionando tutti gli eventi della categoria “Security”.
Ora se torniamo sull’interfaccia di splunk e nella finestra dell’applicativo “Splunkforwindows” possiamo digitare nella barra di ricerca il nome o il suo indirizzo ip della macchina windwos di cui vogliamo controllare il log e filtrare  l’intervallo temporale che interessa.

NB: Questa soluzione non assicura che eventuali problemi di rete impediscano la buona riuscita delle registrazioni dei log dal client al server in quanto il protocollo UDP è  si veloce a livello di trasporto  e implica una minore congestione della rete rispetto al TCP  ma non si occupa del riordinamento dei pacchetti né della ritrasmissione di quelli persi.
L’UDP è un protocollo stateless, ovvero non tiene nota dello stato della connessione, dunque ha rispetto al TCP informazioni in meno da memorizzare. Un server dedicato ad una particolare applicazione che scelga UDP come protocollo di trasporto può supportare molti più client attivi.

Ora che il sistema è in piedi rimane da gestire l’archiviazione sicura dei file di log e in merito il Garante impone solo un tempo minimo di archiviazione di 6 mesi.
Una soluzione percorribile  è la possibilità manuale di esportare i log per ogni singola macchina dal menù:
“Action –>export Result” e mensilmente salvare i log dopo averli crittografati, con tanti programmi open source in giro per la rete, e conservandoli per almeno sei mesi.
I dati e le password sia di accesso a splunk che le password della crittografia dei log salvati andrebbero lasciati gestire al responsabile della privacy nominato in azienda che deve provvedere a cambiarle per non renderle note all’adm.
Questa guida non rappresenta “LA” soluzione ma una delle tante possibili che rispetta i requisiti minimi del provvedimento che invito ad approfondire consultando anche con le faq rilasciate del garante stesso.

Ecco alcuni link ad altre soluzioni:
http://blog.maurizio.proietti.name/2009/10/29/provvedimento-del-garante-sugli-amministratori-di-sistema/
http://blog.solution.it/soluzione-open-source-per-log-amministratori-di-sistema/

Sono graditissimi commenti su come migliorare questa soluzione e discussioni/valutazioni di soluzioni alternative.
IZ


 

148 risposte a “Soluzione free/Open Source al provvedimento del garante privacy sugli Amministratori di sistema

  1. Franz 14/01/2010 alle 17:16

    Post molto interessante. Ho un solo dubbio: leggendo la documentazione di Splunk, sul manuale di installazione alla pagina 8, è scritto “Splunk Free is designed for personal, ad-hoc search and visualization of IT data.”. Sembra che l’utilizzo in ambiente aziendale sia quindi vietato senza una licenza enterprise; oppure ho interpretato male io?
    Non è per polemica, solo per capire perchè il prodotto è molto bello e mi interessarebbe molto.

    Grazie per le info utili.

    • Ivan Zini 14/01/2010 alle 18:40

      Ciao Francesco
      grazie del tuo commento e della tua osservazione che però a mio avviso è mal interpretata nel senso che “personal search” sta per “ricerca personalizzata/personalizzabile” in quanto qui riporta anche:

      More about Splunk Free

      Splunk Free is a totally free (as in beer) version of Splunk. It allows you to index up to 500MB/day and will never expire. If you go over 500MB/day more than 3 times in a 30 day period, Splunk will continue to index your data, but search will be disabled until you are back down to 3 or fewer times in the 30 day period.

      Ciao
      IZ

      • Franz 16/01/2010 alle 09:27

        Ciao Ivan,

        grazie per la risposta. In effetti la considerazione successiva era che un prodotto del genere non ha molto senso per uso personale, almeno per quel che intendo io per uso personale… a casa non ho una sala macchine con 20 server…

        Buon Lavoro,
        Franz

  2. PkR 17/01/2010 alle 13:11

    Grazie delle tue preziose info sull’argomento. Testerò sicuramente i prodotti!

  3. Alessio 17/01/2010 alle 21:20

    Ciao Ivan, ho letto il tuo articolo che reputo molto interessante. Sono anche io un tecnico informatico e vorrei proporre la soluzione impiegando Splunk ai miei clienti. Ho solo un dubbio per le aziende che usano AS/400 (che fra l’altro non conosco…), esiste sempre un agent tipo SNARE per l’invio dei log allo Spunk Server?
    Grazie

  4. fastfire 20/01/2010 alle 12:21

    Ciao Ivan, posso chiederti come fai a gestire l’autenticazione a Splunk, che non è inclusa nella versione free. Fai passare tutto da un proxy?

    • Ivan Zini 20/01/2010 alle 12:44

      Ciao
      innanzitutto davvero complimenti per il tuo Blog e per i tuoi lavori!!
      Grazie del tuo commento perchè mi permette di evidenziare un’ aspetto che avevo tralasciato.
      Dopo 60gg la licenza di splunk da enterprise diventa free e non gestisce più l’accesso con maschera di login ma diventa diretto.
      Per rimediare occorre, come hai detto tu, affidare l’autenticazione a un proxy e ho utilizzato nginx come reverse proxy con autenticazione http indicato in questo mio post
      IZ

      • fastfire 20/01/2010 alle 13:43

        Grazie mille Ivan, avevo provato con il il mod_proxy di Apache, ma proxando Splunk mi dava degli errori (più esattamente restituiva un “Bad Gateway”)… ora faccio una prova con nginx! Grazie per i complimenti, non posso che ricambiare considerati i contenuti del tuo blog!

      • Paolo 21/05/2010 alle 16:35

        Complimenti per l’articolo completo e ben strutturato, anch’io sono interessato tuttavia alla questione del proxy… in particolare ho scoperto Nginx grazie al tua articolo! Il punto è questo: ho fatto come dici e messo in ascolto il proxy sulla 80, reindirizzando poi su Splunk, tuttavia se entro direttamente sulla 8000 la sicurezza finisce a rotoli, perché accedo senza che mi venga chiesto nulla:

        http {
        include /etc/nginx/mime.types;

        access_log /var/log/nginx/access.log;
        server {
        listen 80;
        server_name localhost;
        location / {
        auth_basic “Restricted“;
        auth_basic_user_file /etc/nginx/.htpasswd;
        proxy_pass http://192.168.1.2:8000/en-US/app/search/r;
        }
        }
        }

        c’è un modo per risolvere questo problema che tu sappia?

        • Ivan Zini 25/05/2010 alle 10:49

          Ciao Paolo
          io ho bypassato la cosa creando una mini dmz (non raggiungibile dall’esterno ma solo dall’interno).
          Nel dettaglio ho inserito la macchina con splunk nella dmz dove è raggiungibile se non attraverso l’uso di nginx, a cui il firewall permette di proxare verso splunk.
          Anche i log vengono “sparati” verso il firewall che li inoltra alla macchina con su Splunk.
          IZ

      • Paolo 27/05/2010 alle 02:30

        Ciao e grazie ancora ma temo di non aver capito la soluzione:
        dove è raggiungibile se non attraverso l’uso di nginx, a cui il firewall permette di proxare verso splunk.

        il punto non è proteggerlo con dmz ma come fai a bloccare la porta 8000 su cui gira l’interfaccia web e abilitarla solo sulla 80?

        Se nginx risponde sulla 80 ok, posso essere bloccato, mi chiede pass e se passo mi indirizza sulla 8000, ma se io gli chiedo subito la 8000? mi risponde Splunk! (almeno con la configurazione vista sopra… non so se sto sbagliando qualcosa) anche perché in questo caso non mi viene chiesta username e pass!

        thanks!

        • Ivan Zini 28/05/2010 alle 17:24

          Paolo
          se vuoi solo modificare la porta di ascolto di splunk vai in:
          Menu Manager–>System Setting–>General setting e modifica la “web port”.
          Dopodiché splunk necessita di un restart.
          Ciao
          IZ

      • Paolo 29/05/2010 alle 11:29

        No, la modifica della porta di ascolto non cambia il problema, mi spiego:

        Splunk ascolta e risponde sulla 8000

        Puoi creare un proxy che per richieste sulla porta 80 chieda username e password e poi ti rimandi alla porta 8000.

        Tuttavia se io faccio una richiesta direttamente sulla 8000 mi risponde splunk e quindi non ha molto senso bloccare la 80!

      • Paolo 03/06/2010 alle 23:25

        Ottimo trucchetto, mi ero arrangiato anch’io con qualcosa di simile, ma stavo cercando di inventarmi un modo utilizzabile anche su Win. Comunque ottimo articolo, complimenti!

  5. Daniele 30/01/2010 alle 15:35

    Ciao Ivan, complimenti per l’articolo beh dettagliato e utilissimo per noi!.
    Stiamo implementando la soluzione da te descritta in azienda.
    Quello che volevo chiederti è: splunk raccoglie i log, fa l’md5 degli stessi e poi li tiene li? NOn occorre esportare i log raccolti, zipparli e farne l’md5 vero? se metto su splunk e snare e sono a posto? O ogni mese devo esportare i log raccolti da splunk e metterli in cassaforte?! :D
    Grazie mille.

    Daniele

    • Ivan Zini 01/02/2010 alle 23:23

      Ciao Daniele
      sono contento che implementi questa soluzione!
      Splunk effettua l’md5 dei file cito:

      Data is parsed and indexed on-the-fly, while raw events are kept for review. The data is secured with an MD5 hash using a PKI signature to detect tampering and point out gaps in the log where specific data may have been deleted. The tool keeps an audit record of who administers the system and who accesses data.

      Slunk li archivia ma è necessario esportarli su un supporto criptato e meglio se backuppato e conservati x 6 mesi.
      Anche perchè server su cui gira splunk va in crash almeno recuperi i log.
      IZ

  6. Riccardo 09/02/2010 alle 09:38

    Salve Ivan,

    Complimenti per la chiarezza e semplicità dell’articolo. Ti chiedo come ricerchi i log che ti interessano. Io volevo “simulare” un eventuale controllo ad esempio per vedere gli accessi effettuati come amministratore oppure utente con diritti di amministratore in un pc della LAN. Leggendo la guida Snare ci sono solo per Logon/Logoff più di 20 Event IDs, che son da interrogare uno alla volta per vedere cosa riportano, un lavoro abbastanaza lungo. Tu per una situazione simile usi un altro approccio?

    Grazie
    Riccardo

    • Ivan Zini 09/02/2010 alle 12:52

      Ciao Riccardo
      nella mia guida nella configurazione di snare ho eliminato tutti gli “action requied” e ne ho creato uno ad hoc che prevede come “identify the high level event” sia selezionato solo “logon or logoff” e in “user search term” ho incluso tra asterischi (ne puoi includere + di uno separati dalla virgola) il nome dell’utente da loggare e come “identify event log” ho fleggato “Security”.
      Facendo una ricerca in Splunk per nome macchina o ip address ottengo i miei log della macchina con event type solo di 2 tipi:
      540 –>successfull logon
      538 –>logoff o logon failure

      Ciao e grazie dei complimenti :)
      IZ

      • Riccardo 09/02/2010 alle 18:10

        ciao Ivan,

        grazie per la risposta. Ti chiedo un’altra cosa anche se esco un po’ dall’oggetto dell’articolo, così facendo si possono monitorare gli accessi, ma bisogna monitorare anche le azioni dell’amministratore e non solo gli accessi? Dal decreto mi sembra di intuire che si vuole monitorare dove, quando e cosa fa nel sistema un administrator che si logga.

        • Ivan Zini 09/02/2010 alle 22:11

          Ciao
          il provvedimento del Garante prevede solo di monitorare l’accesso dell’utente “amministratore di sistema” sulle macchine che contengono dati soggetti alla privacy
          IZ

  7. Cosimo Nucci 23/02/2010 alle 10:46

    Salve Ivan,
    sono incappato nel tuo articolo che trovo molto interessante mentre facevo delle ricerche per risolvere la faccenda dei log. Ho trovato vari sw non gratuiti (alcuni li sto provando)e mi chiedevo se conoscevi una soluzione free/open source che non preveda installazioni lato client.
    grazie

    • Ivan Zini 23/02/2010 alle 12:08

      Salve,
      il sistema di log di windows è minimale e non prevede la possibilità di inviare gli stessi log via rete e quindi è necessario avere un applicativo lato client che se ne occupi.
      IZ

  8. Roberto 24/02/2010 alle 18:20

    Ivan,
    complimenti per l’articolo, molto ben articolato e proverò anch’io qua in azienda ad implementare Splunk.
    Se posso ho due domande:
    – e’ possibile, una volta effettuato il backup, ricreare il log in modo da rimanere sotto i 500 Mb?
    – hai adottato qualche soluzione per i logs dei DB come ad esempio Oracle, mysql e DB2?
    Grazie e ciao
    Roberto

    • Ivan Zini 25/02/2010 alle 10:11

      Ciao Roberto
      Grazie dei complimenti:)

      | – e’ possibile, una volta effettuato il backup, ricreare il log in modo da rimanere sotto i 500 Mb?

      intendi cancellare il database dei log? i 500MB sono la quota giornaliera dei log memorizzabili.
      se vuoi comunque cancellare i log dopo averli esportati o backuppati devi stoppare splunk:
      ./splunk stop
      con il seguente comando cancelli tutti i log di qualunque tipo:
      ./splunk clean eventdata

      | – hai adottato qualche soluzione per i logs dei DB come ad esempio Oracle, mysql e DB2?

      ancora no :P

      Ciao
      IZ

  9. Saverio 09/03/2010 alle 17:50

    Ciao,

    Ottimo articolo, avrei bisogno di sapere solo due info:

    1) per prelevare i dati da una macchina linux come si fa?
    2) I log in quale cartella vengono salvati e con che nome?

    Grazie!

    • Ivan Zini 12/03/2010 alle 23:09

      Ciao
      potresti usare lo snare agent for linux e su splunk gestire il log con l’applicativo “NIX”
      IZ

  10. Pingback:Soluzione free/Open Source al provvedimento del garante privacy sugli Amministratori di sistema « Sistemi Informativi Comunali

  11. kuzotare 12/03/2010 alle 13:10

    Ciao e complimenti per l’articolo
    volevo introdurre anche io questa soluzione in azienda.
    l’unica cosa che non mi è molto chiara è quella relativa alla scadenza dell’interfaccia dopo 60gg e come hai fatto per risolvere.

    Ciao e di nuovo complimenti per l’ottimo articolo

    • Ivan Zini 12/03/2010 alle 23:47

      Ciao
      dopo 60gg l’access control si disattiva e quindi l’acceso tramite pagina web a splunk avviene direttamente e senza chiedere utente e password.
      per ovviare a questo problema si può “proxare” l’accesso a splunk tramite il server web nginx che ti permette di utilizzare l’access control.
      Ti linko il post qui.
      IZ

    • Ivan Zini 08/04/2010 alle 15:08

      Ciao
      scusa la risposta tardiva!
      dunque ho utilizzato nginx come server proxy con autenticazione http ovvero ho posto il server splunk in un’altra classe di rete rispetto alla lan.
      In questo modo il server splunk è raggiungibile solo attraverso un ip in lan (server nginx) che forwarda il traffico verso la macchina splunk proponendomi una maschera di autenticazione.
      Vedi il mio post su nginx.
      IZ

  12. Lorenzo Rocca 12/03/2010 alle 17:35

    Ciao Ivan, buonissima dritta…ma mi chiedevo, è proprio necessario installare l’agent sulle macchine windows?
    Con splunk si può fare anche agentless oppure conosci altre soluzione agentless per monitorare server windows?

    Ciao e Grazie. Lollo

    • Ivan Zini 12/03/2010 alle 23:39

      Mo bella lolllo!sei a posto?
      quale onore averti sul mio blog eeeheh! ;)
      Splunk non ha la funzione di agent al massimo la funzione di “forwarder” verso un altro server log.
      Una alternativa a Snare Agent può essere ntsyslog, con la differenza che non può essere amministrato da remoto via web come invece Snare Agent.
      ciao ciao
      IZ

      • Lorenzo Rocca 16/03/2010 alle 18:37

        Grande Ivan, tutto ok! Ti devo fare i complimenti per il blog….molto bello e interessante.
        Grazie per la risposta!!

        Ciao Bello!!

  13. Mauro 23/03/2010 alle 19:40

    ottimo articolo Ivan, sto testando la tua soluzione.
    Mi domandavo se sia automatizzabile l’esportazione del file di log da splunk , ad esempio una volta al mese, in un volume criptato (es con TrueCrypt).
    Grazie

    • Ivan Zini 08/04/2010 alle 15:01

      Ciao Mauro
      scusa il ritardo della mia risposta…io esporto per ora manualmente i log e poi li cripto.
      Appena ho tempo per approfondire provo a cercare un metodo per automatizzare il tutto.
      Se intanto trovi una soluzione anche tu postala pure :)
      Thanks!
      IZ

  14. pentolino 24/03/2010 alle 16:48

    Ciao, nono sono un mago di linux ma sto tentanto di implementare Splunk su Ubuntu 8.04.

    Mi spieghi esattamente come isntallare la app “Splunk for Windows”? Riesco a scaricare il tar.gz e scompattarlo in opt/splunk/etc/apps/windows, ma non ho idea di come installarlo..

    grazie,
    ciao!!

  15. pentolino 25/03/2010 alle 17:07

    Ho trovato da solo grazie.. non avevo neanche visot il tasto “install”…

    Che tu sappia c’è un qualche sistema per far si che vengano inviati i dati al repository Splunk anche da uno ScoUnix 5.0.6?

    grazie, ciao!

    • Ivan Zini 08/04/2010 alle 14:58

      Ciao
      scusa se rispondo tardi e purtroppo non conosco ScoUnix ma se è, come dice il nome ;); unix like dovrebbe bastare l’applicativo nix in splunk.
      IZ

  16. Pingback:solution.it » Blog Archive » Soluzione Open Source per log Amministratori di Sistema

  17. Nino 06/04/2010 alle 16:14

    Ciao Ivan, innanzitutto complimenti x l’ottima soluzione, l’ho installata e pare funzioni alla grande. Ora però mi sorge un problema, come faccio a salvare i log mensilmente, o settimanale, o giornaliero? esiste una procedura o uno script che mi permetta di fare questo? e poi ho notato che sul mio server SBS2003 gli access log risalgono massimo agli ultimi 5 o 6 giorni, ora la domanda è il server Splunk riesce a memorizzare i log per 30 giorni? oppure devo aumentare la dimensione del registro in windows?
    Ti ringrazio anticipatamente,
    saluti Nino

    • Ivan Zini 08/04/2010 alle 14:55

      Ciao Nino
      grazie dei complimenti!
      l’esportazione dei log la effettuo manualmente per mese e poi cripto il file su un supporto soggetto a backup.
      Ricordo che il provvedimento impone la conservazione dei log solo un periodo minimo di 6 mesi e non un periodo massimo.
      Splunk memorizza i log fintanto ha spazio sul volume!
      Potresti, ma solo per tua comodità di troubleshooting, aumentare il registro di log di windows.
      Ciao
      Ivan

  18. Mauro 08/04/2010 alle 15:29

    Ho installato splunk server su ubuntu 9.10, e snare agent su un winsvr2003. Funziona tutto alla grande, ma se riavvio il pc ubuntu, splunk server non riparte in automatico, devo rifare ogni volta la procedura, da terminale con utente root :
    /opt/splunk/bin/splunk start
    e far ripartire splunk server come la prima volta, altrimenti la raccolta dei log non funziona.
    è un limite della versione free di splunk oppure c’è qualcos’altro da fare nella installazione/configurazione?
    Se è così invece è un problema perchè è ovvio che il pc “log-server” che è always-on possa riavviarsi per vari motivi.
    Grazie

  19. MoOb 28/04/2010 alle 17:37

    Ciao Ivan,
    grazie mille per questa guida :)

    ho testato il tuo metodo è su sistemi win và ke è una meraviglia.

    una domanda: volendo adempiere al provvedimanto senza usare nessun software aggiuntivo, non basterebbe abilitare i vari criteri di controllo per ogni server e client ed esportare periodicamente la lista eventi di protezione in formato txt masterizzandola poi su cd-r?

    • Ivan Zini 29/04/2010 alle 10:37

      Ciao Moob
      si potrebbe anche fare così l’importante che abbia i seguenti requisiti come da questo stralcio del provvedimento:
      “Le registrazioni (access log) devono avere caratteristiche di completezza, inalterabilità e possibilità di verifica della loro integrità adeguate al raggiungimento dello scopo di verifica per cui sono richieste.”
      IZ

  20. Marco 29/04/2010 alle 15:27

    Ciao, articolo interssante.. Mi chiedevo se c’è la possibilità di automatizzare la parte di crittgrafia.. Chiaramente non è pensabile che questa operazione avvenga manualmente.
    Grazie.

    • Marco 29/04/2010 alle 15:32

      Un’altra cosa.. Quindi questo spunk ha una durata di 60 giorni?.. Sarebbe trial? Inoltre mi rimangono alcuni dubbi su cosa loggare, in alcuni siti è riportato solo il login e logout al sistema, mentre sul sito del garante: http://www.garanteprivacy.it/garante/doc.jsp?ID=1580831
      riport: “Registrazione degli accessi
      Adozione di sistemi di controllo che consentano la registrazione degli accessi effettuate dagli amministratori di sistema ai sistemi di elaborazione e agli archivi elettronici”.

      Grazie mille.

      • Ivan Zini 04/05/2010 alle 15:50

        Ciao Marco
        1. se leggi bene il mio post troverai evidenziato questo nb: Dopo 60 gg la Licenza di Splunk si tramuta da Enterprise a Free e non gestice più l’accesso tramite username e password (access control).
        2 . Oltre a questo dopo 60gg il limite di log “giornalieri” memorizzabili in splunk è di 500MB.
        3. il provvedimento è inerente il login e logout al sistema degli utenti adm

        IZ

    • Ivan Zini 04/05/2010 alle 15:55

      Ciao Marco
      quando splunk riceve i log e li memorizza ed esegue l’md5.
      Quando però occorre esportare i log , per memorizzarli al di fuori di splunk, occorre conservarli crittografandoli manualmente.
      IZ

  21. Angelo 30/04/2010 alle 10:24

    Ciao, ho apprezzato molto il tuo blog e volevo porti un quesito da “profano”: avendo una rete di 5-6 servers e 70-80 clients, la normativa prevede che vengano registrati gli accessi degli amministratori. dovendo autenticarsi sul primary ogni client e ogni server bisogna configurare il tutto in modo da avere snare su ogni client/server e splunk solo su una macchina oppure c’è modo di installare solo uno splunk che registri gli accessi al dominio installandolo sul primary ? forse ho fatto un po’ di confusione ma non riesco ad inquadrare bene il software. Ti ringrazio anticipatamente per la eventuale risposta.

    • Ivan Zini 04/05/2010 alle 15:46

      Ciao Angelo
      la normativa dice che è obbligatorio memorizzare i log degli adm che accedono a macchine dove sono archiviati dati soggetti alla privacy, quindi dove non vi sono non è necessario che ciò avvenga.
      Splunk è un tritura log ma occorre che un agent gli mandi i file e nulla vieta di avere però sia l’agent che splunk sulla stessa macchina.
      IZ

  22. Stefano 03/05/2010 alle 16:38

    Ciao Ivan, innanzitutto ti faccio i complimenti… ne hai ricevuti tanti ma uno in più non guasta. La tua soluzione la giudico ottima, per questo il complimento. Anche io sono un amministratore di sistema ed ho il seguente problema… Nella mia rete ho una macchina Linux Fedora che funge da proxy ed uso Squid per far autenticare gli utenti prima della navigazione. Nessun utente da remoto può loggarsi su quella macchina quindi le uniche informazioni riservate sono le userid e le password degli utenti di Squid. Ho installato Splunk ed il modulo *NIX per la gestione dei log ma nella statistica “Succesful user login” non mi compare niente. Non sono riuscito a creare dei “log dei log” su questa macchina tramite Splunk. Non ho la necessità di installare degli agent client perchè come ti ripeto nessuno può fare login da remoto. Per il momento ho esportato e backupato i file di log “secure” che in Fedora sono quelli che tengono conto dei login. Ho agito correttamente? Hai qualche indicazione da darmi? Scusa per la complessità della domanda e ti ringrazio fin d’ora per ogni tuo suggerimento

    • Stefano 03/05/2010 alle 17:38

      Scusa Ivan credo di aver risolto senza il modulo *NIX Ho creato una vista con Search di Splunk che mi trova tutti i “succesfully login as administrator”. Ora volevo solo sapere: per esportare i risultati Splunk me li esporta in formato CSV. C’è la possibilità di esportarli in formato criptato? Ed è possibile schedualare la view in modo che automaticamente si avvii una volta al mese ed esporti i risultati? Grazie

      • Ivan Zini 04/05/2010 alle 16:23

        Ciao Stefano,
        grazie dei complimenti…fanno sempre piacere e sono un motivo in + migliorare questo blog :)
        Per ora non ho trovato una modalità per esportare i log già criptati e nemmeno poter schedulare l’esportazione.
        Per ora effettuo l’operazione manualmente e una volta al mese.
        IZ

  23. Marco 04/05/2010 alle 11:36

    Questa soluzione, permette di effettuare il log degli accessi ai database?

    Grazie.

  24. Giorgio 11/05/2010 alle 16:15

    Mi potresti dire in che directory vengono salvati i logs in modo da poter verificare la grandezza ?
    Grazie & Ciao,
    Giorgio

  25. ros 24/05/2010 alle 17:25

    Mi potresti dire in che directory e con quali nomi vengono salvati i logs in modo da poter verificare la grandezza ?
    Grazie & Ciao,
    Giorgio

    • Ivan Zini 25/05/2010 alle 10:36

      Ciao Giorgio
      sorry se rispondo solo ora!
      ecco le info che cito dal sito di Splunk:
      Indexes are stored in directories, which are located in $SPLUNK_HOME/var/lib/splunk.
      An index is a collection of directories. Index directories are also called buckets and are organized by age. For detailed information on index storage, see “How Splunk stores indexes”.

      Qui invece trovi le modalità e i criteri di come Splunk archivia gli indici dei log:

      http://www.splunk.com/base/Documentation/latest/admin/HowSplunkstoresindexes

      Ciao
      IZ

  26. paolo 31/05/2010 alle 10:35

    Ciao Ivan
    ho scoperto splunk solo ora.
    in effetti è una applicazione immensa che ti permette di controllare un po’ di tutto. Ma forse per il mio scopo è fin troppo immensa!
    cercavo una app che mi permettesse di intercettare degli errori all’interno di un file di log di testo di un ns. applicativo interno e che mandasse una mail all’occorrenza.
    Conosci qualcosa di + semplice di splunk visto che dopo qualche ora di prove ancora ci ho capito poco? eventualmente conosci qualche link con qualche guida in italiano?

    grazie
    Paolo

  27. Riccardo 04/06/2010 alle 09:25

    Ciao

    complimenti ancora per la guida, ho una domanda, non ho capito come esportare in automatico i log da splunk e secondo come consultarli dopo che vengono estratti. In caso di controllo si deve riuscire a consultare i log che sono stati esportati se comprendono i log degli ultimi 6 mesi.
    Tu lo fai manualmente per ogni macchina della rete sceglieno Action ->Export result?

    • Ivan Zini 05/06/2010 alle 14:03

      Ciao Riccardo
      l’esportazione la faccio manualmente per mesi, ovvero esporto da Splunk tutti i log tra due date (inizio e fine mese) e li archivio in modo sicuro.
      IZ

      • Riccardo 07/06/2010 alle 08:27

        Ciao Ivan,

        scusa se insisto ma intendi esporti manualmente da console o da web? Una volta esportati riesci a consultarli come se fossero file di testo?

        • Ivan Zini 07/06/2010 alle 09:08

          Esporto dal web:
          Actions–>Export–> e salvi nel formato a te più congeniale ( io x comodità utilizzo csv)
          IZ

  28. Pierangelo 04/06/2010 alle 17:22

    Ciao Ivan.
    Grazie davvero per le informazioni che ho potuto raccogliere, questa cosa mi sta facendo impazzire. Non sono molto pratico del tutto, ma vorrei implementare il tuo sistema.
    Io ho un server win 2000 e diversi client xp. Secondo te funziona uguale se installo splunk ver 3.4.11 sulla macchina server?
    Ora lo sto scaricando ma non vorrei trovarmi alla fine con troppi problemi.

    grazie. Pierangelo

  29. Pingback:User authentication tramite Nginx per Splunk free edition « Ivan Zini

  30. Creator 11/06/2010 alle 13:05

    Salve,
    avevo avuto anche io l’idea di installare Splunk per risolvere il problema di dover loggare gli accessi. L’idea di accoppiarci il proxy per la scadenza dell’autenticazione e l’utilizzo di Snare su Windows per collezionare i log mi sembra ottima, complimenti :)

    Ora mi pongo un quesito prima di iniziare ad implementare il tutto.

    Avrei il requisito di evitare che i server controllati si colleghino direttamente al server Splunk. Mi spiego: Splunk è installato in un’area in cui c’è un firewall che nega qualunque connessione in ingresso. L’unico modo che un amministratore ha per consultare Splunk o accedere ai dati sul server di Splunk è: dalla console o da un PC nella stessa rete di Splunk che è fisicamente isolata dal firewall dal resto dell’azienda.

    Mi piacerebbe realizzare la raccolta dei log in modo tale che sia Splunk a collegarsi ai server controllati ed estrarre le informazioni necessarie e NON che siano i server a comunicare i log a Splunk direttamente.

    Sapete se si può fare e come?

    Grazie.

    • Ivan Zini 14/06/2010 alle 11:44

      Grazie x i complimenti :)
      Spluk può solo ricevere log o da agent o da un altro splunk.
      Potresti far raccogliere nella tua lan i log da un server splunk e solo luipoi manderà poi i log all’altro splunk dietro al firewall.
      Ciao
      IZ

  31. Creator 14/06/2010 alle 11:11

    Con Snare si può monitorare anche MSSQL con il seguente filtro:

    Select the Event ID Match Type: include
    Event ID Search Term: *
    General Search Terms: *Login*
    Select the User Match Type: include
    User Search Term: *
    Identify the event types to be captured: TUTTI
    Identify the event logs: check solo su Application
    Select the Alert Level: check solo su Information

  32. Stefano 18/06/2010 alle 18:15

    mi complimento davvero tanto, la discussione è davvero ben curata e completa. avrei una domanda(forse banale) ma non sto ai vostri livelli. ho installato lo splunk sul server avente windows 2003 ed ho installato lo snare su un paio di postazioni (per fare dei test). tutto ok. ora sono passati 60 giorni e non esegue + la ricerca dei log. volevo chiedere se e come potevo risolvere questo problema. ho letto che per ubuntu si bypassa il problema installando e configurando il programma NGINX. per windows come posso fare? vi ringrazio anticipatamente

  33. Pierangelo 24/06/2010 alle 11:17

    Ciao Ivan,
    ho dovuto assentarmi, ma alla fine splunk (ver. 3.4.11. su win 2000 server) e snare (client xp) sono installati. Tutto sembra funzionare. Unico problema, non vedo modo per esportare le ricerche. Ora provo a scrivere al support, ma intanto, non è che hai qualche idea?
    Grazie di nuovo
    Pier

    • Ivan Zini 24/06/2010 alle 22:36

      Ciao Pier
      dunque nella versione 4 esporti da Actions–>Export–> e salvi nel formato a te più congeniale ( io x comodità utilizzo csv).
      Non so però nella versione 3…fammi sapere :)
      IZ

      • pierangelo 25/06/2010 alle 16:24

        Ciao Ivan,
        si… il problema è che nella versione tre, non riesco a vedere la Actions->Export… ho visto su qualche sito un commento del tipo che questo comando è ‘nearly invisible’… beh!! non lo vedo.
        allora l’altra via è CLI (che non è esattamente il mio pane).
        Installato cygwin (simulatore???) su win server 2000.
        Ora riesco a navigare fino a $splunk_home/bin/ dal quale dovrei dare comando

        ./splunk export eventdata -dir

        ciò che succede è che io faccio partire splunk, eseguo ricerca, attivo cygwin, do comando, lui mi dice che il comando ‘run’ solo a splunk chiuso… io allora chiudo browser ma comando richiede sempre di chiudere splunk.
        Forse sbaglio qualcosa (eventdata… index..)… in fin dei conti per me questo linguaggio è nuovo. Mi sono guardato un pò di manuali, ma che dura..
        Che ne dici?
        Grazie mille.. Pier.

  34. Pierangelo 02/07/2010 alle 15:15

    Che roba, avrò letto quel link 100 volte, solo ora capito. Grazie mille. Tutto regolare. Trovato menu export. Sistema implementato. Ora si tratta di provare e settare una ricerca utile.

    Quindi Splunk 3.4.11 su server win 2000 e snare agent su client XP (lascio per chi avesse la mia stessa configurazione e gli stessi problemi).

    Grazie Ivan.

  35. paolo 03/09/2010 alle 16:45

    ciao a tutti mi sembra molto interessante questa discussione su Splunk per il Garante,

    vorrei aggiungere alcune precisazioni che penso possano essere utili in riferimento al utilizzo che è stato ipotizzato di Splunk

    splunk può operare anche in un ambiente Agentless (quindi senza dovere installare agenti sulle macchine che generani i log) in windows utilizzando WMI (splunk configurato in modo opportuno può lanciare comandi WMI per farsi dare i log dalle macchine windows che li generano).

    In generale non è necessario utilizzare agenti non splunk (come suggerito da Ivan) è sufficente installare splunk stesso sulle macchine che generano i log e configurarlo come Forwarder o meglio light Forwarder in questo modo lui funziona da agente per lo splunk server che deve raccogliere i log. Questa modalità è disponibile in Windows, Linux e Unix. L’ unica versione di windows per cui occorre un agente non Splunk è Windows 2000.

    Splunk può raccogliere dati da qualsiasi tipologia di log e quindi nel perimestro del garante:
    log di sistema, log DB, log di apparati di rete etc.

    Comunque complimenti per la soluzione proposta.

    Paolo

    • Ivan Zini 03/09/2010 alle 16:53

      Ciao Paolo!
      Grazie x le tue precisazioni molto chiare e utili :)
      IZ

    • Alex 28/10/2010 alle 16:39

      Prima di leggere il commento di Paolo stavo appunto per scrivere che è possibile prelevare gli eventi dei sistemi remoti da una postazine centrale, tramite il linguaggio di scripting di Windows.

      Vorrei chiedere a Paolo, e chi altri lo può sapere, quale codice ha utilizzato o come ha configurato Splunk per utilizzare wmi. Evitando così di installare lato client agenti software.

      Grazie

      • Paolo 31/10/2010 alle 20:19

        Ciao, il codice è quello già presente in Splunk! nelle ultime versioni c’è proprio il bottone WMI! che poi non è altro che un’interrogazione con l’apposito script delle librerie WMI di Windows… se il vostro utente (quello con cui “gira” splunk) ha i diritti per leggere le WMI tutto è già configurato correttamente!

    • Alex 15/11/2010 alle 16:40

      Ciao paolo,

      mi piacevi quando scrivevi “splunk può operare anche in ambiente Agentless”, meno quando poi aggiungi “è sufficiente installare splunk stesso sulle macchine che generano i log” :-)))

      Al Paolo che ha scritto qui sotto vorrei chiedere dove si trova quel pulsante WMI che lui cita.

      In sostanza, vorrei evitare di installare un client in ogni pc (visto che dovrei loggare ogni postazione a cui l’AdS potrebbe avere accesso) e sto cercando un comando o script di Microsoft che consenta di prelevare remotamente le informazioni desiderate.

      Grazie

      • Paolo 15/11/2010 alle 19:03

        I Due “Paolo” coincidono, il mondo dei post non è mai SSO!

        Per quanto riguarda l’Agentless posso chiarire:
        1) installi uno splunk su un server che fa da collettore
        2) installi un collettore e tanti splunk attorno che inviano dati al primo

        nella prima ipotesi, però, hai due possibilità:
        a) utilizzi WMI per leggere i dati dei PC in LAN/VPN come vuoi
        b) utilizzi script particolari o programmi di terze parti per l’invio dei dati al collettore

        per quanto riguarda invece il secondo intervento, la sorgente da cui recuperare info la trovi nel menù relativo agli INPUT ed è una delle possibili elezioni da cui acquisire dat in ingresso.

  36. Creator 07/09/2010 alle 17:02

    Splunk Export Data ha un limite di 10000 eventi per esportazione, non modificabile. Anche se lo cambi dall’interfaccia web quando ti chiede di esportarlo. Questo è un grosso problema perchè, se i miei sistemi, che possono essere 100 ad esempio, nell’arco di un mese generano ad esempio 400000 eventi, per me sarà un bel problema esportarli. Attualmente non vedo soluzioni, se non quelle proposte alla pagina

    http://blogs.splunk.com/2009/08/07/help-i-cant-export-more-than-10000-events/

    e che comunque lasciano il tempo che trovano.

    Idee?

  37. Creator 07/09/2010 alle 17:09

    Come non detto, la soluzione fornita alla pagina del blog di Splunk permette di esportare su disco più di 10000 eventi in un unico file. Unica pecca è che bisogna accedere al filesystem prelevare il file a mano e poi cancellarlo.

  38. Alex 28/10/2010 alle 16:26

    Solo sulle macchine che contengono dati soggetti alla privacy? In quale parte della normativa viene specificato?

    Io avevo capito che, al fine di dare una regolata agli amm. di sistema, bisognava coinvolgere tutti i sistemi a cui accedono gli amministratori di rete.

    Quindi ad es. anche al pc della collega, dove l’amministratore di sistema si è loggato per installare un software.

    Se fosse così si tratterebbe davvero di poche macchine, magari solo il server di contabilità e quello che ospita l’anagrafica dei clienti (ad esempio).

    Alex

    • Ivan Zini 29/10/2010 alle 17:41

      Ciao Alessandro,
      effettivamente col senno di poi il provvedimento specifica:
      “Devono essere adottati sistemi idonei alla registrazione degli accessi logici (autenticazione informatica) ai sistemi di
      elaborazione e agli archivi elettronici da parte degli amministratori di sistema. Le registrazioni (access log) devono avere
      caratteristiche di completezza, inalterabilità e possibilità di verifica della loro integrità adeguate al raggiungimento dello
      scopo di verifica per cui sono richieste.”
      Cito anche una precisazione di Federprivacy:
      ” Va da sè, pertanto tutte le imprese che non si avvalgono di una figura professionale per l’amministratore di sistema, della rete o delle basi di dati non sono tenute all’adozione delle misure individuate dal Provvedimento”.
      Per quel che mi riguarda il Provvedimento è un po nebuloso perché non è esplicito.
      A scanso di equivoci colgo la tua osservazione e correggo l’articolo.
      Grazie e ciao
      IZ

  39. Federico 12/11/2010 alle 09:47

    Ciao Ivan,

    ho seguito la guida passo per passo e non ho avuto problemi.
    i provvedimenti del garante sono solo confusionari e lasciano spazio alla libera interpretazione.
    Se in un pc di un collega installo un programma, questo “accesso” deve essere monitorato dato che già siamo loggati con il suo account?
    In ufficio abbiamo solo un server dove io (amministratore di sistema) lavoro e poi i vari client dei colleghi. Quindi a questo punto i log dovrebbero essere presi solo dal server mi chiedo.

    Vorrei chiederti qualcosa di splunk:
    1) Dove salva i log che gli arrivano?
    2) Si può configurare il limite massimo di spazio utilizzabile? Ad esempio dopo 2 GB cancella i dati vecchi. Se no: posso da line adi comando cancellare i log tramite filtro? (precedenti a una data per esempio).
    3)Si può fare l’esportazione in CSV da command line?

    Grazie della guida.
    Federico

    • Ivan Zini 15/11/2010 alle 09:32

      Ciao Federico
      il provvedimento esplicita che occorre tenere traccia del login/logout dell’utente “amministratore di sistema” sulle macchine.
      Nel tuo caso se utilizzi un utente che non è “ads” non occorre monitorarlo con le modalità indicate nel provvedimento.

      1) Dove salva i log che gli arrivano?
      Cito dal sito di Splunk:
      Indexes are stored in directories, which are located in $SPLUNK_HOME/var/lib/splunk.
      An index is a collection of directories. Index directories are also called buckets and are organized by age. For detailed information on index storage, see “How Splunk stores indexes”.
      2) Si può configurare il limite massimo di spazio utilizzabile? Ad esempio dopo 2 GB cancella i dati vecchi. Se no: posso da line adi comando cancellare i log tramite filtro? (precedenti a una data per esempio).

      http://www.splunk.com/base/Documentation/4.1.5/Admin/Setlimitsondiskusage

      3)Si può fare l’esportazione in CSV da command line?

      http://answers.splunk.com/questions/3459/export-search-to-directory-in-csv

      IZ

  40. Alessio 15/11/2010 alle 16:01

    Ciao, ho dato uno sguardo abbastanza veloce al blog, ma non sono riuscito a trovare delle informazioni e a chiarire alcuni dubbi. Possiedo anche io la versione Free, e sto cercando un modo per automatizzare il salvataggio e la cancellazione dei log da CLI invece che da browser, ma Splunk, quando vado a dargli il comando: /splunk export…..etc etc mi chiede di FERMARE il demone! Questo per me è un problema, in quanto fermando il demone, non avrei più modo di collezionare i log, e perderei tutti i log che arrivano durante il riavvio di Splunk. C’è un modo per forzare l’esportazione o per ovviare a questo problema?
    Graziee

      • Alessio 01/12/2010 alle 13:12

        Grazie per la risposta,
        conosco questa soluzione, ma (per condivisione e divulgazione) ho optato per un’altra soluzione, un po più macchinosa ma pur sempre efficiente!
        Ho installato due istanze di splunk, un Forwarder e un Receiver, il forwarder lavora con il TCP quindi l’altra istanza di splunk (il Receiver) può tranquillamente essere spenta o riavviata senza nessuna perdita di dati in quanto il Forwarder quando vede la controparte down, crea una coda di log che invierà non appena l’istanza receiver sarà nuovamente in piedi.
        In questo modo evito il limite dei 500 MB che impone la licenza free, e riesco a gestire il sistema senza nessuna perdita di dati.
        un saluto!

        • Ivan Zini 01/12/2010 alle 15:06

          Complimenti Alessio per la tua soluzione….idea davvero ottima!
          Se hai voglia di condividerla puoi postare sul blog.
          IZ

      • Alessio 10/12/2010 alle 21:24

        peccato che dopo qualche giorno di corretto funzionamento, splunk receiver abbia deciso di abbandonarmi! i log arrivano correttamente alla macchina, ma splunk non ne vuole sapere di indicizzarli. O_O ho dato uno sguardo al file splunk.log ma non segnala nulla di anomalo…

        • Alessio 15/12/2010 alle 10:40

          ho risolto =) c’era un altro problema non relativo a splunk =)
          salutoni
          A

          • Ivan Zini 15/12/2010 alle 10:43

            Molto ben Alessio :)
            Ti rinnovo l’invito a condividere la tua ottima soluzione ;)
            IZ

          • Alessio 15/12/2010 alle 10:49

            ops hai ragione… possiamo fare una sorta di guida come la tua o un semplice 3d ??

          • Ivan Zini 15/12/2010 alle 16:24

            potremmo fare insieme una bella guida da pubblicare sul blog!
            che ne dici?L’argomento è senza dubbio interessante..
            IZ

  41. marco 27/01/2011 alle 21:41

    Buongiorno a tutti,
    sto cercando di approfondire questo discorso. Con questa soluzione mi sorgono però queste domande:
    1) Se esportate i dati in CSV e poi li masterizzate, come fate a garantire l’immodificabilità? L’amministratore potrebbe rimuovere qualche riga dal CSV prima di masterizzarlo.
    2) Come utente, registrate solo l’administrator. Ma se l’utente “pippo” viene messo nel gruppo “Administrator” per qualche “strano motivo”, vi perdete i “log utili”. Si potrebbe filtrare il gruppo e non l’utente?

    Grazie

    • Ivan Zini 07/02/2011 alle 12:05

      Ciao Marco,
      rispondo con ordine:
      1)Sulla macchina in cui è installato splunk occorrerà cambiare tutte le credenziali d’accesso che devono essere conosciute solo dal “titolare del trattamento” dei dati ed è questa figura che “dovrebbe” occuparsi dell’esportazione in csv e della masterizzazione degli stessi.
      2) Si può filtrare anche per gruppo.
      in proposito ti posto il link della guida allo snare agent:

      http://www.intersectalliance.com/resources/Documentation/Guide_to_Snare_for_Windows_and_Windows_Vista-2.9.pdf

      IZ

      • Enrico V 25/01/2012 alle 11:19

        Uhmmm… non avevo pensato alla possibile creazione di nuovi admin. Bisognerà prevederlo ai fini della normativa? Quindi, poiché l’universal forwarder non mi sembra preveda un filtro per gruppo AD, dovrò reinstallare gli agenti?

        Inoltre, per quanto riguarda la tanto discussa esportazione: se io semplicemente mantenessi tutti i dati per 6 mesi dentro splunk, e dessi la possibilità ad eventuali auditors di accedere direttamente, non avrei (Data Block Signing attivato) risolto il problema dell’integrità?

        Grazie e buon lavoro

  42. gianluca 28/03/2011 alle 15:13

    Compllimenti per l’articolo in 10 minuti ho risolto il problema.
    Qualcuno di voi ha provato ad integrarlo con nagios con buoni risultati?

    grazie a tutti e complimenti

  43. Pasquale 03/04/2011 alle 23:33

    Complimenti per il blog,
    provero la soluzione, ma vorrei integrare con l’automatismo della
    cifratura, qualcuno ha risolto in merito?

  44. Leo 29/04/2011 alle 17:01

    Salve a tutti,
    complimenti per il blog.

    Vorrei sapere se il sistema Nginx (o sw proxy alternativi) è stato implementato da qualcuno su un sistema Windows-based. Eventualmente potreste postare le configurazioni?

    Grazie mille
    Leo

  45. alberto 01/08/2011 alle 13:03

    ciao, io ho sempre utilizzato splunk per ottenere il report dei log…mensilmente eseguivo la query ed esportavo il risultato.

    Oggi ho eseguito la solita routine, ma ottengo sempre 0 matches…anche mettendo come periodo di tempo i mesi scorsi che ho gia esportato…

    Posso chiederti un aiuto?

    • Ivan Zini 02/08/2011 alle 19:27

      Ciao Alberto,

      dunque controlla banalmente se non hai esaurito lo spazio disco della macchina splunk ed anche se se la porta che utilizzi non sia bloccata da firewall.
      Eventualmente controlla che il servizio di splunk sia attivo,
      Fammi sapere

      IZ

  46. Max 20/09/2011 alle 15:54

    Ciao e grazie per questa preziosa guida. Stoprovando a configurare splunk ma quando aggiungo la porta 514 non mi presenta come source type il windows_snare_syslog. Ce ne sono altri ma questo no. Qualche suggerimento?
    Grazie mille
    Max

  47. Enrico V 19/01/2012 alle 15:01

    Complimenti per l’ottimo articolo Ivan!
    Sto implementando questa soluzione, e oggi esiste lo Splunk Universal Forwarder che già usa TCP ed è consigliato da Splunk rispetto agli altri agenti.

    Credo che facendo un backup della intera cartella di splunk si possano soddisfare tutti i requisiti, tranne… la completezza. Perché nessuno mi vieta di spegnere l’agente splunk oppure, nel caso (seppur sconsigliato da Splunk) di utilizzare direttamente WMI di Splunk (agentless) di fermare lo stesso Splunk, oppure (se inaccessibile all’ads) di mettere un qualunque firewall sulla porta durante le mie “operazioni illecite”. Durante quel periodo di tempo che l’agente non potesse prelevare i dati, io potrei cancellare i log interessanti.

    Cosa ne pensate? Mi sto preoccupando troppo, vero? :D

  48. Paolo 19/01/2012 alle 19:06

    Qualcuno ha trovato un modo semplice o ha implementato un sistema per raccogliere o filtrare prima di registrare, solo i log relativi all’amministratore/gli amministratori?

    Personalmente ho trovato molte info sul sito di Splunk ma sono molto macchinose almeno a prima lettura, bisogna smacchinare un po’ con i file di config e le regexp…

    Per uno come me che lo usa con WMI è un’autentica fregatura se i log registrati cominciano ad essere decine di MB al giorno (soprattutto in un ambiente di push!)

    • Enrico V 20/01/2012 alle 16:59

      Se non ho capito male ti serve un filtro… il filtro è documentato nei docs di Splunk.
      Io stesso prima di passare all’Universal Forwarder ho provato e sono riuscito a filtrare senza problemi. Devi usare [WMI:WinEventLog:Security] nel props.conf . Sembrano configurazioni complicate ma stranamente funzionano al primo colpo… l’unica cosa se ti servono filtri più avanzati di quelli descritti è imparare le espressioni regolari, ma ci sono molti siti che ne parlano fortunatamente.

  49. Antonio I 07/04/2012 alle 17:02

    Ciao! Innanzitutto grazie per questo post: mi sta rovinando le vacanze paquali ma fuori piove: le gomme della Suzuki sono poco intagliate e i calzoni con le code di cipolla sono eccellenti… quindi va bene così! ;-D
    Ho installato Snare sui client e configurato (un po’ a fatica) Splunk per evidenziare solo le operazioni di accesso\disconnessione degli utenti che mi interessavano.

    Domanda numero 1: Snare invia a Splunk i dati degli accessi degli utenti appartenenti al gruppo “amministratori”, locali e di dominio. Per farglielo fare, sono stato costretto ad elencarli uno ad uno; non ho capito come fare la medesima cosa utilizzando i gruppi (locali e di dominio).

    Andiamo avanti: grazie ad una search schedulata unita (pipata?) al comando | outputcsv NOMEFILE.csv riesco ad esportare in automatico i dati che mi interessano in un file .csv.

    Domanda numero 2: come rendo inalterabili i file utilizzando uno script sotto windows? Quali programmi posso utilizzare?

    Grazie!

    • Ivan Zini 12/04/2012 alle 23:34

      Ciao Antonio!
      uhm buoni i calzoni con le code di cipolle…posta la ricetta ;)

      Punto 1.
      qui trovi il manuale dello snare agent:

      http://www.intersectalliance.com/resources/Documentation/Guide_to_Snare_for_Windows-4.0.pdf

      a pagina 24 trovi spiegata la sintassi da utilizzare per filtrare utenti/gruppi sia locali che di dominio.

      Punto 2.
      Per cifrare e rendere immodificabili i file di log bisogna comprimere e creare l’MD5 puoi usare il programma come haozip (http://www.haozip.com/Eng/index_en.htm) se sgoogli ne trovi un’infinità.
      Inoltre sarebbe meglio anche masterizzarli su supporti ottici o conservarli in un luogo sicuro.
      Questa operazione deve essere effettuata periodicamente.

      IZ

      • Antonio I 14/04/2012 alle 10:48

        ;-) la ricetta è segreta ma, se passi da queste parti nel periodo di fine della quaresima dell’anno prossimo, sarò lieto di condividerli con te.

        Punto 1: avevo letto che da Snare è possibile “rinvenire” le informazioni sugli utenti di dominio (permessi di lettura “permettendo”). Speravo fosse possibile filtrarli. Ma va bene così :-)

        Punto 2: alla fine ho utilizzato fsum per generare gli hash. E blat per spedirli ad una casella e-mail che fa da repository dei log (e degli hash). E 7zipa per comprimere i csv esportati da Splunk in formato non modificabile, proteggerli con password, includere il file hash.
        (da AdS in erba mi sembra tutto tempo perso :-) ma mi adeguo !)

  50. Alessandro 26/03/2013 alle 16:32

    A distanza di molto tempo ti e vi chiedo:

    – è possibile definire un tempo massimo di conservazione (un anno, per esempio)? Se sì, si può definire una cosa del tipo “tienimi traccia per interventi su questa cartella o server per un anno, mentre per un’altra o altro server per due anni”?

    – lato server devo comunque abilitare il controllo/audit della cartella desiderata, qualora volessi tracciare chi e quando accedere a quella carella e ai relativi file? O per Snare è indifferente?

    – tale soluzione dovrebbe andar bene anche per la normativa sulla conservazione del traffico telefonico e telematico (“data retention”), giusto? Sempre a causa di questa normativa ti chiedo se conosci qualcuno che l’ha osservata e se è possibile sapere come si realizza quella fantomatica documentazione dei sistemi informativi, secondo i principi di ingegneria del software.

    Grazie a te e a tutti!

  51. Alessandro 23/08/2013 alle 10:54

    Toc toc, c’è qualcuno?
    A causa del limite dei 500MB al giorno di log, saremo costretti ad abbandonare Splunk (licenza troppo costosa).
    Ci incuriosiva logstash, che ne pensi/pensate? Sarà possibile esportare il db di Splunk ed importarlo in logstash?

    Grazie!

  52. Piero 09/12/2013 alle 17:15

    Salve, ho seguito passo passo la guida con splunk versione 6, ma non riesco a vedere log degli host diversi da quello locale. Non mi da errori, ma non vedo log. Potete aiutarmi?

  53. Luca 11/12/2013 alle 17:11

    Ciao a tutti, ho un bel problema con Splunk e spero davvero tanto mi possiate aiutare.
    Lo avevo installato un paio di mesi fa e dopo aver verificato fosse tutto ok me ne ero dimenticato fino ad oggi; quando ho fatto il login mi ha avvisato della licenza scaduta ed ho confermnato la trasformazione di quest’ultima in free.
    Dopo il riavvio del servizio non mi mostra più un dato perché ogni volta che utilizzo la app “search” appare un riquadro color rosso/bordeax con scritto:
    “Error in ‘litsearch’ command: Your Splunk license expired or you have exceeded your license limit too many times. Renew your Splunk license by visiting http://www.splunk.com/store or calling 866.GET.SPLUNK.”

    Non può aver superato la soglia giornaliera dei 500Mb perché registro solo gli accessi ad un server dati di un utente… Davvero poca roba (anche se importantissima)

    Potete aiutarmi?
    Grazie,
    Luca

  54. Piero 12/12/2013 alle 16:17

    Tutto risolto, per fortuna. Grazie Ivan. Sai come posso configurare splunk per far si che venga contattato da browser da altri client appartenenti alla LAN?

  55. Luca 13/12/2013 alle 16:39

    Ciao Iva, grazie innanzituttoper la tua risposta.
    Se non ho capito male basta aspettare 30 gg dal momento in cui é stata bloccata la funzione cerca per far si che si ripristina da sola?!? Quello che non capisco é come faccia ad aver superato al soglia dei 500mb al giorno…. sarà tanto se ne supera uno!
    Come si può analizzare il contenuto di questo “traffico” ?

    Grazie ancora per il tuo prezioso aiuto,
    Luca

  56. Sirio 22/01/2014 alle 23:12

    Ciao Ivan, intanto complimenti per l’articolo!
    Ti volevo chiedere qualche dritta: vorrei fare una installazione da zero e contando che deve operare in ambiente win server 2k8 r2 + server linux + client w7/w8/apple, cosa mi consigli come macchina server? Potrebbe andare ubuntu 13.10 o meglio utilizzare versione precedente? Per finire ti chiedo come attivare/ricevere input dati da apparati di rete come firewall o switch.

    Grazie in anticipo
    Sirio

    • Ivan Zini 23/01/2014 alle 17:15

      Ciao Sirio :)
      si puoi installare l’ultima versione di splunk, la 6.0.1, su ubuntu 13.10 in quanto sono stati corretti molti bug proprio per ubuntu 13.04 e 13.10.
      Per ricevere i log da apparati di rete esistono delle apposite app da aggiungere in splunk a seconda della tipologia dei tuoi device

      http://apps.splunk.com/

      IZ

  57. Sirio 23/01/2014 alle 21:45

    Ciao Ivan,
    grazie per la risposta, sono stordito io oppure non c’è più l’opzione in splunk di ricevere i dati di input da snare (dal menu a tendina come da tuo screen-shoot)

  58. Nau 15/07/2014 alle 14:47

    Dal sito splunk e’ scaricabile direttamente un’applicazione che installa un servizio su windows per spedire i dati al server splunk. Si installa velocemente sulla macchina client e si configura indicando server splunk e relativa porta ricevente. Ovviamente anche splunk (server) deve essere configurato per ricevere su quella porta (di default e’ la 9997), ma lo si setta i 1 minuto dall’interfaccia web. Tutta la procedura risulta quindi piu’ veloce rispetto a quella indicata nella guida di Ivan Zini che ovviamente ringrazio perche’ da solo non ci sarei mai arrivato.
    Ora non resta mi che capire come poter eliminare i dati dopo 6 mesi (onde evitare HDD pieni o applicazione bloccata) e come esportare i csv in automatico ;-)

  59. Nau 16/07/2014 alle 10:53

    Ciao Ivan,
    mi son letto tutto il tuo ottimo articolo e le varie richieste/risposte di aiuto del thread. Grazie a questo sono riuscito a installare e far funzionare splunk 6.1.2 su linux (distro lubuntu) riciclando un vecchio PC nonche’ ad installare gli agenti su 2 server win. Il problema ora sta nella generazione dei file CSV.
    Ho visto che su splunk e’ possibile salvare una ricerca in un report per poi schedularlo. Quando si imposta la schedulazione e’ anche possibile fargli mandare una mail e/o eseguire uno script. In particolare vorrei capire come fare per salvare (automaticamente tramite schedulazione) il file csv in una cartella prestabilita ed eventualmente zipparlo. Si puo’ fare tutto tramite script ?
    Qualcuno ci ha provato?
    Grazie

  60. Alessandromagno 18/07/2014 alle 12:10

    Potete suggerire una soluzione alternativa a Splunk, in quanto non possiamo più usarlo perché abbiamo superato i 500 MB di log al giorno per utilizzare la licenza free? La licenza costa tantissimo, pertanto cercavamo un software alternativo. Grazie!!!

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...

Iscriviti

Ricevi al tuo indirizzo email tutti i nuovi post del sito.

Unisciti agli altri 164 follower

%d blogger cliccano Mi Piace per questo: