Linux 360° | Italia » debian

MySQL Master-Master Replication

Paolo Daniele — Mon, 28 Jul 2014 15:17:41 +0000

Oggi voglio pubblicare un qualcosa di interessante che mi è capitato per lavoro.

Ipotizziamo di avere 2 database MySQL in due zone geograficamente distanti tra loro.

Questi database devono essere consistenti, cioè contenere sempre gli stessi dati, così nel caso di perdita di connessione o di blocco del database 1 tutte le connessioni verranno indirizzate sul database 2 e viceversa.

Vi spiego meglio con una figura:

Abbiamo capito il problema, adesso vediamo come affrontarlo e trovare la soluzione.

In rete ho trovato molte “strade” più o meno simili, non è detto che la mia sia giusta, ma so che funziona perchè l’ho provata praticamente!

La soluzione che vi propongo è stata testata con mysql-server 5.5.37 su Debian 7.1 Wheezy a 64bit

Per prima cosa dobbiamo abilitare su entrambi i database il BINARY LOGGING che è un vero e proprio log delle operazioni che vengono effettuate su ogni database.

Modifichiamo il file di configurazione my.cnf come segue:

Database MASTER-1

Source code

server_id           = 1
log_bin             = /var/log/mysql/mysql-bin.log
log_bin_index       = /var/log/mysql/mysql-bin.log.index
relay_log           = /var/log/mysql/mysql-relay-bin
relay_log_index     = /var/log/mysql/mysql-relay-bin.index
expire_logs_days    = 10
max_binlog_size     = 100M
log_slave_updates   = 1
auto-increment-increment = 2
auto-increment-offset = 1
binlog_do_db        = sharedb

Database MASTER-2

Source code

server_id           = 2
log_bin             = /var/log/mysql/mysql-bin.log
log_bin_index       = /var/log/mysql/mysql-bin.log.index
relay_log           = /var/log/mysql/mysql-relay-bin
relay_log_index     = /var/log/mysql/mysql-relay-bin.index
expire_logs_days    = 10
max_binlog_size     = 100M
log_slave_updates   = 1
auto-increment-increment = 2
auto-increment-offset = 2
binlog_do_db        = sharedb

E’ molto importante definire il parametro auto-increment-offset diverso tra i due database, questo serve per evitare che ci siano conflitti di indici nelle fasi di replicazione.

Prima di riavviare il servizio, procediamo con la creazione/import del database sharedb su entrambi i server (ATTENZIONE consiglio che i databasesiano uguali in questa fase)

Sempre su entrambi i server, da console:

Source code

CREATE user 'replicante'@'%' IDENTIFIED BY 'Wp4Suppl1c4nt462!';
GRANT replication slave ON *.* TO 'replicante'@'%';

Riavviamo il servizio su entrambi i server.

Operiamo adesso sul server MASTER-1

Source code

mysql -u root - p

Source code

SHOW master STATUS;

Appare una cosa del genere:

Passiamo su MASTER-2

Da console sql:

Source code

slave stop;
CHANGE MASTER TO MASTER_HOST = 'IP-MASTER-1', MASTER_USER = 'replicante', MASTER_PASSWORD = 'Wp4Suppl1c4nt462!', MASTER_LOG_FILE = 'mysql-bin.000001', MASTER_LOG_POS = 106;
slave start;
SHOW master STATUS;

Apparirà quealcosa del genere:

Torniamo su MASTER-1

Da console sql:

Source code

slave stop;
CHANGE MASTER TO MASTER_HOST = 'IP-MASTER-2', MASTER_USER = 'replicante', MASTER_PASSWORD = 'Wp4Suppl1c4nt462!', MASTER_LOG_FILE = 'mysql-bin.000002', MASTER_LOG_POS = 1060;
slave start;

Il gioco è fatto!

Proviamo a fare un update su uno dei due master e vedremo la replica in tempo (quasi reale!) sull’altro!

Per essere sicuri, da uno dei due server sempre da console fate un:

Source code

SHOW slave STATUS;

dovreste ottenere un qualcosa del genere:

……….Waiting for master to send event | IP-MASTER ………….

Enjoy!

L'articolo MySQL Master-Master Replication sembra essere il primo su Linux 360° | Italia.

Howto Installare Observium Network Monitoring Tool

Paolo Daniele — Tue, 22 Jul 2014 13:56:21 +0000

Oggi vi propongo un qualcosa di un po’ più avanzato!

Andremo ad installare Observium, un sistema di monitoraggio di rete Open Source.

Questo tipo di sistema permette di racchiudere in un unica interfaccia, il monitoraggio di più dispositivi di rete utilizzando il protocollo standard SNMP.

Pur essendo uno standard in realtà ci sono diverse varianti a seconda del Vendor (Cisco, Mikrotik, Juniper etc.) la maggior parte delle quali sono già integrate dentro il sistema principale.

Per quello che non è integrato, con un po’ di modifiche e un po’ di lavoro sul codice sorgente è possibile implementare SNMP di altri Vendor.

Observium è sviluppato principalmente per sistemi Debian/Ubuntu ma è compatibile anche per altre piattaforme (CentOS, Rhel etc.) ma per queste non viene garantito il supporto.

Vediamo come installare:

REQUISITI FONDAMENTALI

Apache
fping
MySQL 5
Net-SNMP 5.4+
RRDtool 1.3+
Graphviz
PHP 5.4+

Per le funzionalità aggiuntive:

Ipmitool
Libvirt-bin

Source code

apt-get install libapache2-mod-php5 php5-cli php5-mysql php5-gd php5-snmp php-pear snmp graphviz php5-mcrypt php5-json 
subversion mysql-server mysql-client rrdtool fping imagemagick whois mtr-tiny nmap ipmitool python-mysqldb

Per le Libvirt:

Source code

apt-get install libvirt-bin

INSTALLAZIONE OBSERVIUM

Creiamo la directory di installazione:

Source code

mkdir -p /opt/observium && cd /opt

Le nuove versioni di Observium si dividono tra la Community Edition e la versione con Sottoscrizione. Per chi vuole solo la Community Edition:

Source code

wget http://www.observium.org/observium-community-latest.tar.gz
tar zxvf observium-community-latest.tar.gz

Per la revisione NOT-STABLE:

Source code    
svn co http://svn.observium.org/svn/observium/trunk observium

Per la revisione STABLE:

Source code

svn co http://svn.observium.org/svn/observium/branches/stable observium

CONFIGURAZIONE OBSERVIUM

Source code

cp config.php.default config.php

Creiamo il Database che conterrà le informazioni del monitoraggio:

Source code

mysql -u root -p
 
mysql> CREATE DATABASE observium;
mysql> GRANT ALL PRIVILEGES ON observium.* TO 'observium'@'localhost'
    -> IDENTIFIED BY '';

Una volta fatto questo editiamo i corrispondenti valori (nome database, utente e password) dentro il file config.php

Installiamo le tabelle di base di Observium:

Source code

php includes/update/update.php

La directory dei log la possiamo mettere in /var oppure possiamo direttamente specificare di scrivere i file di log nella /var

IMPORTANTE:

Creare la directory per gli RRD e assegnare i permessi come segue per avere i grafici disegnati in maniera corretta:

Source code

mkdir rrd
chown www-data:www-data rrd

Configuriamo il Virtual Host di Apache, nel mio caso ho editato quello di default, ma se avete diversi siti è possibile creare un file separato:

Source code

<VirtualHost *:80>
       ServerAdmin webmaster@localhost
       DocumentRoot /opt/observium/html
       <Directory />
               Options FollowSymLinks
               AllowOverride None
       Directory>
       <Directory /opt/observium/html/>
               Options Indexes FollowSymLinks MultiViews
               AllowOverride All
               Order allow,deny
               allow from all
       Directory>
       ErrorLog  ${APACHE_LOG_DIR}/error.log
       LogLevel warn
       CustomLog  ${APACHE_LOG_DIR}/access.log combined
       ServerSignature On
VirtualHost>

Abilitiamo il modulo rewrite:

Source code

a2enmod rewrite
service apache2 restart

Abbiamo quasi finito!

Aggiungiamo un nuovo utente di livello 10, che sarà il nostro amministratore:

Source code

cd /opt/observium
./adduser.php admin admin_password 10

Aggiungiamo il primo dispositivo da monitorare:

Source code

./add_device.php ip_oppure_hostname public v2c

I parametri che ho usato:

ip_oppure_hostname: Indirizzo IP o Hostname della macchina da monitorare;
public: il tipo di community SNMP ( se non siete pratici lasciate public);
v2c: la versione di SNMP utilizzata

La versione 2c è quella compatibile con quasi tutti i dispositivi, mentre se volete usare autenticazione dovete usare la v3

Adesso popoliamo di dati il nostro Observium:

Source code

cd /opt/observium
./discovery.php -h all
./poller.php -h all

Inseriamo queste opzioni sotto crontab cosichhè sia il sistema a lavorare per noi:

Source code

crontab -e
33  */6   * * *   root    /opt/observium/discovery.php -h all >> /dev/null 2>&1
*/5 *     * * *   root    /opt/observium/discovery.php -h new >> /dev/null 2>&1
*/5 *     * * *   root    /opt/observium/poller-wrapper.py 1 >> /dev/null 2>&1

Il gioco è fatto!

Andare all’indirizzo ip http://il_vostro_ip e avrete il vostro sistema di monitoraggio pronto!

Enjoy!

L'articolo Howto Installare Observium Network Monitoring Tool sembra essere il primo su Linux 360° | Italia.

Asterisk CDR con SQLite3 e PHP

Paolo Daniele — Wed, 30 Apr 2014 10:24:36 +0000

Oggi vi propongo una guida interessante.

Sempre sviluppata con l’amico Frank al quale vengono le idee…e io poi le realizzo!

La base è quella di voler realizzare un sistema minimale di CDR (Call Detail Recording) ossia uno strumento che permette di visualizzare i dettagli delle chiamate sui centralini Asterisk.

Il sistema classico utilizza MySQL e si trova molto materiale in giro per la rete.

Oggi vi spiego come realizzarlo con SQLite, che è una versione minimal di SQL, da utilizzare su quei dispositivi dove non ci sono molte risorse (vedi centralino asterisk su Raspberry)

Requisiti:

- Asterisk

- Debian (o qualunque altro SO)

- SQLite

- Apache (o un qualunque Web Server)

- Php5 con supporto per SQLite3

Installazione Requisiti:

Per installare SQLite3:

Source code

sudo apt-get install libxml2-dev ncurses-dev libsqlite3-dev sqlite3

Per installare Apache:

Source code

sudo apt-get install apache2

Per installare PHP5-SQLite:

Source code

sudo apt-get install php5-sqlite3

Procedimento:

Per prima cosa è necessario che asterisk sia compilato con SQLite.

Per fare questo bisogna controllare che nella cartella dove sono installati i noduli di asterisk generalmente /usr/lib/asterisk/modules sia presente il file cdr_sqlite3_custom.so.

Se non è installato è necessario ricompilare asterisk aggiungendo il modulo indicato sopra facendo:

Source code

make menuselect

(Non mi soffermo su questo perchè si trovano molte guide in giro)
Fatto questo bisogna modificare il file cdr_sqlite3_custom.conf in /etc/asterisk come nel file in allegato.

Se è già installato SQLite e il master.db è già creato è necessario rimuoverlo per adattarlo alla mia conf.(se non volete basta modificare il file cdr_sqlite.php adattandolo alle vostre esigenze!)

Per verificare se il master.db è già creato bisogna vedere se nel percorso /var/log/asterisk è presente.

Una volta modificato il file cdt_sqlite3_custom.conf è necessario riavviare Asterisk (sudo /etc/init.d/asterisk restart)

Fatto questo basta scompattare i file che vi allego dentro una /var/www o comunque la directory principale del vostro web server.

Se tutto è ok potrete vedere i dettagli delle vostre chiamate digitando nel browser: http://localhost/cdr_sqlite.php

Enjoy!

Dowload Sorgenti

L'articolo Asterisk CDR con SQLite3 e PHP sembra essere il primo su Linux 360° | Italia.

Howto Debian Raid Software

Paolo Daniele — Sat, 16 Nov 2013 10:07:31 +0000

Videotutorial

L'articolo Howto Debian Raid Software sembra essere il primo su Linux 360° | Italia.

Postfix Admin update

Paolo Daniele — Tue, 25 Jun 2013 06:39:31 +0000

A chi è del mestiere e lavora con server di posta sotto Linux, sicuramente utilizza Postfix Admin per la gestione degli account di posta elettronica!

Sabato ho fatto l’update sui nostri server a TLCWEB ed è andato tutto ok….

Ieri apro una casella per modificarla e… magia! Spunta fuori un bel messaggio di errore:

Invalid query: Unknown column ‘local_part’ in ‘field list’

Please check the documentation and website for more information.

Postfix Admin
Forums

Senza farsi prendere dal panico…

Basta aprire il file edit-mailbox.php, trovare la riga

$formvars['local_part'] = $matches[1];

E commentarla!

Il gioco è fatto…

Enjoy!

L'articolo Postfix Admin update sembra essere il primo su Linux 360° | Italia.

Debian Raid Software

Paolo Daniele — Fri, 07 Sep 2012 13:25:25 +0000

Un ringraziamento al mio amico Frank per il tutorial scritto, a breve posteremo il video realizzato da me con i passaggi a video!

Visto che è una procedura che faccio spesso, volevo condividerla con voi eseguiamo il boot da cd, e proseguiamo con l’installazione fino a quando l’installer chiede di formattare i dischi, selezioniamo “manuale” Decidiamo le dimensioni della partizione di root e dello swap, orientativamente 20GB in root sono sufficienti per un’installazione normale, mentre per lo swap come dimensione impostiamo il doppio della ram.
create quindi le partizioni, settiamo il tipo della partizioni a linux raid autodetect , per le partizioni di root, impostiamo anche il flag di boot (di entrambi i dischi).
avremo quindi una cosa di questo tipo…

$ fdisk -l

Disk /dev/sda: 1000.2 GB, 1000204886016 bytes 255 heads, 63 sectors/track, 121601 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x000c67c1
Device Boot      Start         End      Blocks   Id System /dev/sda1               1         365     2931831   fd
Linux raid autodetect /dev/sda2             366        2797    19535040   fd
Linux raid autodetect Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes 255 heads, 63 sectors/track, 121601 cylinders Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk identifier: 0x00053d83
Device Boot      Start         End      Blocks   Id System /dev/sdb1               1         365     2931831   fd
Linux raid autodetect /dev/sdb2             366        2797    19535040   fd
Linux raid autodetect la 1° partizione è usata come swap (3GB) in alcuni casi ho notato che è meglio non metterla sotto raid la 2° partizione serve per il SO (20GB)
P.S Ricordiamo che se utilizziamo i volumi LVM dobbiamo creare un volume /boot standalone (500MB circa) perche grub non gestisce il boot su volumi LVM
proseguiamo con il programma di partizionamento guidato, creando due dischi RAID in modalita RAID1 seguendo lo schema..

md0 == sda1, sdb1 md1 == sda2, sdb2

a questo punto si completa l’installazione normalmente, ed abbiamo quasi finito, dobbiamo solo ricordarci che il programma che esegue l’installazione ha caricato il grub solo nel primo disco di boot, quindi dobbiamo installarlo anche sul secondo.

### Procedura con Grub v1 ### # $ grub grub> device (hd0) /dev/sda grub> root (hd0,1) grub> setup (hd0) grub> device (hd0) /dev/sdb grub> root (hd0,1) grub> setup (hd0) grub> quit

### Procedura con Grub v2 ### $ grub-install /dev/sda $ grub-install /dev/sdb

Stato RAID: è sempre utile vedere come è fatto $ mdadm –query –detail /dev/md1 /dev/md1: Version : 0.90 Creation Time : Sat Jun 6 00:15:19 2009 Raid Level : raid1 Array Size : 2931712 (2.80 GiB 3.00 GB) Used Dev Size : 2931712 (2.80 GiB 3.00 GB) Raid Devices : 2 Total Devices : 2 Preferred Minor : 0 Persistence : Superblock is persistent Update Time : Tue Mar 13 22:17:08 2012 State : clean Active Devices : 2 Working Devices : 2 Failed Devices : 0 Spare Devices : 0 UUID : ad249657:82bbcbcd:44c8d3cc:c7bddde2 Events : 0.130 Number Major Minor RaidDevice State 0 8 1 0 active sync /dev/sda2 1 8 17 1 active sync /dev/sdb2

Controlliamo lo stato del Raid: $ cat /proc/mdstat Personalities : [raid1] md3 : active raid1 sda4[0] sdb4[1] 878899968 blocks [2/2] [UU] md2 : active raid1 sda3[0] sdb3[1] 75392960 blocks [2/2] [UU] md1 : active raid1 sda2[0] sdb2[1] 19534976 blocks [2/2] [UU] md0 : active raid1 sda1[0] sdb1[1] 2931712 blocks [2/2] [UU] unused devices:

Sostituzione disco guasto: qualora un disco si rompa, questo deve essere sostituito il prima possibile, magari sfruttando l’hot-swap hardware (come sata). In ogni caso la prima operazione da fare è rimuovere logicamente il disco, togliendolo dal raid con i comadi: Prima di tutto idetifichiamo quale Disco è rotto dai log o dalla query che abbiamo fatto prima:

$ dmesg raid1: Disk failure on sda2, disabling device. raid1: Operation continuing on 1 devices.

Rimuoviamo il disco dal Raid: $ /sbin/mdadm –assemble –scan $ mdadm /dev/md0 –fail /dev/sda2

$ mdadm –manage /dev/md0 –fail /dev/sda2 $ mdadm /dev/md0 –remove /dev/sda2

Identifichiamo il Disco dal Seriale: $ apt-get install smartmontools $ smartctl -i /dev/sda | grep Serial $ smartctl -i /dev/sdb | grep Serial

Spegniamo la macchina e a questo punto si sostituisce fisicamente il disco e si ricreano le partizioni, facendo attenzione alle dimensioni. è anche possibile copiare la tabella delle partizioni da un’ altro disco: $ sfdisk -d /dev/sda | sfdisk –force /dev/sdb

se invece vogliamo farlo con DD: $ dd if=/dev/sda of=/tmp/part.bak bs=512 count=1 (Backup) $ #dd if=/tmp/part.bak of=/dev/sdb bs=1 count=64 skip=446 seek=446 (Restore)

Se la tabella delle partizioni non è la classica msdos ma GPT (GUID Partition Table) possiamo copiarla cosi $ parted /dev/sda

GNU Parted 1.9.0 Using /dev/sda Welcome to GNU Parted! Type ‘help’ to view a list of commands. (parted) p Error: /dev/sda: unrecognised disk label (parted) mklabel gpt (parted) mkpart primary ext2 0 10M (parted) mkpart primary ext4 10M 100% (parted) set 1 bios_grub on (parted) p Model: ATA QEMU HARDDISK (scsi) Disk /dev/sda: 1074MB Sector size (logical/physical): 512B/512B Partition Table: gpt $ sgdisk -R /dev/sdb /dev/sda (Questo comando fa la stessa cosa si sfdisk ma su pt gpt)

attenzione: è possibile che richieda un reboot per vedere correttamente le partizioni. infine si aggiungono le partizioni nei volumi raid: $ mdadm –add /dev/md1 /dev/sda2 $ mdadm –manage /dev/md1 –add /dev/sda2

Creazione nuovi volumi RAID: con fdisk si aggiungono le nuove partizioni poi si crea un nuovo raid: $ mdadm –create –verbose /dev/md3 –level=1 –raid-devices=2 /dev/sda3 /dev/sdb3

Se abbiamo un disco che faceva parte di un raid e vogliamo rimuovere la configurazione rimasta sul disco, basta eseguire i seguenti comandi: $ mdadm –zero-superblock /dev/sdb1 $ mdadm –zero-superblock /dev/sdb2 $ mdadm –zero-superblock /dev/sdb3

un’altra simpatica utility che potrebbe tornare utile è hddtemp, questa software può tenere sotto controllo la temperatura dei dischi ed avvisarvi in caso di valori molto alti, e utile in ambienti dove il RAID è funzione 24/7.

$ apt-get install hddtemp $ hddtemp /dev/sda dev/sda: SAMSUNG HD300LD: 38 °C $ hddtemp /dev/sdb dev/sdb: SAMSUNG HD300LD: 44 °C

L'articolo Debian Raid Software sembra essere il primo su Linux 360° | Italia.