從日誌文件插入數據字符串到mysql數據庫

Question

我和我的同事希望通過access.log從魷魚服務器獲取數據到另一臺Debian服務器上的mysql服務器。

我們已經在互聯網上發現了一種指南，指出了這種事情，並製作了一個腳本，它將數據從字符串中的數據存入access.log文件中。但這似乎並沒有工作，可能與插入的東西，不知道在這裏。請幫助我們找出我們需要解決的問題。

繼承人的腳本：

#!/bin/bash 

cp /www/logs/squid/access.log /tmp/squidforparse.log 
>/www/logs/squid/access.log 
awk '{print "INSERT INTO squid (ip,bytes,link,trans,time) \ 
VALUES(\""$3"\","$5",\""$7"\",\""$9"\",from_unixtime("$1"));"};' \ 
< /tmp/squidforparse.log | mysql -D traffics -u root --password=my_sql_passwd 
rm -f /tmp/squidforparse.log 

我不是在SQL真的很大，雖然我知道大部分的運算符和函數的基本級別的，我仍然無法弄清楚什麼不使其工作。

Answer 1

如果你的日誌文件看起來像下面，

"apple","red",1230,"Newton","Physics","Da vinci code" 
"iphone","black",44500,"Jobs","Mobiles","telephone booth" 
"shoe","brown",9900,"Elizabeth","Fashion","shoe shop" 

我的表結構看起來像下面，

table_name = t1 
columns = topic, price, department 

然後我會像下面，

mysql -D traffics -u root --password=my_sql_passwd 

LOAD DATA LOCAL INFILE 'file.log' INTO TABLE t1 
FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' 
(@col1,@col2,@col3,@col4,@col5,@col6) set topic=@col1,price=@col3,department=@col5; 

注意：

1. 假設日誌文件是逗號分隔的，如果其管道分隔，則使用 FIELDS TERMINATED BY'|'。
2. 此外，請注意如何使用@ col1，@ col2，..來存儲日誌文件的值 。