Tweepy信息到MySQL中 - 正在切斷的文本

我使用Tweepy將Twitter信息插入到MySQL表中。然而，大多數情況下，它的工作原理是，推文的實際文本被切斷，許多以「...」結尾，我不確定這是爲什麼。Tweepy信息到MySQL中 - 正在切斷的文本

輸出的一個例子是這樣的：

@JamesMelville：保持選民都不是「不愛國」的「會說話的祖國失望」。其對面。 Remainers關心英國的FUT ...

感謝您的幫助

這是我流監聽器類：（我是新來的蟒蛇所以這可能是差）

class listener(StreamListener): 



def on_data(self, data): 
    try: 


     jsonData=json.loads(data) 


     tweets =(jsonData['text']) 

     if tweets.startswith('RT'): 
      retweets = True 
     else: 
      retweets = False 


     tweets = tweets.replace('RT', '') 
     tweets = tweets.replace("'", '') 
     tweets = tweets.lstrip() 
     tweets = tweets.replace('\n', '') 



     screen_name =(jsonData['user']['screen_name']) 

     name =(jsonData['user']['name']) 
     name = name.replace(',', ' ') 
     language =(jsonData['lang']) 

     location =(jsonData['place']) 

     coord =(jsonData['coordinates']) 

     device = jsonData['source'].split('">')[1].replace('</a>', '') 

     tweettime = jsonData['created_at'].replace('+', '') 
     tweettime = datetime.datetime.strptime(tweettime, "%a %b %d %H:%M:%S %f %Y") 
     date_to_string = str(tweettime.strftime("%Y/%m/%d,%H:%M:%S")) 
     date_created = date_to_string.split(',')[0] 
     time_created = date_to_string.split(',')[1] 
     created_time =(time_created) 
     created_date =(date_created) 

     htext = jsonData['entities']['hashtags'] 
     htext2 = [] 
     hashtag_list = '' 
     for hashtag in htext: 
      htext=str(hashtag['text']) 
      hashtag_list = hashtag_list + ' ::' + htext 
     hashtag_list = hashtag_list.replace("'", "") 






     conn = connect(host = '', port = , user = ', passwd = '', charset='utf8', autocommit = True); 
     conn.commit() 
     cursor = conn.cursor(cursors.DictCursor); 

     cursor.execute("CREATE DATABASE IF NOT EXISTS twitter") 
     cursor.execute("USE twitter") 
     cursor.execute("""CREATE TABLE IF NOT EXISTS `twitter_data`(ID INT AUTO_INCREMENT NOT NULL,`Name` VARCHAR(200) ,`Screen name` VARCHAR(200) , `Date created` VARCHAR (20), `Time created` VARCHAR (8), Tweet VARCHAR (200), Hashtags VARCHAR (200), Retweets VARCHAR (5), Lanugage VARCHAR (20), Device VARCHAR (60), Location VARCHAR(200), Coordinates VARCHAR (200), PRIMARY KEY (ID))""") 
     sql = "INSERT INTO `twitter_data` VALUES(Null, '" + str(name) + "', '" + str(screen_name) + "', '" + str(created_date) + "', '" + str(created_time) + "', '" + str(tweets) + "', '" + str(hashtag_list) + "', '" + str(retweets) + "', '" + str(language) + "', '" + str(device) + "', '" + str(location) + "', '" + str(coord) + "') " 
     print(sql) 
     cursor.execute(sql) 

     return True 
    except Exception as N: 
     print('failed on_data '+ str(N)) 
     time.sleep(5)

來源

2017-07-26 Rpp

你將不得不放棄你'...'部分（從控制檯複製實際產出） –

下面是一個例子的示例記錄：@astro_trader：＃ brexit不是膝蓋反應，它的結果40年被壓抑的憤怒&失去了英國主權放棄... – Rpp

或這樣：@詹姆斯梅爾維爾：保持選民不是「不愛國」的「說國家」。它的對面。 Remainers關心英國人的未來... – Rpp

我已經找到了解決我的問題。由於140個字符的限制，該文本在轉推時被截斷。因此它與MySQL無關。如果推文是轉推，我的解決方案是使用'retweet_status'屬性（並分出實際的tweet文本部分），而不是'文本'，否則我只是使用'文本'。下面是一些代碼被更改：

if tweets.startswith('RT'): 
    retweets = True 
    tweets = str(jsonData['retweeted_status']).split('\'text\':')[1] 

    if 'display_text_range' in tweets: 
     tweets = tweets.split(', \'display_text_range\'')[0] 
    else: 
     tweets = tweets.split(', \'source\'')[0] 
else: 
    retweets = False 
    tweets = tweets.replace('RT', '')

來源

2017-07-27 10:07:48 Rpp

Tweepy信息到MySQL中 - 正在切斷的文本

回答

相關問題