Seien Sie nicht ein einsames Dokument

Eingabe {
  twitter {
  consumer_key =>  "foo"
  consumer_secret =>  "bar"
  oauth_token =>  "baz"
  oauth_token_secret =>  "qux"
  Schlüsselwörter =>  ["graphconnect", "neo4j", "GraphConnect"]
  }
}
Ausgabe {
  kafka {
  codec =>  einfach {
  Format =>  "%{message}"
  }
  topic_id =>  "Tweets"
  }
}

importieren tweepy
importieren Zeit
importieren json

ckey = 'foo'
csecret = 'bar'
atoken = 'baz'
asecret = 'qux'

OAUTH_KEYS = {'verbraucher_schlüssel': ckey, 'verbraucher_geheimnis':csecret,
 access_token_key':atoken, access_token_secret'.:asecret}
auth = tweepy.OAuthHandler(OAUTH_KEYS['consumer_key'], OAUTH_KEYS['verbraucher_geheimnis'])
api = tweepy.API(auth)

def limit_handled(Cursor):
 während True:
  Versuchen Sie:
   Ertrag Cursor.nächste()
  außer tweepy.TweepError als e:
   drucken(e.fehler_msg)
   Zeit.schlafen(15 * 60)

def Suche(Stichwort):
 # Extrahieren Sie die ersten "xxx" Tweets zum Thema "schnelles Auto".
 mit öffnen Sie('tweets_friday.json', 'a') als die_Datei:
  für tweet in limit_handled(tweepy.Cursor(api.Suche, q=Stichwort, seit='2017-05-09').Artikel()):
   die_Datei.Schreiben Sie(json.dumps(tweet._json) + 'n')

importieren json
von neo4j.v1 importieren GraphDatabase
importieren Zeit

def speichern_tweet(tx, tweet):
 neo4j_params = {"user_id": tweet['Benutzer']['id'],
     "user_name": tweet['Benutzer']['Name'],
     "tweet_id": tweet['id'],
     "tweet_text": tweet['Text'],
     "tweet_time": Zeit.strftime('%Y-%m-%d  %H:%M:%S', Zeit.strptime(tweet['erstellt_am'],'%a %b  %d  %H:%M:%S +0000 %Y')),
     "Erwähnungen": tweet['Entitäten']['user_mentions']
       }
 tx.laufen("""
  MERGE (u:Benutzer {uid: $user_id})
  on create set u.name = $user_name
  MERGE (t:Tweet {uid: $tweet_id})
  on create set t.text = $tweet_text, t.time = $tweet_time
  MERGE (u)-[:TWEETS]->(t)
  WITH t, $mentions als Erwähnungen
  unwind erwähnt als Erwähnung
  MERGE (u:User {uid: mention.id}) on create set u.name = mention.name
  MERGE (t)-[:MENTIONS]->(u)
  """, neo4j_params)

def verarbeiten_datei(datei_name):
 mit GraphDatabase.Treiber("bolt://localhost:7687", auth=("neo4j", "Test")) als Treiber:
  mit öffnen Sie(datei_name, 'r') als die_Datei:
   mit Treiber.Sitzung() als Sitzung:
    mit Sitzung.begin_transaction() als tx:
     für Zeile in die_Datei:
      tweet = json.lädt(Zeile)
      speichern_tweet(tx, tweet)

      wenn 'retweeted_status' in tweet:
       speichern_tweet(tx, tweet['retweeted_status'])
       retweet_data = {
        'tweet_id': tweet['id'],
        "retweet_id": tweet['retweeted_status']['id']
       }

       tx.laufen("""
  MATCH (t:Tweet {uid: $tweet_id})
  MATCH (r:Tweet {uid: $retweet_id})
  MERGE (t)-[:RE_TWEETS]->(r)
  """, retweet_data)

verarbeiten_datei(tweets_friday2.json'.)

MATCH p=()-[r:MENTIONS]->() RETURN p LIMIT 50

MATCH (t:Tweet)-[r:MENTIONS]->(erwähnt:Benutzer)
RETURN mentioned.name, count(r) as numberOfMentions
order by anzahlderBemerkungen desc
Grenze 10

MATCH (u:Benutzer)-[:TWEETS]->(t:Tweet)
RETURN u.name as user, count(t) as numberOfTweets
order by Anzahl der Tweets desc
Grenze 10

MATCH (u:Benutzer)-[:TWEETS]->(t:Tweet)
wo u.name = "Hakaishin Hokutosei"
RETURN t.text
Grenze 100

MATCH (u:Benutzer)-[:TWEETS]->(t:Tweet)
wo u.name = "Hakaishin Hokutosei"
und nicht (t)-[:RE_TWEETS]->()
RETURN count(t)

MATCH (u)-[r1:TWEETS]->(t)
wo nicht (t)-[:RE_TWEETS]->()
optionale Übereinstimmung (u)-[:TWEETS]->(rt)-[r2:RE_TWEETS]->()
RETURN u.name, count(distinct r2) as numberOfReTweets, count(distinct r1) as numberOfTweets
order by Anzahl der Tweets desc

MATCH  (rt)-[r2:RE_TWEETS]->(t)[:TWEETS]-(u)
RETURN u.name AS user, t.text, count(rt) AS numberOfRetweets
ORDER BY numberOfRetweets DESC

MATCH  (rt)-[r2:RE_TWEETS]->(t)[:TWEETS]-(u)
RETURN u.name as user, count(rt) as numberOfRetweets
order by numberOfRetweets desc

Rik van Bruggen