Manipulation der sozialen Medien: “wir haben den Feind gesehen und der Feind sind wir selbst”

[ for English version click here ]


Manipulation der sozialen Medien: 

 

[mit einer Entschuldigung an Walt Kelly]

Für Teil 1, die Macht von GAFA, bitte hier klicken

 

21 Dezember 2017 (Paris, Frankreich) – Im letzten Monat hat der Geheimdienstausschuß des US-Senats die leitenden Juristen von Facebook, Google und Twitter in die Mangel genommen, ein Ereignis, das uns etwas sagte, was wir bereits wussten: Russland manipulierte die US-Präsidentschaftswahlergebnisse 2016. Vielleicht war uns das Ausmaß der Bemühungen oder der geringe finanzielle Aufwand für die Russen (wobei jeden Tag neue Enthüllungen auftauchen) noch nicht bewusst, und vielleicht war es überraschend, dass die Russen bereits 2010 damit begonnen haben (obwohl wahrscheinlich sogar noch früher, wie neue Konten in diesem Monat zeigten)… aber wir kannten die Geschichte bereits.

Das Schauspiel bestätigte etwas anderes, das wir wussten, aber vergessen hatten: Die Selbstregulierung der Industrie funktioniert selten. Von den Eisenbahnen der Jahrhundertwende und den Energiemärkten in den 1990er Jahren bis hin zur Finanzindustrie von 2007 gibt es viele Beispiele, die dies bestätigen. Die Technologiebranche ist nur der jüngste Fall. Aber das Kind ist bereits in den Brunnen gefallen.

Und nein, diese Anwälte, die im Zeugenstuhl sitzen, werden sicherlich nicht alle diese Probleme lösen. Lassen Sie uns diese Gedanken von “ethischen Standards” zur Seite Legen. Es muss Geld verdient werden. Die gesamte Kultur dieser verkrusteten und unternehmenseigenen Rechtsabteilungen und Anwaltskanzleien, die diese Firmen vertreten, ist einfach ein professionelles Kartell, das seine Fähigkeiten einsetzt, um sicherzustellen, dass ihre Kunden bekommen, was sie wollen – die Untergrabung der Demokratie ist verdammt.

Aber das ist es auch, was mir dämmerte.  Die Leute, die auf diesen Stühlen sitzen sollten, sind Mark Zuckerberg, Larry Page, Sergey Brin und Jack Dorsey – die Gründer dieser Firmen, die Jungs hinter den Algorithmen. Die “Wegbereiter”. Eigentlich sollten Sie dort sein, aber Sheryl Sandberg, Chief Operating Officer von Facebook, übernahm die Rolle der Verhandlungsführerin (Manipulatorin?) für die Gruppe und überzeugte das Senatskomitee, dass diese Leute ziemlich beschäftigt waren und außerdem der Großteil dieser Fragen rechtlicher Natur sind und wir somit die Juristen für Sie zusammenstellen. Warum sie? Weil sie “auch B sagt”. Sechs Jahre lang arbeitete sie in Washington für Larry Summers, der damals unter Bill Clinton als Finanzminister in den Hallen des Kongresses tätig war. Sie kannte die Abläufe, die Haupt- und Nebenwege, wusste, mit wem man reden muss, wie man ihnen schmeichelt.

Was? Diese Typen sprachen eine gemeinsame Verteidigung ab? Nun, vielleicht haben Sie vergessen, dass sie das (einst) geheime “No-Poaching-Kartell” im Silicon Valley gründeten, das vor ein paar Jahren aufgedeckt wurde, wobei sie sich darauf geeinigt hatten, sich nicht mehr gegenseitig die Talente zu rauben. Offengelegt, ein paar Geldstrafen bezahlt, vergeben.

Aber wie gesagt, sie waren beschäftigt. Der arme Jack Dorsey konnte diese Woche kaum 4 Stunden bei einem Fotoshooting für eine Zeitschrift aufbringen.

Aber der entscheidende Schlüssel für mich war, wie eng diese Anwälte mit den Geschäftsplänen und -operationen ihrer Unternehmen und der Entwicklung und Struktur der Algorithmen und Plattformen verbunden waren. Aus diesem Grund spotte ich über diese “AI- und Bias” -Präsentationen auf juristischen Konferenzen, wenn die Redner und Moderatoren uns sagen, “was wir tun müssen” und welche “Ethik angewandt werden muss”.  Dass die großen Plattformen “transparenter werden müssen” und dass “klarere Standards bezüglich der Kennzeichnung und Entfernung destruktiver Inhalte bestehen”. Natürlich finden Sie nirgendwo auf diesen Panels die Anwälte von Facebook, Google, Twitter et al.

Zugegeben, vielleicht haben Sie als Unternehmensanwalt (oder sogar als Data-Scientist eines Unternehmens) nicht allzu viel Mitspracherecht bei Produktentscheidungen. Aber als Anwalt sollten Sie um Himmels willen nachdenken, Fragen stellen und Probleme aufwerfen. Das ist Ihre Aufgabe. Hat ein Anwalt (oder Coder) jemals innegehalten und darüber nachgedacht, wie schlechte Akteure seine Technologie missbrauchen könnten? Hat irgendein Anwalt jemals gefragt:

  • Kann jemand Anzeigen kaufen?
  • Kann jemand auf die Funktionen zugreifen?
  • Wie können Trolle unseren Dienst nutzen, um schutzbedürftige Menschen zu belästigen?
  • Wie könnte eine autoritäre Regierung unsere Arbeit zur Überwachung nutzen?
  • Wie könnte unsere Arbeit dazu verwendet werden, um schädliche Fehlinformationen oder Propaganda zu verbreiten?
  • Welche Sicherheitsvorkehrungen könnten wir treffen, um das oben Genannte abzuschwächen?

Was wir von den Firmen bekommen haben, die bei dieser Senatsveranstaltung anwesend waren, waren Reue und Entschuldigungen. Dies führte nicht zu einer signifikanten Verschiebung, weder im Geschäftsmodell noch in der Philosophie. Eher lediglich vage Versprechen, es “besser zu machen”, palliative Mittel und Behauptungen, dass sie einfach nicht die Komplexität ihrer eigenen Algorithmen verfolgen können. Es unterstrich ihre Verachtung für den Rest von uns und ihre eklatante Straflosigkeit gegenüber dem, was irgendjemand denkt. Wie ich im ersten Teil dieser Serie bemerkte, eine fast wörtliche Wiederholung von Sandbergs Ermahnung:

Laut Sheryl Sandbergs Erklärung im Oktober hat Facebook “diese Funktionalität niemals beabsichtigt oder erwartet, dass sie auf diese Weise verwendet wird – und das ist unsere Schuld. ” Es war ein offenes Eingeständnis, das mich an einen Moment lang an Mary Shelleys “Frankenstein” erinnerte, nachdem der Wissenschaftler Victor Frankenstein bemerkt hat, dass seine zusammengeschusterte Kreatur bösartig geworden war: “Ich war der Urheber unveränderlichen Übels”, sagt er, “ich lebte in täglicher Angst, dass das Monster, das ich erschaffen hatte, eine neue Bosheit verüben könnte. “

Bei den ausgefeilten Kritiken von Facebook geht es nicht um Ideen und Inhalte, die den Menschen nicht gefallen, sondern um die neuen strukturellen Kräfte, die Facebook geschaffen hat. Nachrichten und Informationen fließen jetzt anders als vor Facebook. Die menschliche Aufmerksamkeit, die diesen Fluss ausmacht, ist die Daseinsberechtigung von Facebook (und der Wert für Werbetreibende). Diese Unternehmen haben als Gruppe den traditionellen, faktenbasierten Journalismus destabilisiert. Sie verfügen über ein riesiges Vermögen – ein kombinierter Marktwert von 1,2 Milliarden Dollar – und die damit verbundene Macht.

Der entscheidende Punkt ist folgender: Die Internet-Aristokratie entstand mit der Kommerzialisierung des Internets, die vor 20 Jahren begann. Für die hektischen Führer des Silicon Valley erscheinen zwei Jahrzehnte als geologisches Zeitalter – aber in den sich entwickelnden sozialen und politischen Kulturen unserer Spezies sind zwei Jahrzehnte ein Augenblick. Wir sind nicht in der Lage, die Implikationen dieser potenten, gezielt disruptiven Technologien zu absorbieren.

Und lassen Sie mich einen Kommentar zitieren, den ich auf jeder Konferenz höre: “Technologie ist nicht das Problem. Es sind unsere Technologiegewohnheiten. ” FALSCH! Wenn Sie nicht “begreifen”, dass diese Technologien entwickelt wurden, um genau diese Technologiegewohnheiten anzuerziehen, “begreifen” Sie die Gleichung nicht. Unsere Sicherheitslücken entstehen durch den Handel, insbesondere durch die technische Nutzung personenbezogener Daten durch Unternehmen, deren Kultivierung wir erlaubt haben. Die Algorithmen von Click Bait, Echokammern und Adtech haben ihre Grundlage in BF Skinners Experimenten mit Ratten in der Box. Russland ist nur ein Beispiel dafür, wie jemand diese Systeme ausnutzen kann. Die Alt-Right ist ein weiteres Beispiel.

Seien wir ehrlich. Wir haben das geschaffenWir haben zugelassen, dass diese Systeme sich auf diese Weise entwickeln. Dieser Schwachsinn mit dem “sich schnell bewegen und Durchbruch schaffen”, den die Tech-Lords gerne zitieren, hat ganz zu ihren Gunsten funktioniert.

Eine meiner Lieblingsgespräche bei den Cannes Lions dieses Jahr war mit einer PR-Firma, die für Facebook tätig ist. Zuckerbergs PR-Berater … er hat vier PR-Unternehmen in der Warteschleife … haben ihm immer gesagt, er solle “die Geschichte steuern”. So spricht der liebe Mark über das “Hacker-Credo” und fügt seine “falsche Debatte” mit Elon Musk über die KI-Ethik hinzu. Gute Arbeit, Mark.  Lenke uns vom Wesentlichen ab.

Es ist der amerikanische Weg: die gleichen Grundgüter schneller, billiger und stromlinienförmiger zu liefern. Es ist immer das Streben nach Geld.  Denn in Amerika ist Geld das Hauptziel.  Wenn der Hochmut unserer demokratischen Gesellschaftsordnung dabei brutal entstellt wird und jede Menge unglücklicher Außengruppen ausgelöscht wird, dann ist das der Preis der Quanten-Lifestyle-Verbesserung im amerikanischen Sinne.

Sagen wir es einfacher:

Unternehmen, die digitale Anzeigen verkaufen, stützen sich auf zwei Quellen: Daten über Einzelpersonen und Engagement. Je mehr Zeit wir auf Facebook verbringen, je mehr wir uns engagieren, desto mehr Anzeigen sehen wir und desto wertvoller werden diese Anzeigen. Das ist die Geschäftsessenz von Facebook. Sean Parker, Facebooks erster Präsident, sagte vergangene Woche in einem Interview: “Bei dem Gedankenprozess, der beim Erstellen dieser Anwendungen verwendet wurde, ging es darum:” Wie verbrauchen wir so viel Zeit und Aufmerksamkeit wie möglich? Wie verdienen wir Geld? Und das bedeutet, dass wir Ihnen ab und zu einen kleinen Dopamin-Hit geben müssen. Ja, wir nutzen eine Verletzlichkeit in der menschlichen Psychologie aus. Wir, die Erfinder, haben das bewusst verstanden. Aber wir haben es trotzdem gemacht. “

 

Ja, Facebook – in seiner Essenz ein Werbefirma – wurde zu einem Medienunternehmen, verlor aber nie seine strukturierte Gleichgültigkeit, was die Inhalte auf seiner Website betrifft, es sei denn, es kann Werbung besser ausrichten und verkaufen. Es ist eine Version von Greshams Gesetz am Werk, wobei Fake News, die mehr Klicks bekommen und frei erstellt werden können, echte Nachrichten, die den Leuten oft Dinge erzählen, die sie nicht hören wollen, und deren Erstellung teuer ist, verdrängen. Darüber hinaus verwendet Facebook eine Vielzahl von Tricks, um den Traffic und die damit erzielten Einnahmen durch gezielte Werbung auf Kosten der Nachrichtenagenturen zu steigern, deren Inhalte es hostet. Der Nachrichten-Feed lenkt den Traffic nicht basierend auf Ihren Interessen, sondern darauf, wie Sie die maximalen Werbeeinnahmen erzielen können. Wie Zeynep Tufekci in ihrem kürzlich erschienenen brillanten TED-Talk sagte, “haben wir eine Dystopie aufgebaut, nur um die Leute auf Anzeigen aufmerksam zu machen”.

 

Facebook und Zuckerberg haben also nicht versagt. Es ist nicht so, als ob ein Facebook-Ingenieur in Menlo Park zum Beispiel der russischen Propaganda grünes Licht gab. Sie haben genau das  erreicht, was beabsichtigt war. Wenige dieser Probleme sind auf vorsätzliche Bosheit seitens des Unternehmens zurückzuführen. Wie mir ein Facebook-Ingenieur sagte:

“Wir sind ein Technologieunternehmen, kein Geheimdienst oder internationales diplomatisches Korps. Unsere Ingenieure sind in der Entwicklung von Apps und dem Verkauf von Werbung tätig. Sie bestimmen nicht, was Hassreden in Myanmar ausmacht. Und mit zwei Milliarden Nutzern, darunter 1,3 Milliarden, die es jeden Tag nutzen und immer mehr ihrer sozialen und politischen Aktivitäten auf Facebook übertragen, ist es möglich, dass das Unternehmen einfach zu groß ist, um alle schädlichen Arten zu verstehen, mit denen Menschen seine Produkte nutzen könnten. “

Und wie mir ein ehemaliger Facebook-Ingenieur sagte: “Diese Scheiße ist eingebrockt.  Es ist nicht nur so, dass diese Anzeigensysteme von Algorithmen gesteuert werden, sondern dass die Software zunehmend von Tools mit künstlicher Intelligenz geleitet wird, die Systeme auf eine Weise automatisieren, die wir selbst … die Entwickler … nicht vollständig verstehen. “

Facebook wuchs nicht zu einem 500-Milliarden-Dollar-Geschäft, weil es “eine Kraft für das Gute in der Demokratie” war. Das war nicht seine Aufgabe. Es ging auch nicht darum, “die Welt offener und vernetzter zu machen” (sein erstes Leitbild) und “die Welt näher zusammen zu bringen” (sein neues Leitbild). Facebook ist durch den Verkauf von Werbung zu seiner aktuellen Größe, seinem Einfluss und seinem Reichtum gewachsen. Und es verkaufte diese Anzeigen, indem es die Nutzer davon überzeugte, es mit unglaublich intimen Informationen über unser Leben zu versorgen, so dass Werbetreibende wiederum diese Informationen nutzen konnten, um uns zu überzeugen, Dinge zu tun. Einige Werbetreibende möchten, dass wir etwas kaufen. Einige möchten, dass wir an Veranstaltungen teilnehmen. Und wiederum andere wollen, dass wir auf eine bestimmte Art wählen. Facebook macht all diese Werbung billig und einfach und erstaunlich profitabel, indem es die Vertriebsmitarbeiter übergeht, die in einer anderen Art von Unternehmen zu einer anderen Zeit eine Werbeanzeige vor ihrer Veröffentlichung angesehen hätten.

Hören Sie also zu: Die Systeme von Facebook haben nicht “versagt”, als sie dubiosen Akteuren, die mit der russischen Regierung verbunden waren, erlaubten, Werbung für amerikanische Wähler mit Nachrichten über spaltende soziale und politische Themen zu kaufen. Sie arbeiteten. Elliot Schrage, Facebooks Vizepräsident für Politik und Kommunikation, schreibt in seinem Blog über die Flut von russischen Werbeanzeigen auf Facebook:

Es gab zu der Zeit nichts unbedingt Bemerkenswertes über einen ausländischen Akteur, der eine Werbeanzeige mit einem sozialen Thema schaltete. Es war nur ein Kunde.

Aber leider wurde unbeabsichtigt ein Monster entfesselt.

 

 

Ich habe viel darüber nachgedacht, über dieses Amerika im Jahr 2017, diese Trumpsche Ära der uneingeschränkten Waffenrechte und der lodernden Feindseligkeit. Und es ist global. Wir scheinen in der Geopolitik einer chaotischen Jugend des 21. Jahrhunderts gefangen zu sein. Ob Alt-Right oder radikaler Islam, die Werte liberaler und offener Demokratie scheinen weltweit immer mehr ihre Bedeutung zan enge, fremdenfeindliche Ethnonationalismen und radikale Ideologien zu verlieren.

Schauen Sie auf Amerika, Europa, Asien. Auf die entwickelte Welt. Nationalistische und neofaschistische Bewegungen, die von skrupellosen Kartellen unterstützt werden, nutzen Angst und Unsicherheit, um sich auf die Macht zu stürzen und die Exekutivsysteme der Welt aufzukaufen.

Und ja, es steht alles miteinander in Zusammenhang. Wie Jimmi Condrano, Medienanalyst am Europäischen Zentrum für Journalismus, es formulierte:

Wenn ich in den Nahen Osten und sogar in den Mittleren Westen Amerikas fahre, selbst als ich in Charlottesville, Virginia war – ich sehe überall das Gleiche. Wenn junge Menschen von Traditionen befreit sind, schwatzen sie auf der Suche nach einer sozialen Identität, die ihnen eine persönliche Bedeutung und Ruhm verleiht. Individuen radikalisieren, um in einer flachen Welt eine feste Identität zu finden. In dieser neuen Realität werden vertikale Kommunikationslinien zwischen den Generationen durch eine horizontale Verbundenheit zwischen Gleichaltrigen ersetzt, die den Globus umspannen kann, wenn auch in verschwindend kleinen Kanälen von Ideen und Informationen. Deshalb umfasst die heutige Alt-Right-Bewegung in Amerika trotz aller Kritik an “Globalisten” das gleiche engstirnige globale Geflecht von Tweets, Blogs und Chatrooms wie die Jihadi-Bewegung, das physische Gruppen auf der ganzen Welt verbindet. Es ist unheimlich.

Scott Atran (der als Forschungsdirektor für Anthropologie an der École Normale Supérieure in Paris und als Senior Research Fellow an der Universität Oxford tätig ist) hat kürzlich in einer Präsentation Folgendes festgestellt:

Gehen Sie bis 1941 zurück. Lesen Sie Erich Fromms “Flucht vor der Freiheit”. Was hat er gesagt? Er argumentierte, dass zu viel Freiheit viele dazu veranlasste, die Beseitigung von Unsicherheit in autoritären Systemen zu suchen. Er sagte, Sie bringen die Demokratie zu ihrem Ende, Sie werden Misstrauen züchten. Frei zu sein, zu tun, was man will, kann und wird möglicherweise zu vielen Problemen und Teilungen und Korruption in der Gesellschaft führen. 

Heute sehe ich es als eine “Suche nach der Bedeutung”, die sowohl gewalttätige Jihadisten als auch militante Anhänger populistischer ethno-nationalistischer Bewegungen auf der ganzen Welt antreibt … sogar die amerikanische Alt-Right.

Und so hat diese neue Weltunordnung eine Möglichkeit, sich selbst eine Stimme zu verleihen: soziale Medien. Verbreitung von schädlichen, gewalttätigen Memes. Eigentlich witzig. Hier dachten wir alle, dass diese westlichen Technologiekreationen und unsere relativ offenen Märkte einfach die weltweite gesellschaftliche und politische Ordnung dominieren … und Stabilität bringen würden.

In Amerika scheinen Schulhof-Mobber die Welt zu regieren – und Millionen rennen ihnen hinterher. Es gibt Gewalt, denn Trolling ist mittlerweile zu einer anerkannten politischen Strategie geworden, mit einem Präsidentschaftssiegel aus rachsüchtiger Freude. Lassen Sie uns die existenzielle Krise externalisieren, indem Sie Migranten und Muslime für Ihr gebrochenes Selbstgefühl in einer brennenden Welt verantwortlich machen. Nein, es wird nichts lösen oder Ihnen helfen, eines Ihrer Probleme zu erkennen. Aber es könnte dazu führen, dass Sie sich besser fühlen!

Was ich gerne tun würde, ist die kognitive Wirkung von all dem zu besprechen, wie dieses schädliche und gewalttätige soziale Umfeld dazu geführt hat, dass unsere Jugend unter Angstzuständen und -störungen leidet, die zu meiner Zeit nicht vorkamen. Fast jeder fünfte amerikanische Erwachsene über 13 Jahre leidet an einer Angststörung, wobei Frauen doppelt so häufig betroffen sind. Wie meine älteste Enkelin es ausdrückte: “Weißt du, was das Problem heute ist? Es passiert so viel!! ” Die Weisheit der Jugend. Darüber denken wir in einem anderen Post nach.

Es reicht aus, zu sagen, dass dieses Zeitalter der Angst weder mit dieser amerikanischen Präsidentschaft begonnen hat, noch an der US-Grenze endet, aber es gibt etwas fundamental “Amerikanisches” an der Kultur des verbissenen Wettbewerbs mit leeren Augen, die es produziert. Das passiert, wenn der amerikanische Traum zu einem Alptraum wird, aus dem man nicht erwachen kann, und nicht nur, weil man seit Jahren nicht mehr richtig geschlafen hat. Das passiert, wenn eine Gesellschaft sich an einen definierenden Mythos klammert, der die Arbeit bis zum Umfallen feiert, Armut als Beweis für moralisches Versagen ablehnt, die Einrichtung eines grundlegenden Sicherheitsnetzes als europäisches Getue für Weicheier betrachtet und sich weiterhin als frei bezeichnet.

NÄCHSTES JAHR IN DIESER SERIE …

Als kleiner Gonzo-Journalist frage ich mich manchmal “Was würde Hunter Thompson in dieser Situation tun?” Nun, ich denke, er würde wahrscheinlich einen Cocktail aus Valium und LSD nehmen und auf den Sunset Boulevard gehen, um zu sehen, wie viele Polizisten er vor seiner Verhaftung verärgern könnte.

Ok, vielleicht sollte ich das von Kokain und Testosteron angetriebene Gonzo-Journalistenmodell der 1970er Jahre nicht nachahmen. Blöde Idee. Hunter Thompson und seine Kumpels hatten es schließlich mit einer Gesellschaft zu tun, deren vorherrschendes politisches Getue Langeweile war. Wir hingegen beschäftigen uns mit Angst als dem vergleichenden Modus des Zeitalters.

Erfahrene Leser meines Blogs kennen meinen Schreibstil. Das Modell, dem ich zu folgen versuche, steht mehr in der Tradition eines britischen Wochenmagazins – zum Thema, aber ein wenig außerhalb davon, sowohl persönlich als auch politisch, mehr als nur formell.

Im vergangenen Jahr, nachdem ich durch Berlin, Chicago, DC, Kiew, Moskau, Paris, Rom und Zürich geschlittert bin, um diese Serie zu produzieren, in den nächsten beiden Teilen:

  • Möchte ich im Detail erklären, wie die Facebook-Mechanismen (und auch die von Twitter) es russischen Akteuren (und der Alt-Right) ermöglichten (und immer noch tun), weit über die Leute hinaus zu reichen, die ihren gefälschten Seiten und Konten folgten, wie die Russen und Chinesen sogar LinkedIn, Online-Spiele usw. infiltriert haben. Es ist alles nur ein Teil dieses Puzzles.
  • Ich möchte über Russland sprechen. Was auch immer Sie an Russlands jüngsten Mätzchen auf der Weltbühne denken mögen, Sie müssen zugeben: Sie haben die Werkzeuge des Informationszeitalters brillant genutzt, um die Öffentlichkeit darüber zu verwirren, was Wahrheit ist und was nicht, und ihre eigene Erzählung zu gestalten. Die Erträge waren massiv… und stehen in keinem Verhältnis zu den bescheidenen Investitionen. Nein. Das ist nicht ganz das Jahrtausend, das uns versprochen wurde. Das datengeschmückte einundzwanzigste Jahrhundert sollte eine Zeit schmerzloser sozialer Gerechtigkeit und nahtloser Markteingliederung werden. Oh, dieser wunderbare “Bogen der Geschichte” war sicherlich unmissverständlich in Richtung eines größeren, glänzenderen “Informationszeitalters” gespannt! Die Propaganda des Fortschritts!! Die Aufklärung neuer Technologien!! Ähm, nein. Jemand hat die E-Mail eindeutig nicht Die russischen Geheimdienste haben vor Jahren beschlossen, Informationskrieg und Cyberkrieg zu einer nationalen Verteidigungspriorität zu machen. Wir werden dem auf den Grund gehen

 

 

Und nächste Woche, mein letzter Post des Jahres: 

 

 

52 Unglaubliche Dinge, die ich in diesem Jahr auf Technologiekonferenzen gelernt habe: 

Ein wöchentlicher Walzer durch 2017

 

(in französischer, deutscher und italienischer Fassung)

Leave a Reply

Your email address will not be published. Required fields are marked *

scroll to top