САМП помогите))
Мои документы\ГТА Сан Андреас Юзер Файлес\Самп\Чатлог. тхт
[17:57:45] Connecting to 185.169.134.3:7777.
[17:57:47] Connected. Joining the game.
[17:57:47] Добро пожаловать на Arizona Role Play!
[17:57:55] Connected to
[17:57:55] Объявление: Куплю а/м модель Турисмо или Буллет. Цена: договорная. Отправил: Kerry_Brothers[79] Тел. 1596127
[17:57:55] Отредактировал сотрудник СМИ [ SF ] : Kreit_Truster[629]
[17:57:58] Объявление: Продам дом в опасном районе. Цена: 950тыс. Отправил: Andy_Mury[322] Тел. 3850253
[17:57:58] Отредактировал сотрудник СМИ [ LV ] : Bruno_Orfanelli[66]
[17:58:03]
[17:58:03]
[17:58:04]
[17:58:04]
[17:58:12] Отредактировал сотрудник СМИ [ SF ] : German_Holmes[664]
[17:58:12] Объявление: Продам большой дом на колесах. Цена: 6 млн. Отправил: Ron_Harlam[966] Тел. 5759457
[17:58:12] Отредактировал сотрудник СМИ [ SF ] : Jake_Borrow[522]
[17:58:21]
[17:58:21] Объявление: Продам дом около казино 4 дракона. Цена: 800 тыс.. Отправил: Pakistan_Vendetta[969] Тел. 5970090
[17:58:21] Отредактировал сотрудник СМИ [ LS ] : Vitaliy_Pride[541]
[17:58:22] Объявление: Продам трейлер, среднего класса. Цена: договорная. Отправил: Rudy_Hernandez[187] Тел. 4832842
[17:58:22] Отредактировал сотрудник СМИ [ SF ] : Kreit_Truster[629]
[17:58:37] Объявление: Продам большой дом на колесах. Цена: Договорная. Отправил: Uncle_Bobby[933] Тел. 6255661
[17:58:37] Отредактировал сотрудник СМИ [ LV ] : Bruno_Orfanelli[66]
[17:58:41] Лидеры онлайн:
[17:58:45]
[17:58:45] Mickey_Kraus[482] кричит: Приму в семью!!
[17:58:48]
[17:58:51] Maks_Korduk пытается завести двигатель
Анализ сообщений коммерческого чата на предмет игнорирования вопроса клиента на основе модели nlp
Задача – «Провести анализ сообщений коммерческого чата на предмет игнорирования вопроса клиента менеджером компании»
На входе: лог чатов с клиентом компании в csv формате:
План решения:
Выбор инструмента для определения похожих сообщений внутри каждого чата
Анализ полученных результатов
Подготовка данных
Применяются следующие инструменты:
Выполнена загрузка CSV файлов в DataFrame. Форматы дат в разных логах отличаются, поэтому они приведены к единому виду. Сортировка выполнена по номерам чатов и датам сообщений, также проводиться сброс/упорядочивание индексов.
Размер DF, rows = 144584
На основании группировки делаем вывод, что основная часть сообщений чата приходиться на клиентов и консультантов компании. Изредка наблюдаются автоматические сообщения системы.
Размер большинства чатов – 25 сообщений.
Проведена обработка текста: нижний регистр, игнорирование сообщений с одним словом, оставляем только русские буквы, пробел и тире. Удалены из сообщений тексты о вложениях документов вида «картинка.jpg».
Заменяем несколько пробелов одним пробелом.
Чистим от частотных/не значимых словосочетаний:
Приводим слова к нормальной форме, удалим из текста частотные слова
Выбор инструмента для поиска похожих сообщений внутри каждого чата
Найдем расстояние Левенштейна всех заявок по всем текстам:
В результате тестирования была обнаружена самая производительная библиотека для расчета редакционного расстояния Левенштейна – editdistance.
Расчет затраченного времени в секундах на обработку 29463 сообщений чата представлен ниже. В тесте участвовали import edit_distance, import editdistance, import textdistance, from jellyfish import:
Библиотека editdistance производительнее аналогов от 18 до 31 раза.
Чтобы определить допустимую схожесть текстов используем метрику CURRENT_LEVEN, которая ограничит допустимое значение отношения редакционного расстоянию двух сравниваемых текстов к длине первого текста — editdistance (text1, text2)/ длину текста(text1).
Значение параметра CURRENT_LEVEN подбирается опытным путем. Проведением итерации расчета и добавления стоп-слов. Значение зависит от средней длины сравниваемых текстов и индивидуально для каждого исследования. В моем случае рабочий CURRENT_LEVEN составил 0.25.
Анализ полученных результатов
Формируется dataframe из расчетных данных:
Разворот сообщений в строки:
Добавляются признаки к датафрейму df_users_rep_msg
Посмотрим на сообщения, количество которых повторяются более 6 раз в одном чате
Следует уделить внимание на чаты, в которых присутствуют частотные сообщения от клиентов, как в примере выше, и выяснить причину настойчивости и удовлетворённость клиента сервисом.
Разметим основной дата фрейм
Получим минимальный и максимальный индекс по каждому совпавшему сообщению
В примере ниже видно, как обращение перехватил бот/автоматизированная система, клиент не игнорирован
Проверяем остальные случаи
Количество обработанных сообщений:
Заключение
С помощью NLP модели, построенной на измерении редакционного расстояния по Левенштейну, удалось сократить кол-во проверяемых чатов с 5406 ед. до 339 ед. Из них определить высоко-рисковые чаты — 103 ед. Определить и использовать в расчетах высокопроизводительную библиотеку для расчета дистанции редактирования между текстами, позволяющую масштабировать проверку на большие объемы информации.
Telegram Messenger для OS X пишет в логи секретные чаты
Исследователь Кирилл Фирсов обнаружил, что последняя версия Telegram Messenger из AppStore для OS X пишет сообщения в секретных чатах в системный лог-файл, что сводит на нет все усилия по обеспечению безопасности переговоров на конечных устройствах.
UPD: Пишется только то, что было вставлено из буфера обмена.
А телеграм под Windows не пишет в логи секретные чаты
потому что он не умеет в секретные чаты
Пишет не все сообщения, а только вставленные из буфера. Что, в принципе, не является тайной. Доступ к буфера имеют любые приложения. И не будь этого лога в самом телеграме, то он реализуется любой другой программой
Пруфы? Никто и ничто не мешает это делать. Поэтому есть куча программ для работы с буфером и они хранят всю историю
Это что тред полного взаимонепонимания?
А зачем она это делает? И да так можно прочитать старые сообщения
В секретных чатах сообщения уничтожаются через некоторое время.
Чё? Мы про лог говорим
Я думаю, что просто забыли выключить debug
Это как бы ставит под сомнение аргумент о надёжности благодаря открытости кода. Ну вот код открыт а такая херня висит и никто из аудиторов её долгое время не замечал.
Если это действитель был дебаг режим, то тут не на что обращать внимание. Потому что это стандартное дело.
Другое дело, если этот режим забыли выключить в релизной версии. Тут уже конечно вина на разработчиках.
Ты как себе представляешь дебаг режим что его не заметно в коде и что его не выключили? Там бы лог был засран мегабайтами дерьма если это случилось на уровне целого приложения.
Если в телеграме и предусмотрен флаг или условная компиляция для отладки то значит эта печать делалась без проверки этого флага и это баг.
Есть разные способы дебага. Кто-то просто в нужном месте вставляет вывод переменной в консоль, а перед релизом комментирует.
Я не знаю, что было тут, но похоже на такой случай.
а перед релизом комментирует
Тогда отсутствие комментария это баг, который должны были найти при аудите. А ещё говнокод но это совсем другая история.
Да, кривые руки разраба.
Обязательного аудита нет конечно. Просто аргумент «мы надёжнее потому что код открыли» не верен в данном случае. Всем посрать на их код, его никто не смотрел толком.
Покажите скрин с секретным чатом в telegram desktop. Не нашёл. Как будто обсуждаете функционал, которого нет
Секретные чаты наверное только в режиме отладки работаю, а на десктопах его выключить не забыли )
Комментарий удален по просьбе пользователя
Комментарий удален по просьбе пользователя
Какой-то эксперт с одним фото в тви поднял тысячи хайпа, при этом никакого открытия нет.
1. В последних версиях не пишет. Видимо, к нему попала бета.
2. К клавиатуре имеет доступ любое приложение, как и к буферу обмена.
Во всяком случае, если вы не копируете какие-то секретные коды доступа к ядерным ракеткам, а к вашему компьютеру никто не имеет доступа, кроме вас, вы в безопасности. (Приложение не может читать чужие логи.)
1. В последних версиях 2.16 и 2.17 (текущая версия) из апстора все работает, а в бете как раз которая еще не вышло это уже поправлено.
2. Допустим неделю назад пользователь общался в секрет чате и передавал секретные ссылки, информацию из документов и потом удалил и чат и документы с мака. А вот сегодня ты попался на малварь, и смотри что происходит, то, что ты копировал из документов в чатик есть в твоем сислоге. Пользователь уверен что удалил всю информацию. Кто в этом виноват?
Что такое логирование?
Известно, что программисты проводят много времени, отлаживая свои программы, пытаясь разобраться, почему они не работают — или работают неправильно. Когда говорят про отладку, обычно подразумевают либо отладочную печать, либо использование специальных программ – дебагеров. С их помощью отслеживается выполнение кода по шагам, во время которого видно, как меняется содержимое переменных. Эти способы хорошо работают в небольших программах, но в реальных приложениях быстро становятся неэффективными.
Сложность реальных приложений
Возьмем для примера типичный сайт. Что он в себя включает?
И это только самый простой случай. Реальность же значительно сложнее: множество разноплановых серверов, системы кеширования (ускорения доступа), асинхронный код, очереди, внешние сервисы, облачные сервисы. Все это выглядит как многослойный пирог, внутри которого где-то работает нами написанный код. И этот код составляет лишь небольшую часть всего происходящего. Как в такой ситуации понять, на каком этапе был сбой, или все пошло не по плану? Для этого, как минимум, нужно определить, в каком слое произошла ошибка. Но даже это не самое сложное. Об ошибках в работающем приложении узнают не сразу, а уже потом, — когда ошибка случилась и, иногда, больше не воспроизводится.
Логирование
И для всего этого многообразия систем существует единое решение — логирование. В простейшем случае логирование сводится к файлу на диске, куда разные программы записывают (логируют) свои действия во время работы. Такой файл называют логом или журналом. Как правило, внутри лога одна строчка соответствует одному действию.
Выше небольшой кусок лога веб-сервера Хекслета. Из него видно ip-адрес, с которого выполнялся запрос на страницу и какие ресурсы загружались, метод HTTP, ответ бекенда (кода) и размер тела ответа в HTTP. Очень важно наличие даты. Благодаря ей всегда можно найти лог за конкретный период, например на то время, когда возникла ошибка. Для этого логи грепают:
Когда программисты только начинают свой путь, они, часто не зная причину ошибки, опускают руки и говорят «я не знаю, что случилось, и что делать». Опытный же разработчик всегда первым делом говорит «а что в логах?». Анализировать логи — один из базовых навыков в разработке. В любой непонятной ситуации нужно смотреть логи. Логи пишут все программы без исключения, но делают это по-разному и в разные места. Чтобы точно узнать, куда и как, нужно идти в документацию конкретной программы и читать соответствующий раздел документации. Вот несколько примеров:
Многие программы логируют прямо в консоль, например Webpack показывает процесс и результаты сборки:
Во фронтенде файлов нет, поэтому логируют либо прямо в консоль, либо к себе в бекенды (что сложно), либо в специализированные сервисы, такие как LogRocket.
Уровни логирования
Чем больше информации выводится в логах, тем лучше и проще отладка, но когда данных слишком много, то в них тяжело искать нужное. В особо сложных случаях логи могут генерироваться с огромной скоростью и в гигантских размерах. Работать в такой ситуации нелегко. Чтобы как-то сгладить ситуацию, системы логирования вводят разные уровни. Обычно это:
Поддержка уровней осуществляется двумя способами. Во-первых, внутри самой программы расставляют вызовы библиотеки логирования в соответствии с уровнями. Если произошла ошибка, то логируем как error, если это отладочная информация, которая не нужна в обычной ситуации, то уровень debug.
Во-вторых, во время запуска программы указывается уровень логирования, необходимый в конкретной ситуации. По умолчанию используется уровень info, который используется для описания каких-то ключевых и важных вещей. При таком уровне будут выводиться и warning, и error. Если поставить уровень error, то будут выводиться только ошибки. А если debug, то мы получим лог, максимально наполненный данными. Обычно debug приводит к многократному росту выводимой информации.
Уровни логирования, обычно, выставляются через переменную окружения во время запуска программы. Например, так:
Существует и другой подход, основанный не на уровнях, а на пространствах имен. Этот подход получил широкое распространение в JS-среде, и является там основным. Фактически, он построен вокруг одной единственной библиотеки debug для логирования, которой пронизаны практически все JavaScript-библиотеки как на фронтенде, так и на бекенде.
Принцип работы здесь такой. Под нужную ситуацию создается специализированная функция логирования с указанием пространства имен, которая затем используется для всех событий одного процесса. В итоге библиотека позволяет легко отфильтровать только нужные записи, соответствующие нужному пространству.
Запуск с нужным пространством:
Ротация логов
Со временем количество логов становится большим, и с ними нужно что-то делать. Для этого используется ротация логов. Иногда за это отвечает сама программа, но чаще — внешнее приложение, задачей которого является чистка. Эта программа по необходимости разбивает логи на более мелкие файлы, сжимает, перемещает и, если нужно, удаляет. Подобная система встроена в любую операционную систему для работы с логами самой системы и внешних программ, которые могут встраиваться в нее.
С веб-сайтами все еще сложнее. Даже на небольших проектах используется несколько серверов, на каждом из которых свои логи. А в крупных проектах тысячи серверов. Для управления такими системы созданы специализированные программы, которые следят за логами на всех машинах, скачивают их, складывают в заточенные под логи базы данных и предоставляют удобный способ поиска по ним.
Здесь тоже есть несколько путей. Можно воспользоваться готовыми решениями, такими как DataDog Logging, либо устанавливать и настраивать все самостоятельно через, например, ELK Stack